总结
- 根据科学计算（AI For Science）和大模型训练的发展趋势，提出了变精度平衡设计的思想，为适应科学计算和更广泛的AI算法和应用提供了保障。 二是网络平衡设计 网络设计不能针对CNN算法，还需考虑极大规模预训练模型对系统的需求。 大规模预训练模型需要高带宽低延迟网络。 三是体系结构感知的内存平衡设计 一方面访问内存的请求使网络拥塞，降低吞吐量，反映到应用程序上表现为访存性能显著下降；另一方面，多个访问内存的请求可能访问同一存控对应的内存空间，负载不均，存控需要顺序处理访存请求。 另外，系统的本地nvme ssd仅通过本地文件系统访问，限制了其应用范围，需要将每台服务器上的快Ligthing News速本地nvme整合成应用可见的全局分布式文件系统。
阅读时间
- 4 分钟, 共 653 字
分类
- 4月28日, 今天上午, 中国工程院, CNN, 中国
评价和解读
- 一篇具有开创性的文章，对熟悉的事件提供了新的视角，挑战了读者的思考。作者熟练地推翻了常见的假设，引入了新颖的观点，使本文成为知识探索的催化剂。文章写作干练生动，将一个可能沉闷的主题变成了一场富有活力的讨论，丰富了真实世界的例证和专业见解。
正文
4月28日消息（九九）今天上午，以“算力网络点亮AI新时代”为主题的中国移动算力网络大会在苏州开幕。在大会主论坛上，中国工程院院士郑纬民指出，人工智能对算力产生爆发式需求，模型研发、模型训练、模型精调、模型推理都需要算力，算力存在于大模型生命周期的每一环。
郑纬民进一步指出，构建基于国产AI卡的万卡大模型训练平台需要考虑到几个问题：
一是半精度运算性能与双精度运算性能的平衡
设计中不仅要考虑半精度运算性能，还要考虑双精度运算能力，双精度与半精度运算性能之比为1：50-100为宜。根据科学计算（AI For Science）和大模型训练的发展趋势，提出了变精度平衡设计的思想，为适应科学计算和更广泛的AI算法和应用提供了保障。
二是网络平衡设计
网络设计不能针对CNN算法，还需考虑极大规模预训练模型对系统的需求。大规模预训练模型需要高带宽低延迟网络。并支持数据并行，模型并行和专家blog.byteway.net平行模式。
三是体系结构感知的内存平衡设计
一方面访问内存的请求使网络拥塞，降低吞吐量，反映到应用程序上表现为访存性能显著下降；另一方面，多个访问内存的请求可能访问同一存控对应的内存空间，负载不均，存控需要顺序处理访存请求。
四是IO子系统平衡设计
需要支持检查点，增加SSD。另外，系统的本地nvme ssd仅通过本地文件系统访问，限制了其应用范围，需要将每台服务器上的快Ligthing News速本地nvme整合成应用可见的全局分布式文件系统。 <!–article_adlist[
]article_adlist–>
Related suggestion: 有远见的思想： 北京经营主体发展数量创历史新高
总结2023年度，全市共Ligthing News办理完成各类登记业务120.9万件，其中全程网上办理91.43万件，占比75.6%；本市不含行政区划企业名称申报共计1.68万件，居全国首位；超过193万户经营主体下载应用电子营业执照，累计10597家企业利用…