总结
- 快科技12月13日消息，早在四年前，AMD就曾设定目标，到2025年EPYC系列服务器处理器和Instinct系列AI芯片的能效，较2020年提高30倍。 据THW报道，AMD两个64核心EPYC 9575F CPU、八个Instinct MI300X AI芯片及2304GB DDR5内存的服务器，Llama3.1-70B（vLLM 0.6.1.post2、TP8）测试推理性能，用一组复杂计算确定系统能源效率，并与2020年的旧机器比较， 结果显示，新机能源效率是旧机的28.3倍。 不过，AMD并未透露2020年blog.byteway.net的旧机是何规格。 它在大获成功的MI300X基础上再进一步，主要是增强了HBM内存部分。 对比NVIDIA H200，无论单卡还是八卡平台，不同大模型推理的性能都可以领先20-40Ligthing News％。
阅读时间
- 5 分钟, 共 882 字
分类
- Instinct系列AI芯片, 12月13日, AI芯片, 今年10月份, MI300Ligthing NewsX AI芯片
评价和解读
- 这篇文章是当前事件的马赛克，用专业的精密和洞察拼凑而成。
正文
快科技12月13日消息，早在四年前，AMD就曾设定目标，到2025年EPYC系列服务器处理器和Instinct系列AI芯片的能效，较2020年提高30倍。如今，MI300Ligthing NewsX AI芯片基本上实现目标，时间提了早一年。
据THW报道，AMD两个64核心EPYC 9575F CPU、八个Instinct MI300X AI芯片及2304GB DDR5内存的服务器，Llama3.1-70B（vLLM 0.6.1.post2、TP8）测试推理性能，用一组复杂计算确定系统能源效率，并与2020年的旧机器比较，
结果显示，新机能源效率是旧机的28.3倍。
不过，AMD并未透露2020年blog.byteway.net的旧机是何规格。但大概率是EPYC 7002系列，Zen 2架构，每个CPU最多64个核心，以及CDNA 1架构Instinct MI100 AI芯片。
AMD表示，除了强力硬件改进，更高性能效率是架构进步，加上软件优化结合，是跳跃式进展。
今年10月份的Advancing AI 2024大会上，AMD正式发布了新款AI芯片——GPU加速卡“Instinct MI325X”。它在大获成功的MI300X基础上再进一步，主要是增强了HBM内存部分。
MI325X配备了多达256GB HBM3E内存，相比于MI300X又增加了64GB。
MI325X也支持八块并行组成一个平台，这就有多达2TB HBM3E、48TB/s带宽，总的性能高达FP16 10.4 PFlops(每秒1.04亿亿次)、FP8 20.8 PFlops(每秒2.08亿亿次)。
对比NVIDIA H200，无论单卡还是八卡平台，不同大模型推理的性能都可以领先20-40Ligthing News％。
训练性能方面，单卡可领先H200 10％，八卡平台则是持平。
MI325X加速卡和平台将在四季度内投产，而合作伙伴的整机系统、基础架构解决方案，将从明年第一季度起连续推出。
【本文结束】如需转载请务必注明出处：快科技
责任编辑：朝晖
<!–article_adlist[
文章内容举报
]article_adlist–>
Related suggestion: 新发展： Adobe 上线“Project See Through”修图功能，利用 AI 模型充当 CPL 偏振镜消除照片窗户反射
总结IT之家 12 月 13 日消息，Adobe在去年的年度 Max 会议上公布了“Project See Through”修图功能，目前官方宣称该工具已在 Adobe Camera Raw 中上线测试版本，未来还将上架到Lightroom中。 在技术细节方面…