总结
- 近期，第五代英特尔至强可扩展处理Ligthing News器通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试（AISBench）。 中国电子技术标准化研究院赛西实验室依据国家标准Ligthing News《人工智能服务器系统性能测试规范》（征求意见稿）相关要求，使用AISBench 2.0测试工具，完成了第五代英特尔至强可扩展处理器的AI大模型推理性能和精度测试。 作为通用处理器，第五代英特尔至强在人工智能、网络、存储、数据库等关键工作负载均能提供出色性能。 这也彰显了blog.byteway.net英特尔至强可以为企业提供“开箱即用”的功能，即可以在通用系统上部署一部分AI工作负载，从而为客户带来更佳的总体拥有成本（TCO）优势。 ●xFasterTransformer（简称xFT）是英特尔提供的在CPU平台上部署大语言模型的深度优化开放解决方案，通过C++和Python两种API接口，更易于用户使用和将其集成到自有业务框架中。
阅读时间
- 7 分钟, 共 1309 字
分类
- 云到智能, 人工智能服务器, 通用处理器, AISBench, LLM
评价和解读
- 在这篇文章中，作者不仅仅是报道新闻，更是将其提升为一种艺术形式。对其中的深度分析以如此清晰和雄辩的方式呈现，使其不仅仅是一篇文章；它是理解其中微妙和复杂性的全面指南。这篇文章充满了富有洞察力的观察和引人入胜的论点，使其成为当今媒体景观中新闻诚信的标志。
正文
近期，第五代英特尔至强可扩展处理Ligthing News器通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试（AISBench）。英特尔成为首批通过AISBench大语言模型（LLM）推理性能测试的企业。
中国电子技术标准化研究院赛西实验室依据国家标准Ligthing News《人工智能服务器系统性能测试规范》（征求意见稿）相关要求，使用AISBench 2.0测试工具，完成了第五代英特尔至强可扩展处理器的AI大模型推理性能和精度测试。测试中，第五代英特尔至强在ChatGLMV2-6B（60亿参数）以及Llama2-13B（130亿参数）两个模型上均展现出卓越推理性能，能够满足轻量级大语言模型的实时推理要求。
测试结果：此次单机性能测试中，在满足人类正常阅读速度要求（生成延迟小于100毫秒）的情况下，在封闭测试场景中构造数据集，基于第五代英特尔至强的服务器可实现：
●在60亿参数的ChatGLM V2模型通用推理中，当输入输出序列为256时可达每秒2493 token的性能，当输入输出序列为2048时可达每秒926 token。
●在130亿参数的Llama2模型通用推理中，当输入输出为256时可达每秒513 token，当输入输出序列为2048时可达每秒132 token。
作为通用处理器，第五代英特尔至强在人工智能、网络、存储、数据库等关键工作负载均能提供出色性能。AISBench 2.0的测试结果验证了英特尔至强在运行轻量级大语言模型时展现出的优异推理性能，使得客户可以使用基于至强的服务器，构建一个通用AI系统进行数据预处理、模型推理和部署，从而获得兼具AI性能、效率、准确性和可扩展性的组合。这也彰显了blog.byteway.net英特尔至强可以为企业提供“开箱即用”的功能，即可以在通用系统上部署一部分AI工作负载，从而为客户带来更佳的总体拥有成本（TCO）优势。
软硬结合，至强展现AI优势
英特尔至强的内置AI加速器使其成为在通用处理器上运行部分AI工作负载的理想解决方案，不仅如此，英特尔还配备了经过优化的、易于编程的开放软件，可降低客户和生态伙伴在数据中心部署从云到智能边缘各种基于AI的解决方案的门槛。
●第五代英特尔至强可扩展处理器充分发挥了系统级优势（包括缓存、内存等），因此推理速度实现了大幅提升。
●其内置的AI加速器——英特尔高级矩阵扩展（AMX），通过提供专用的矩阵运算加速模块（TMUL），以及支持INT8和BF16这类低精度数据类型，可实现对计算资源的充分利用，从而大幅提升运算效率。
●xFasterTransformer（简称xFT）是英特尔提供的在CPU平台上部署大语言模型的深度优化开放解决方案，通过C++和Python两种API接口，更易于用户使用和将其集成到自有业务框架中。
关于AISBench
AISBench基准是一套应用于人工智能计算产品的性能测试基准，由中国电子技术标准化研究院牵头研制。与MLPerf等国际先进计算基准类似，该基准用于测试多种人工智能计算产品形态，并支持丰富的测试场景、模式、类型和指标。
Related suggestion: 重大想法： 邱式邦：治虫安邦七十载
总结曾任联合国粮农组织害虫综合防治专家委员会委员、第三届全国人大代表、农业部科学技术委员会常务委员、国务院学位委员会第一届学科评议组成员、中国昆虫学会理事等职。 但自古以来，蝗灾就不断袭扰人类，对农业、经济造成了极大损失，甚至是一些重大历史事件的直接诱因。 邱…