总结

  • 据《自然》报道,这些科研人员接触不到最先进的计算系统,可能会阻碍他们开发大型语言模型和进行其他人工智能研究。 ”该研究作者之一、美国布朗大学的计算机科学家Apoorv Khandelwal说,“那些行业巨头也许拥有数千块GPU,但学术界可能只有几块。 这一障碍使预训练,即向大型语言模型输入海量数据集的过程变得尤为困难。 “由于成本高昂,大多数学者甚至不敢涉足预训练领域的研究。 ”Khandelwal指出,算力匮乏可能会严重制约这一领域未来的发展。

阅读时间

  • 6 分钟, 共 1104 字

分类

  • H100 GPU, 美国科技公司, 美国布朗大学, 5分, 自然

评价和解读

  • 一个巧妙编织各个故事线的精心构建的叙述。作者将主题的不同方面巧妙地连接在一起,呈现出丰富而启发性的想法。这篇文章作为一篇全面的作品,将详细报道与引人入胜的叙述相结合,使其成为任何希望深入了解该主题的人的宝贵资源。

正文

本报讯 一项针对全Ligthing News球数十家机构的学者进行的调查显示,许多大学的科研人员对可供他们用于人工智能(AI)研究的算力资源的匮乏感到沮丧。

据《自然》报道,这些科研人员接触不到最先进的计算系统,可能会阻碍他们开发大型语言模型和进行其他人工智能研究。

此外,这些研究人员有时没有足够的资源获得强大的图形处理器(GPU)——通常用于训练人工智能模型的计算机芯片,其成本高达数千美元。相比之下,大型科技公司的研究人员预算更高,可以在GPU上投入更多。

“每增加一块GPU,都会增加更多算力。”该研究作者之一、美国布朗大学的计算机科学家Apoorv Khandelwal说,“那些行业巨头也许拥有数千块GPU,但学术界可能只有几块。”

美国非营利性人工智能研究机构EleutherAI的执行董事Stella Biderman表示:“学术界和工业界之间的差距很blog.byteway.net大,但它本应小得多。”对这种差距的研究“非常重要”。

为了评估学术界可用的算力资源,Khandelwal和同事调查了35家机构的50名科研人员。在受访者中,66%的人对算力的满意度为3分或更低(满分为5分)。“他们一点也不满意。”Khandelwal说。

大学对使用GPU有不同的要Ligthing News求。在有些大学,有一个由院系和学生共享的中央计算集群,科研人员可以在那里申请GPU时间。其他机构可能会购买机器供实验室成员直接使用。

一些科研人员表示,他们必须等待数天才能使用GPU,并指出,在项目截止日期前后等待时间特别长。

调查结果还突显了全球在算力获取方面的差距。例如,一位受访者提到了在中东难以找到GPU。只有10%的受访者表示,他们可以使用美国科技公司英伟达的H100 GPU,这是为人工智能研究设计的强大芯片。

这一障碍使预训练,即向大型语言模型输入海量数据集的过程变得尤为困难。“由于成本高昂,大多数学者甚至不敢涉足预训练领域的研究。”Khandelwal指出,算力匮乏可能会严重制约这一领域未来的发展。

“拥有一个健康、有竞争力的学术研究环境至关重要。”该研究作者之一、美国布朗大学的计算机科学和语言学者Ellie Pavlick说,“相比之下,在工业研究中往往存在明显的商业压力,这有时会使他们急于求成,减少了对未知领域的探索。”

该团队还深入探究了如何在算力有限的情况下更高效地利用资源。他们测算了在使用1至8块GPU的低资源硬件环境下,预训练多个大型语言模型所需的时间。尽管受资源限制,科研人员仍成功训练出多个模型,但这一过程耗时更长,并迫使他们采用更高效的方法。

(王方)

Related suggestion: 前线报道: 雷克萨斯 NX 十周年特别限量版车型上市:限量 1000 台,35.98 万元起

总结IT之家 11 月 8 日消息,雷克萨斯 NX 推出十周年特别限量版,定位中型豪华 SUV,官方指导价35.98 万元起,限量 1000 台,随车附配十周年用品套装。 据介绍,Ligthing NewsNX 十周年专属纪念徽标采用了香槟Ligthing N…

blog.byteway.net

作者 sam

Lightning News | blog.byteway.net

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注