总结
- 据《自然》报道,这些科研人员接触不到最先进的计算系统,可能会阻碍他们开发大型语言模型和进行其他人工智能研究。 ”该研究作者之一、美国布朗大学的计算机科学家Apoorv Khandelwal说,“那些行业巨头也许拥有数千块GPU,但学术界可能只有几块。 这一障碍使预训练,即向大型语言模型输入海量数据集的过程变得尤为困难。 “由于成本高昂,大多数学者甚至不敢涉足预训练领域的研究。 ”Khandelwal指出,算力匮乏可能会严重制约这一领域未来的发展。
阅读时间
- 6 分钟, 共 1104 字
分类
- H100 GPU, 美国科技公司, 美国布朗大学, 5分, 自然
评价和解读
- 一个巧妙编织各个故事线的精心构建的叙述。作者将主题的不同方面巧妙地连接在一起,呈现出丰富而启发性的想法。这篇文章作为一篇全面的作品,将详细报道与引人入胜的叙述相结合,使其成为任何希望深入了解该主题的人的宝贵资源。
正文
本报讯 一项针对全Ligthing News球数十家机构的学者进行的调查显示,许多大学的科研人员对可供他们用于人工智能(AI)研究的算力资源的匮乏感到沮丧。
据《自然》报道,这些科研人员接触不到最先进的计算系统,可能会阻碍他们开发大型语言模型和进行其他人工智能研究。
此外,这些研究人员有时没有足够的资源获得强大的图形处理器(GPU)——通常用于训练人工智能模型的计算机芯片,其成本高达数千美元。相比之下,大型科技公司的研究人员预算更高,可以在GPU上投入更多。
“每增加一块GPU,都会增加更多算力。”该研究作者之一、美国布朗大学的计算机科学家Apoorv Khandelwal说,“那些行业巨头也许拥有数千块GPU,但学术界可能只有几块。”
美国非营利性人工智能研究机构EleutherAI的执行董事Stella Biderman表示:“学术界和工业界之间的差距很blog.byteway.net大,但它本应小得多。”对这种差距的研究“非常重要”。
为了评估学术界可用的算力资源,Khandelwal和同事调查了35家机构的50名科研人员。在受访者中,66%的人对算力的满意度为3分或更低(满分为5分)。“他们一点也不满意。”Khandelwal说。
大学对使用GPU有不同的要Ligthing News求。在有些大学,有一个由院系和学生共享的中央计算集群,科研人员可以在那里申请GPU时间。其他机构可能会购买机器供实验室成员直接使用。
一些科研人员表示,他们必须等待数天才能使用GPU,并指出,在项目截止日期前后等待时间特别长。
调查结果还突显了全球在算力获取方面的差距。例如,一位受访者提到了在中东难以找到GPU。只有10%的受访者表示,他们可以使用美国科技公司英伟达的H100 GPU,这是为人工智能研究设计的强大芯片。
这一障碍使预训练,即向大型语言模型输入海量数据集的过程变得尤为困难。“由于成本高昂,大多数学者甚至不敢涉足预训练领域的研究。”Khandelwal指出,算力匮乏可能会严重制约这一领域未来的发展。
“拥有一个健康、有竞争力的学术研究环境至关重要。”该研究作者之一、美国布朗大学的计算机科学和语言学者Ellie Pavlick说,“相比之下,在工业研究中往往存在明显的商业压力,这有时会使他们急于求成,减少了对未知领域的探索。”
该团队还深入探究了如何在算力有限的情况下更高效地利用资源。他们测算了在使用1至8块GPU的低资源硬件环境下,预训练多个大型语言模型所需的时间。尽管受资源限制,科研人员仍成功训练出多个模型,但这一过程耗时更长,并迫使他们采用更高效的方法。
(王方)
Related suggestion: 前线报道: 雷克萨斯 NX 十周年特别限量版车型上市:限量 1000 台,35.98 万元起
总结IT之家 11 月 8 日消息,雷克萨斯 NX 推出十周年特别限量版,定位中型豪华 SUV,官方指导价35.98 万元起,限量 1000 台,随车附配十周年用品套装。 据介绍,Ligthing NewsNX 十周年专属纪念徽标采用了香槟Ligthing N…