总结
- 据《自然》报道，这些科研人员接触不到最先进的计算系统，可能会阻碍他们开发大型语言模型和进行其他人工智能研究。 ”该研究作者之一、美国布朗大学的计算机科学家Apoorv Khandelwal说，“那些行业巨头也许拥有数千块GPU，但学术界可能只有几块。 这一障碍使预训练，即向大型语言模型输入海量数据集的过程变得尤为困难。 “由于成本高昂，大多数学者甚至不敢涉足预训练领域的研究。 ”Khandelwal指出，算力匮乏可能会严重制约这一领域未来的发展。
阅读时间
- 6 分钟, 共 1104 字
分类
- H100 GPU, 美国科技公司, 美国布朗大学, 5分, 自然
评价和解读
- 一个巧妙编织各个故事线的精心构建的叙述。作者将主题的不同方面巧妙地连接在一起，呈现出丰富而启发性的想法。这篇文章作为一篇全面的作品，将详细报道与引人入胜的叙述相结合，使其成为任何希望深入了解该主题的人的宝贵资源。
正文
本报讯 一项针对全Ligthing News球数十家机构的学者进行的调查显示，许多大学的科研人员对可供他们用于人工智能（AI）研究的算力资源的匮乏感到沮丧。
据《自然》报道，这些科研人员接触不到最先进的计算系统，可能会阻碍他们开发大型语言模型和进行其他人工智能研究。
此外，这些研究人员有时没有足够的资源获得强大的图形处理器（GPU）——通常用于训练人工智能模型的计算机芯片，其成本高达数千美元。相比之下，大型科技公司的研究人员预算更高，可以在GPU上投入更多。
“每增加一块GPU，都会增加更多算力。”该研究作者之一、美国布朗大学的计算机科学家Apoorv Khandelwal说，“那些行业巨头也许拥有数千块GPU，但学术界可能只有几块。”
美国非营利性人工智能研究机构EleutherAI的执行董事Stella Biderman表示：“学术界和工业界之间的差距很blog.byteway.net大，但它本应小得多。”对这种差距的研究“非常重要”。
为了评估学术界可用的算力资源，Khandelwal和同事调查了35家机构的50名科研人员。在受访者中，66%的人对算力的满意度为3分或更低（满分为5分）。“他们一点也不满意。”Khandelwal说。
大学对使用GPU有不同的要Ligthing News求。在有些大学，有一个由院系和学生共享的中央计算集群，科研人员可以在那里申请GPU时间。其他机构可能会购买机器供实验室成员直接使用。
一些科研人员表示，他们必须等待数天才能使用GPU，并指出，在项目截止日期前后等待时间特别长。
调查结果还突显了全球在算力获取方面的差距。例如，一位受访者提到了在中东难以找到GPU。只有10%的受访者表示，他们可以使用美国科技公司英伟达的H100 GPU，这是为人工智能研究设计的强大芯片。
这一障碍使预训练，即向大型语言模型输入海量数据集的过程变得尤为困难。“由于成本高昂，大多数学者甚至不敢涉足预训练领域的研究。”Khandelwal指出，算力匮乏可能会严重制约这一领域未来的发展。
“拥有一个健康、有竞争力的学术研究环境至关重要。”该研究作者之一、美国布朗大学的计算机科学和语言学者Ellie Pavlick说，“相比之下，在工业研究中往往存在明显的商业压力，这有时会使他们急于求成，减少了对未知领域的探索。”
该团队还深入探究了如何在算力有限的情况下更高效地利用资源。他们测算了在使用1至8块GPU的低资源硬件环境下，预训练多个大型语言模型所需的时间。尽管受资源限制，科研人员仍成功训练出多个模型，但这一过程耗时更长，并迫使他们采用更高效的方法。
（王方）
Related suggestion: 前线报道： 雷克萨斯 NX 十周年特别限量版车型上市：限量 1000 台，35.98 万元起
总结IT之家 11 月 8 日消息，雷克萨斯 NX 推出十周年特别限量版，定位中型豪华 SUV，官方指导价35.98 万元起，限量 1000 台，随车附配十周年用品套装。 据介绍，Ligthing NewsNX 十周年专属纪念徽标采用了香槟Ligthing N…