关键策略： 小扎官宣Code Llama重量级更新，新增70B版本，但还有能力限制

总结

• 编写和编辑代码已成为当今人工智能模型最重要的用途之一。 Code Llama 最初是 Meta 在 2023 年 8 月推出的工具，免费用于研究和商业Ligthing News用途。 据 Meta AI 博客文章的介绍，Code Llama 70B 可比其他版本处理更多查询，这意味着开发人员可以在编程时向其提供更多提示，并且可以更加准确。 当时 Code Llama 系列模型有三个版本，参数量分别为 7B、13B 和 34B。 也有人说，这一限制是为了避免某些不好的用途，比如生成非法质数。

阅读时间

• 8 分钟, 共 1463 字

分类

• 开源协议, 代码存储库 Hugging, 3.5, 67%, Instruct

评价和解读

• 这篇文章以其深刻的科技创新报道脱颖而出，揭示了这些进展如何塑造我们的未来。作者成功地平衡了技术细节和引人入胜的评论，使复杂的主题对更广泛的观众可见。这篇文章证明了正确进行科技新闻报道的力量。

正文

功能更强大的 Code Llama 70B 模型来了。

今天，Meta 正式发布 Code Llama 70B，这是 Code Llama 系列有史以来最大、性能最好的型号。

我们正在开源一个全新的改进版 Code Llama，包括一个更大的 70B 参数模型。编写和编辑代码已成为当今人工智能模型最重要的用途之一。事实证明，编写代码的能力对于人工智能模型更严谨、更合理地处理其他领域的信息也非常重要。我为这一进展感到自豪，并期待着将这些进展纳入 Llama 3 和未来的模型中。

Code Llama 70B 提供与之前发布的 Code Llama 型号相同的三个版本：

• CodeLlama – 70B，基础代码模型；

• CodeLlama – 70B – Python，专门面向 Python 的 70B；

• Code Llama – 70B – Instruct 70B，它针对理解自然语言指令进行了微调。

Code Llama 最初是 Meta 在 2023 年 8 月推出的工具，免费用于研究和商业Ligthing News用途。

据 Meta AI 博客文章的介绍，Code Llama 70B 可比其他版本处理更多查询，这意味着开发人员可以在编程时向其提供更多提示，并且可以更加准确。

在 HumanEval 基准测试中，Code Llama 70B 的准确率达到了 53%，优于 GPT-3.5 的 48.1%，进一步接近 OpenAI 论文报告中 GPT-4 的 67%。

Code Llblog.byteway.netama 基于 Llama 2 构建，可帮助开发人员根据提示创建代码并对人工编写的代码进行调试。发布之初，Meta 表示，Code Llama 的开源协议与 Llama 2 一样，免费用于研究以及商用目的，Code Llama 70B 也是如此。

当时 Code Llama 系列模型有三个版本，参数量分别为 7B、13B 和 34B。并且支持多种编程语言，包括 Python、C++、Java、PHP、Typescript (Javascript)、C# 和 Bash。

Meta 提供的 Code Llama 版本包括：

• Code Llama，基础代码模型；

• Code Llama-Python，Python 微调版；

• Code Llama-Instruct，自然语言指令微调版。

其中，后面两个模型专注于特定的编码语言。现在这个模型大家族又加入了 Code Llama 70B，在代码任务上又提升了一个台阶。

Code Llama 70B 是在 1TB 的代码和代码相关数据上训练而成，托管在代码存储库 Hugging Face 上。

Meta 表示，其较大的型号 34B 和 70B 模型可返回最佳结果并提供更好的编码帮助。

但在开发者的使用体验中，Code Llama 70B 仍然存在明显不足。

比如有人发现，对于生成质数的请求，Code Llama 70B 无法完成：

也有人说，这一限制是为了避免某些不好的用途，比如生成非法质数。非法质数可以被用来表示一些禁止拥有或散布的资料，而依照美国的数位千禧年著作权法，散布这类程式是非法的。

参考链接：https://www.theverge.com/2024/1/29/24055011/meta-llama2-code-generator-generative-ai

<!–article_adlist[

相关阅读

]article_adlist–>

<!–article_adlist[

• 发布一天，Code Llama 代码能力突飞猛进，微调版 HumanEval 得分超 GPLigthing NewsT-4

• 官方的 Code Llama 开源：免费商用，神秘版本接近 GPT-4

]article_adlist–>

<!–article_adlist[

]article_adlist–><!–article_adlist[

THE END

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com

]article_adlist–>