总结
- 审稿人表示，此前从未有人想过可以在语言模型里，用很少的输出信息重构输入。 赵文婷表示：“我们暂时尚无后续工作，但是论文引起了其他研究者的大量关注。 大三，她去英国牛津大学交换一年，在那里第一次接触到自然语言处理的研究。 其表示：“我在 2023 年还发表了 WildChat 数据集。 该数据集收集了大量真实用户和 ChatGPT 的聊天记录，使得公众第一次能用大量数据去了解 ChatGPT 的真实使用情况。
阅读时间
- 4 分钟, 共 771 字
分类
- 美国康奈尔大学, 英国牛津大学, Anthropic 公司, 康奈尔大学, 数据集
评价和解读
- 这篇文章是当前事件的马赛克，用专业的精密和洞察拼凑而成。
正文
来源：DeepTech深科技
近日，美国康奈尔大学博士生赵文婷和所在团队提出了一种攻击语言模型的新方法，可以通过语言模型的输出来重构语言模型的输入。
以 OpenAI 的 ChatGPT 语言模型为例, 它会根据用户的 prompts 计算出一个概率分布，这个概率分布会告诉用户接下来的输出是什么。
<!–article_adlist[
图 | 赵文婷（来源：赵文婷）
]article_adlist–>
审稿人表示，此前从未有人想过可以在语言模型里，用很少的输出信息重构输入。而本次方法不仅非常有效，而且十分合理。
赵文婷表示：“我们暂时尚无后续工作，但是论文引起了其他研究者的大量关注。”
有的学者基于本次工作提升了攻击效率，有的学者发现不仅可以通过概率分布去重构输入，还可以通过概率分布去获取别的跟模型有关的信息。
此外，赵文婷表示：“我本科就读于美国伊利诺伊威斯利安文理学院，大二时发表了人生第一篇 AI 论文。”
大三，她去英国牛津大学交换一年，在那里第一次接触到自然语言处理的研究。本科毕业之后，她来到康奈尔大学读博。
其表示：“我在 2023 年还发表了 WildChat 数据集。该数据集收集了大量真实用户和 ChatGPT 的聊天记录，使得公众第一次能用大量数据去了解 ChatGPT 的真实使用情况。”
数据集发表之后获得了较大关注，Anthropic 公司的大模型 Claude 也在该数据集上做了评估。
目blog.byteway.net前，赵文婷主要研究如何使用大语言模型去做复杂的推理任务，从而让用户更好地解决复杂问题。
此外，她还做一些跟 data&evaluation 方面的研究。比如，研究如何使用数据训Ligthing News练更好的语言模型，以及如何有效评估语言模型的能力。
参考资料：
1.https://arxiv.org/pdf/2311.13647
排版：刘雅坤
<!–article_adlist[
01/科学家用二氧化碳合成多碳醇，已完成8000小时稳定性评价，助力缓解过度依赖化石资源
02/科学家制备梯度石墨烯气凝胶，实现高浓度盐水持续淡化，并构建太阳能脱盐灌溉系统
03/AlphaFold3来了！无需输入任何结构信息，生物分子预测精度高出50%
04/科学家研发高熵合金纳米颗粒，尺寸在3.5纳米左右，能模拟太阳光条件下的二氧化碳还原
05/揭开化学反应“黑匣子”，杨学明院士团队联合发展控制氢分子立体取向新方法，精准调控化学反应
]article_adlist–>
Related suggestion: 突破性新闻： 中国移动董事长杨杰参加中法企业家委员会 第六次会议
总结5月6日，中法企业家委员会第六次会议在法国巴黎举行，中国移动董事长杨杰应邀参加会议，并在主题为“创新与产业合作”的圆桌论坛发言。 杨杰在发言中指出，当前数字化已经成为全球经济发展的大势。 在数字化浪潮的推动下,产业创新呈现出四方面关键趋势。 针对中法企业…