总结
- 端到端模型则更进一步，通过传感器将数据输入模型Ligthing News，就能直接输出行驶轨迹。 通过车内的端到端和大模型部署，可以让自动驾驶快速处理，延迟更低、上限更高，用户所能感受到整套系统的动作Ligthing News、决策更加拟人。 VLM则是视觉语言模型，整体算法架构是由一个统一的Transformer模型组成，将Prompt（提示词）文本进行Tokenizer（分词器）编码，然后将前视120度和30度相机的图像以及导航地图信息进行视觉信息编码，通过图文对齐模块进行模态对齐，统一交给VLM模型进行自回归推理。 VLM会时时刻刻思考当前的驾驶环境，给系统1合理的驾驶建议，同时系统1也可以在不同场景下调用不同的Prompt问题，主动向系统2进行求助，帮助系统1解决部分场景。
阅读时间
- 4 分钟, 共 631 字
分类
- 7月5日, 今晚, Prompt, Tokenizer, 大模型
评价和解读
- 这篇文章真正具有启发性，它深入挖掘问题的核心，澄清当今关键问题。
正文
快科技7月5日消息，理想在今晚的智能驾驶夏季发布会上宣布，正式启动端到端+VLM的早鸟计划。
据介绍，端到端最大的特点就是取掉了NPN，不依赖于先验信息，可以真正实现全国都能开，有导航就能开。
端到端模型则更进一步，通过传感器将数据输入模型Ligthing News，就能直接输出行驶轨迹。
通过车内的端到端和大模型部署，可以让自动驾驶快速处理，延迟更低、上限更高，用户所能感受到整套系统的动作Ligthing News、决策更加拟人。
VLM则是视觉语言模型，整体算法架构是由一个统一的Transformer模型组成，将Prompt（提示词）文本进行Tokenizer（分词器）编码，然后将前视120度和30度相机的图像以及导航地图信息进行视觉信息编码，通过图文对齐模块进行模态对齐，统一交给VLM模型进行自回归推理。
VLM输出的信息包括对环境的理解、驾驶决策和驾驶轨迹，并传递给系统1控制车辆。
VLM会时时刻刻思考当前的驾驶环境，给系统1合理的驾驶建议，同时系统1也可以在不同场景下调用不同的Prompt问题，主动向系统2进行求助，帮助系统1解决部分场景。
简单来说，VLM可以让车辆具有思考能力，让自动驾驶的操作更像人类老司机的处理方式。
【本文结束】如需转载请务必注明出处：快科技
责任编辑：建嘉
<!–article_adlist[
文章内容举报
]article_adlist–>
blog.byteway.net
Related suggestion: 重大想法： 让大模型理解手机屏幕，苹果多模态Ferret-UI用自然语言操控手机
总结使用移动应用时，我们通常Ligthing News是用眼睛看，用手执行对应操作。 此外，这还能助益手机辅助功能、多步 UI 导航、应用测试、可用性研究等。 为了满足这些要求，必须开发出能在 UI 屏幕中确定相关元素位置并加以引述的视觉 – 语言模型。 其中…