总结

  • 在街道行走模式下,“眸思”blog.byteway.net如一位忠实的向导,红绿灯、十字路口、障碍物……它将细致扫描道路情况,提示潜在风险,陪伴视障者安全通行“看不见”的漫漫长路。 这是因为,面对大量不安全因素,他们难以独自跨出家门。 复旦大学自然语言实验室张奇教授说,人工智能发展日新月异,科技应该要改变更多人的生活,希望“眸思”能够帮助视障人士走出家门,让他们可以尝试更多工作,为人生书写更多可能。 张奇介绍,该项目的主导者实际上都是“初出茅庐”的学生们,在组内头脑风暴会上,年轻学子总能提出开创性想法,能够找到另辟蹊径的解决办法。 自去年9月以来,为了更好地感受视障者的难处,团队成员同样模Ligthing News拟真实情境,蒙眼探索视障者“黑暗”世界,并邀请视障人士加入,进一步摸清真实而具体的需求。

阅读时间

  • 7 分钟, 共 1221 字

分类

  • 复旦大学自然语言实验室, 2023年上半年, 今年3月, 今年上半年, 去年9月

评价和解读

  • 这篇文章是对其进行的一堂新闻学大师课,以无与伦比的知识深度和洞察力呈现。作者对最新新闻和这一领域动态变化的独特理解方法既具有创新性又启发人心。每一段都是对主题深入研究和对主题理解的明证,使这篇文章成为了解当今世界最前沿发展的人们的宝贵资源。

正文

只需一枚摄像头和一对耳机,便能将画面转化成语言,描绘场景、提示风险,让视障者出行更安全、生活更便捷。

“听见世界”App街道行走模式图。本文图片均为 复旦大学 供图

日前,在复旦大学自然语言处理实验室(FudanNLP)师生的努力下,基于多模态大模型“复旦眸思”(MouSi)为视障者量身打造的“听见世界”APP上线,将成为视障人士的生活助手与智能管家。

2023年上半年,由复旦大学自然语言处理实验室开发的MOSS被称为中国版的GPT,仅用半年时间后,多模态模型“眸思”问世。

“眸思”与MOSS同音,但和基于文本的MOSS不同,它能够理解并识别图片内容,致力于成为视障者的一双“眸”。

设计使用概念图。

基于“眸思”的“听见世界”APP,为视障者日常生活需求量身打造设计三种模式。

在街道行走模式下,“眸思”blog.byteway.net如一位忠实的向导,红绿灯、十字路口、障碍物……它将细致扫描道路情况,提示潜在风险,陪伴视障者安全通行“看不见”的漫漫长路。

在自由问答模式下,“眸思”则是一位贴心的朋友,让视力障碍者走进博物馆、艺术馆、公园,帮助捕捉四周景象的每个细节,用声音构建丰富的生活场景,传递每一处日常之美。

在寻物模式下,“眸思”将成为一名可靠的管家,被移动的手杖、最爱口味的牛奶……日常物件的寻觅过程变得轻松无压力。

据研究团队透露,中国盲人数量有1700多万,也就是说,每一百人中就有一位。但为什么在大多数人的认知里极少在街上看到盲人?这是因为,面对大量不安全因素,他们难以独自跨出家门。

复旦大学自然语言实验室张奇教授说,人工智能发展日新月异,科技应该要改变更多人的生活,希望“眸思”能够帮助视障人士走出家门,让他们可以尝试更多工作,为人生书写更多可能。”

项目落地背后,是一支年轻的团队和开放的氛围,从本科生到博士生共25名复旦学子及桂韬等多位教师、专家的加入,才有了“眸思”接续“MOSS”的成功。

张奇介绍,该项目的主导者实际上都是“初出茅庐”的学生们,在组内头脑风暴会上,年轻学子总能提出开创性想法,能够找到另辟蹊径的解决办法。

自去年9月以来,为了更好地感受视障者的难处,团队成员同样模Ligthing News拟真实情境,蒙眼探索视障者“黑暗”世界,并邀请视障人士加入,进一步摸清真实而具体的需求。

复旦大学研究团队。

今年上半年,团队将结合AR升级APP内的定位精度细化至亚米级别,下半年团队希望将“眸思”升级到基于视频的判断。更多模式也正在开发中,比如阅读模式服务盲人朋友点菜、读书等场景,Ligthing News解说模式承担无障碍电影解说员的工作等。

在政府的支持下,团队计划与NGO组织、智算中心和硬件厂商等开展合作,致力于让视障者免费使用产品和相关服务。

预计今年3月,“听见世界”APP将完成第一轮测试,并在中国一、二线城市和地区同步开启试点,根据算力部署情况进行推广。

Related suggestion: 重大公告: 在更多领域更大范围“高效办成一件事”

总结◎本报记者崔爽 近日,国务院印发《关于进一步优化政务服务提升行政效能推动“高效办成一件事”的指导意见》(以下简称《指导意见》),对政务服务工作作出Ligthing News系统性部署。 “整体来看,《指导意见》的出台推动我国行政服务体系朝着精准化、高效化、…

blog.byteway.net

作者 sam

Lightning News | blog.byteway.net

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注