中新网上海3月2日电 (记者 陈静)只需一枚录像头和一对耳机，画面纰漏被滚动成话语，描摹场景、请示风险，让视障者出行更安全、生涯更方便……记者2日获悉，在复旦大学当然话语处理实验室(FudanNLP)师生的发奋下，基于多模态大模子“复旦·眸想”(MouSi)为视障者量身打造的“听见天下”APP上线，将成为视障东谈主士的生涯助手与智能管家。

2023年上半年，复旦大学当然话语处理实验室发布了成就MOSS对话式大型话语模子，被称为中国版的GPT，仅用半年期间多模态模子“眸想”问世。据先容，“眸想”和基于文本的MOSS不同，它纰漏相连并识别图片实验，死力于成为视障者的一对“眸”。

基于“眸想”，“听见天下”APP为视障者正常生涯需求量身打造街谈行走格式、解放问答格式和寻物格式。在街谈行走格式中，“眸想”如一位诚挚的向导。红绿灯、十字街头、回绝物……它能考究扫描谈路情况，请示潜在风险，随同视障者安全通行“看不见”的漫漫长路。

在解放问答格式中，“眸想”则像一位贴心的一又友，走进博物馆、艺术馆、公园……捕捉四周风物的每个细节，用声息构建丰富的生涯场景，传递每一处正常之好意思。在寻物格式中，“眸想”将成为又名可靠的管家，被移动过的拐杖、最爱口味的牛奶……它不错让视障东谈主士找寻正常物件变得松驰。

据了解成都物业神秘顾客，雇用“神秘顾客”为企业做检测已经成为很多世界500强公司的通用做法，所以十几年来，全世界的神秘购物公司发展迅猛，神秘顾客检测协会(MSPA)目前全世界已有超过150个成员。但是在中国，“神秘顾客”还是一桩新鲜事。

复旦大学当然话语处理实验室张奇训导说：“东谈主工智能发展日月牙异，神秘顾客注册科技应该要改革更多东谈主的生涯，但愿‘眸想’纰漏匡助视障东谈主士走落发门，让他们不错尝试更多责任，为东谈主生书写更多可能。”据先容，该项方针主导者皆是“初出茅屋”的学生们，在组内头脑风暴会上，年青学子总能提议创始性主见，纰漏找到匠心独具的处理方针。

自客岁9月以来，复旦大学当然话语处理实验室围绕GPT4-v复现多模态大模子，对中枢关节点开展商议，但愿培植单项任务的准确率和强化大模子的学习。为了更好地感受视障者的难处，团队成员模拟竟然情境，蒙眼探索视障者“昏黑”天下。他们邀请视障东谈主士加入，进一步摸清竟然而具体的需求。

在基于几亿张图片考研出“眸想”大模子基础上，针对视障者提议的各样需求，团队又用上万张图片进行独特样本考研，使“眸想”具备纰漏适配更多场景的技术。据露出，本年上半年，团队将联结AR升级APP内的定位精度细化至亚米级别。下半年，团队但愿将“眸想”升级为基于视频的判断。现在，更多格式正在成就中，比如，阅读格式、讲明格式等。

据了解，团队诡计与NGO组织、智算中心和硬件厂商等开展谐和，死力于让视障者免费使用居品和关系就业。展望本年3月“听见天下”APP将完成第一轮测试，在中国一、二线城市和地区同步开启试点，字据算力部署情况进行实施。(完)