向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
东西问·中外对话 | 斯蒂芬·佩里:美国终将认识到,他们“错过”了中国的崛起******
在当今世界正经历百年未有之大变局之际,中英两国关系“破冰者”的故事有何启示?中美如何避免“修昔底德陷阱”?为何说美国“错过”了中国的崛起?中新社德国分社首席记者、中新网研究院副院长彭大伟日前就此独家对话了英国48家集团俱乐部主席斯蒂芬·佩里。
佩里表示,从中长期来看,英国和中国是不可能相互隔绝的。无论是要解决气候变化等人类共同面对的挑战,还是要与亚洲这一世界未来的中心打交道,英国、欧洲和美国未来都必须与中国携手合作。
针对中美关系未来走向,佩里认为,“修昔底德陷阱”不存在于中国的思维方式当中,中国也不寻求建立一方凌驾于另一方的“秩序”。他指出,一旦美国国内意识到,美国的未来取决于同世界上其它地区维持联系和互信,美国和中国的关系存在的困局就能得到解决。
对话实录摘编如下:
彭大伟:上世纪50年代,以令尊杰克·佩里先生为代表的英国工商界有识之士,打破当时的坚冰,开启了中英贸易的大门,也为两国友好交往留下了宝贵的精神财富。您个人和家庭的经历可以给中英这样两个不同历史文化、不同社会制度、不同发展阶段的国家友好相处带来哪些启示?
佩里:为了同新中国签订最早的贸易协议,我的父亲他们1953年来到了中国。他们当时克服了朝鲜战争的阴影,坚持前往中国。父亲他们的精神赢得了尊重。中国各界人士今天对我的盛情更多地是对我的父亲所成就的事业的一种认可。
尽管两国的制度、价值观、商业目标各不相同,但从中长期来看,英国和中国是不可能相互隔绝的。
世界正在朝着一个新的方向快速转变,亚洲今后将是世界的中心——但这并不意味着欧洲或美国的终结,我们都活在同一个世界、面临同样的问题,我们需要经贸和投资上的往来,我们必须共同面对全球性挑战。解决气候或公共卫生问题也须臾离不开各国携手合作。如果不同中国合作,我们在与亚洲打交道时不会获得轻松的解决方案。英国、欧洲和美国未来都必须与中国携手合作。
破冰之路不易,且将继续不易。但存在将各方凝聚起来的力量,例如伦敦作为金融中心需要中国、需要全球市场,需要借助同中国合作更好地参与欧洲和全球事务,特别是在联合国安理会框架下的合作——这一切都将我们以不同的形式团结在一起。我相信未来数十年里,我们仍将继续合作,继续经贸投资往来。
资料图:英国48家集团俱乐部主席斯蒂芬·佩里。中新社记者 周兆军 摄彭大伟:您认为中国的发展可以跳出过往西方“国强必霸”的老路吗?
佩里:中国人的思想中天然地就未曾执着于“霸权”和“统治他国”。5000年的中国历史都是关于如何固守本国的边界。中国不曾往全世界派兵,现在也不会这么做。“修昔底德陷阱”不存在于中国的思维方式当中。这一问题上重要的是需要看到,对世界权力的探求、出于自身利益对权力的追逐,这些动机主导了近3000年来的世界历史。我们还要继续这样下去吗?一旦认清这一点后,答案便是否定的。
世界是不断向前发展的。向前发展的世界需要的词不是“修昔底德陷阱”,而是人类命运共同体,这是看待各国之间关系的另一种方式:我们携手合作,共同应对面临的问题。没有哪个国家需要寻求凌驾于其它国家之上,因为如果这样将导致战争,最终会毁灭掉一切。
今天的世界是这样的一个世界——美国正在全力捍卫其实力地位。美国终将认识到,他们“错过”了中国的崛起。当美国忙于在伊拉克和阿富汗的战争时,中国正在将经济转型升级,同时也将自身在全球的地位转型升级。
中亚、南亚、中东等地区可能有着不同的规则和秩序,但这并不意味着这不利于美国。中国并非要在这一地区构建一个“一方凌驾于另一方”的秩序。
我相信中国发展的动力是建立在确保人人都能丰衣足食之上的,也只有这样,“修昔底德陷阱”才不再成立。否则中国不会不厌其烦地一遍又一遍地向美国解释——我们不会屈从于美国的“规则”,不会向美国臣服;但中国也不是来挑战美国、不是来“打败”美国的,“我们是来和你们合作的”。考虑到气候问题本身是西方造成的。为寻找到技术上的解决之道,中美必须相互信任、携手合作。
彭大伟:中美关系如何实现转圜?
佩里:中美关系即使不是当今世界唯一最重要的问题,也是最重要的问题之一。我认为美国被中东的战争和2008年金融危机牵扯了精力。到了2011-2012年,美国开始意识到他们已经“错过”了中国的崛起。于是他们开始转而对付中国,如奥巴马时期推出的亚太再平衡战略,同时大打“跨大西洋盟友”牌。这是美国开始试图“管理”中国崛起的首批行动。
彭大伟:您是指美国错过了遏制中国崛起的时机吗?亦或他们白白地错过了合作窗口期?
佩里:美国人把(同中国)合作挂在嘴边,但并没有真正地去合作,他们做事的风格便是如此。加入世贸组织对中国而言具有重要的变革性意义。而当美国意识到中国已经在对美贸易中取得了过去日本、韩国和德国那样规模的贸易顺差时,美国试图让中国停止获得顺差。美国表示将减少从中国进口货物,而中国则必须重新评估其货币的汇率。对此,中国表示不会照办。中国已经准备好与美国讨论如何开展合作,而非接受美国的指令。美国必须理解,中国并非他们所想象的那种国家。
正当美国在考虑如何遏制中国崛起时,金融危机重重地打击了美国。到2011年时,拜登和希拉里已经开始推动落实奥巴马第二个总统任期的重要战略——亚太再平衡。美国从那时起试着重新定位其在亚洲的存在。
然而此时中国已经与俄罗斯在上海合作组织等框架内建立起了合作,共同捍卫亚洲的发展和稳定。正如美国1997年利用亚洲金融危机兴风作浪时,中国推动了《清迈协议》,维护了本地区的金融稳定。
一旦美国国内意识到,美国的未来不仅取决于美洲大陆,也取决于和世界上别的地区维持联系和互信,美国和中国的关系存在的困局就可得到解决。
彭大伟:西方一些声音认为中国打造新发展格局是走向“封闭”,您为何认为他们说错了?
佩里:中国“双循环”新发展格局是在“倒退”吗?恰恰相反,这是在更好地前进。假如中国没有改革开放数十年的成就,现在正在推进的共同富裕等步骤也是不可想象的。正因为中国已经在各领域打好了基础,现在官方可以正式开始将中国朝着一个更加现代化的方向转型。作为一个1972年就已经到过中国的人,我可以向您保证,在我目睹当时中国的贫困时,我是无论如何都想象不到2021年的中国会是现在的面貌。
2035年的中国所将取得的发展,也许同样会让今天的人们感到难以置信,更不用说2049年(注:第二个一百年目标实现时)了。中国在不断地自我革新,这一革新需要经历不断的阶段。中国想要实现的远非局部地区的小范围变革,中国已经准备好迎接全局性的全方位变革。这值得英国借鉴。
整个世界即将关注到中国自我革新的成果,且会把这些成果视作进步的象征。然而,西方人恐怕未来10-15年间仍难以认清这一点。西方人需要来中国亲眼看一看。
(文图:赵筱尘 巫邓炎) [责编:天天中] 阅读剩余全文() |