快捷搜索:  

帮助听障人士获取信息、表达想法——“我们沟通更顺畅了”

每年9月的(de)第4个星期日是(shi)国际聋人(ren)日。第二次全国残疾人(ren)抽样调查结果显示,中国听力障碍残疾人(ren)数约2780万。庞大的(de)聋人(ren)群体不甘愿“沉默”,他(ta)们(men)渴望能和其他(ta)人(ren)顺利沟通。为帮助聋人(ren)群体更好(hao)融入社会,企业(qiye)、高校齐发力,研发相关设(she)备和系统,让聋人(ren)群体能够“听见”与“被听见”。国际聋人(ren)日来临之际,本报记者分别走访了一些企业(qiye)和高校,为您讲述相关品牌研发背后的(de)暖心故事。

让更多听障人(ren)士被“听”见

本报记者 李家鼎

电视(shi)画面中,主持人(ren)侃侃而谈,一旁的(de)“AI手语主播”同步出镜,将包含大量冬季体育运动专业词汇的(de)语言一一翻译……这一幕,发生在北京冬奥会期间。在央视(shi)新闻(xinwen)冬奥直播特别节目中,“AI手语主播”的(de)出现让人(ren)眼前一亮,受到不少听障人(ren)士的(de)欢迎。

“能将科研成果带到举世瞩目的(de)冬奥会上,服务(fuwu)于电视(shi)机前的(de)听障观众,我(wo)们(men)感到十分自豪。”天津理工大学聋人(ren)工学院副院长袁甜甜告诉记者,“AI手语主播”的(de)背后,隐藏着一个庞大的(de)手语视(shi)频(pin)资料库,过去5年,她(ta)带领学校鲸言创益无障碍智能科技(keji)研发团队(tuandui)(dui)克服重重困难,构建(jian)起30余万条的(de)视(shi)频(pin)语料库。如今,他(ta)们(men)打造的(de)“复杂场景下中国手语实时翻译系统”已受到科创领域的(de)不少关注,在未来各种应用场景下,更多听障人(ren)士被“听”见,正在走向可能。

“为什么一定要把手语翻译成文字或语言呢?现在语音识别软件这么多,听障人(ren)不会说,打字给健听人(ren)看不就行了吗?” 项目启动之初,不少人(ren)曾对(dui)这项研究的(de)必要性提出怀疑。“这些语音识别软件,逻辑出发点永远绕不开健听人(ren),对(dui)听障人(ren)来说,他(ta)们(men)更渴望的(de)是(shi)自己的(de)‘语言’可以被社会听见、听懂。”袁甜甜说。

不久前,天津市急救中心工作人(ren)员闻讯找到袁甜甜:“你(ni)们(men)的(de)项目能否考虑在急救领域落地,我(wo)们(men)太需要了!”在急救工作中,遇到听障人(ren)士是(shi)常有的(de)事,生死垂危之际,很少有患者还有意识在手机上打字,而要求医生和急救人(ren)员会手语更不现实。

“要想让这套系统应用于更多场景,就需要让语料库变得更加丰富。”团队(tuandui)(dui)成员、聋人(ren)工学院网络工程专业2018级学生王建(jian)源的(de)主要工作就是(shi)搭建(jian)语料库,“招募会手语的(de)志愿者来录视(shi)频(pin),反反复复地录。”王建(jian)源介绍。两年时间(shijian)里,王建(jian)源和伙伴们(men)几乎每天都会出现在学院三楼实验室,有时忙到很晚,干脆席地而睡。他(ta)们(men)已经收集到30余万条语料,“经过测算对(dui)比,距离中国汉语水平考试的(de)4级水平仅差100多个词了。”王建(jian)源“说”完,一旁的(de)显示屏上准确显示出上述文字。

手语是(shi)一门视(shi)觉语言,有它(ta)特定的(de)语法、语序。手势、表情、肢体动作自由排列组合,表达的(de)是(shi)不同的(de)意思。“比如说‘阳光总在风雨后’这句话,手语的(de)语序是(shi)‘风/雨/结束/阳光’,让健听人(ren)看得懂,就要用到计算机算法。”计算机学院研一学生孙悦说,在算法模型搭建(jian)中,他(ta)们(men)渐渐总结出规律,能够将一段手语中的(de)手势、表情、肢体动作全部识别到位,“通俗地讲,就是(shi)我(wo)们(men)给计算机编了一套‘教材’。”在孙悦看来,这套“教材”正是(shi)他(ta)们(men)找寻的(de)听障人(ren)沟通外界的(de)那座“桥”。

“这套系统已经涵盖教育、法律、餐饮、交通等应用场景,在光线充足的(de)环境下,识别率可达95%。”袁甜甜说,系统还在飞速升级,“我(wo)们(men)目标是(shi)100万条语料,基本覆盖社会生活的(de)常用场景。”

“沟通永远是(shi)双向的(de),我(wo)身边的(de)这些孩子们(men)不是(shi)残障,他(ta)们(men)只是(shi)‘不一样’。我(wo)们(men)要做的(de)就是(shi),用科技(keji)的(de)力量让他(ta)们(men)被‘听到’、被‘听懂’。”袁甜甜说。

办事过程比想象的(de)还方便

本报记者 申智林

走进湖南省长沙市开福区政务中心,来自吉林省的(de)姑娘李丽打算咨询一下残疾证异地换新的(de)相关流程。由于存在听力方面的(de)障碍,她(ta)做好(hao)了因沟通不畅而办不成事的(de)准备,却没想到,整个办事过程远比想象中要方便。

大厅里,工作人(ren)员见李丽只能用手语交流,便将她(ta)引导至载有“楼层业务导引”功能的(de)屏幕前进行办事分导。

令李丽惊喜的(de)是(shi),点开一级菜单,屏幕左上角立刻弹出一个小窗口,里边赫然出现一个虚拟人(ren)物“千语”。每当李丽往下划动,虚拟人(ren)物都会迅速而准确地打起手语,充当导引内容的(de)翻译。很快,李丽就找到了对(dui)应的(de)办事专窗。

没有一个懂手语的(de)工作人(ren)员,也没有配专职手语翻译,开福区政务大厅的(de)工作人(ren)员驾轻就熟地打开“千博手语双向无障碍沟通平台”,先是(shi)借助预置业务内容的(de)手语翻译,同李丽沟通交流;深入沟通中遇到困难,又联系平台后方的(de)实时翻译,对(dui)李丽做好(hao)释疑解惑。不到半个小时,相关业务就全部办理完毕。“有了这套系统,我(wo)们(men)沟通更顺畅了。”李丽表示。

“这套服务(fuwu)系统目标是(shi)打通语音文字到手语手势、手语手势到语音文字的(de)双向映射,实现听障人(ren)无障碍获取汉语及文本信息,听障人(ren)与健听人(ren)之间无障碍沟通。”长沙千博信息技术有限公司(gongsi)(gongsi)技术总监郭松睿介绍。

2018年,湖南大学信息科学与工程学院教授、长沙千博信息科技(keji)有限公司(gongsi)(gongsi)主要创始人(ren)高春鸣带着郭松睿在内的(de)研究团队(tuandui)(dui),在一次同北京联合大学的(de)教师开展技术交流时,得知听障人(ren)士有对(dui)智能手语实时转译等功能的(de)迫切需求。

“这正是(shi)我(wo)们(men)擅长的(de)内容。”郭松睿说,彼时,团队(tuandui)(dui)在计算动画领域已经积累了十余年技术经验,“说起来,智能手语可以视(shi)为计算动画的(de)一个具体分支,其中涉及的(de)文本处理、语义分析等程序,需要用到的(de)大数据、云计算等技术是(shi)完全相通的(de)。”

要做到从文本语音到手语的(de)精准翻译并不简单。“首先得理顺汉语同手语在词汇及语法方面的(de)对(dui)应关系。”郭松睿说,以词汇为例,2019年,最新版的(de)《国家通用手语词典》收入了8214个手语词汇,“但在日常生活中,要满足沟通需要,至少还需要增加三四千个词语的(de)手语表达范式。”为此,研发团队(tuandui)(dui)开展了广泛的(de)基础语料搜集工作,并从中提炼出一些比较通用的(de)手语词汇,补充到数据库中。

而语法方面,情况更加复杂。“一开始,我(wo)们(men)想当然地认为,中国的(de)手语和汉语普通话在语法规则上一致。”郭松睿说,可实际上,不管是(shi)语序还是(shi)语义逻辑的(de)表达,各地都千差万别。比如简单的(de)一句“我(wo)不喜欢吃苹果”,因为语序和语义表达上的(de)差异,可能有很多种表达形式。“在海量语料的(de)基础上,充分利用大数据计算,我(wo)们(men)逐步归纳手语语法特征。”郭松睿说。

在研发团队(tuandui)(dui)不懈努力下,如今,对(dui)于新闻(xinwen)播报等较为规范的(de)文本、课堂教学等有章可循的(de)语音报送以及类似政务服务(fuwu)等程序性较强的(de)沟通场合,千博信息推出的(de)“千语”虚拟人(ren)物,已经能够做到实时精准的(de)手语翻译。

“下一步,我(wo)们(men)重点在于提高从手语到文本语音的(de)智能识别和实时转录,减少对(dui)人(ren)工的(de)依赖。”郭松睿说。

终于能“听”解说了

本报记者 康 朴

“这个操作失误了”“放了一个大招”……在一场王者荣耀游戏比赛直播间,主播语调激昂地解说着紧张刺激的(de)对(dui)战场面,视(shi)频(pin)画面右侧,一个AI主播双手不停变换动作——这是(shi)腾讯研发的(de)手语AI主播,形象取自游戏中的(de)角色“云缨”。她(ta)的(de)解说,让生活在无声世界里的(de)游戏爱好(hao)者很开心。

其实,人(ren)工智能手语主播在今年北京冬奥会上也有过亮相,腾讯3D手语数智人(ren)主播“聆语”就用手语传递了中国冬奥健儿争金夺银的(de)激情与喜悦,温暖了无数人(ren)。

“在很多体育赛事中,专业、准确的(de)赛事解说是(shi)观赛体验中的(de)关键所在,但对(dui)听障人(ren)士来说,如果没有实时手语解说,就很难充分感受到比赛现场的(de)激情。”腾讯智能创作中心相关研究人(ren)员说。目前许多新闻(xinwen)资讯(zixun)、文娱节目中都缺少手语翻译,手语主持人(ren)、手语主播是(shi)稀缺资源,如何更好(hao)地让听障人(ren)士获取更多信息?

腾讯把目光投向人(ren)工智能:造一个AI主播,跟着解说同步比手语。可问题是(shi),程序员对(dui)手语一窍不通。

“我(wo)们(men)请来专业手语老师上课,啃下《国家通用手语词典》,逐渐形成对(dui)手语的(de)基本认知。”腾讯智能创作中心研发团队(tuandui)(dui)相关负责人(ren)告诉记者,他(ta)们(men)还跑了很多趟聋哑人(ren)学校,与师生交流,听取他(ta)们(men)意见。

研发游戏AI主播的(de)想法就是(shi)在这样的(de)交流中萌生的(de)。“在听障群体中有很多人(ren)喜欢游戏、喜欢电子竞技,经常收看电竞直播节目,但即便主播声嘶力竭,他(ta)们(men)依然无法感受到解说的(de)魅力。”研发团队(tuandui)(dui)相关负责人(ren)说。

研发团队(tuandui)(dui)不仅仅要学习手语,更大的(de)挑战在于把手语的(de)手势、表情、唇动、姿态、眼神等图像信息转化为计算机可懂的(de)编程语言。

不了解手语的(de)人(ren),也许会认为手语仅仅需要手部动作。其实手语是(shi)一门视(shi)觉语言,表情、体态等也是(shi)其表达的(de)关键。比如“明白吗?”这个问句,就需要身体朝向、表情、眼神、口型联动,才能有效传递出疑问的(de)语气。

为了实现更加准确、自然的(de)手语表达效果,腾讯智能创作中心建(jian)立了汉语-手语翻译系统,可以通过机器翻译生成手语表征信息,基于多模态端到端生成模型进行联合建(jian)模及预测,生成高准确率的(de)动作、表情、唇动等序列。

在体育赛事中,一到紧张激烈的(de)时刻,解说员语速都会加快,这时,打手语就有可能跟不上了。“把解说语音识别为文本,用算法进行取舍,抽取关键信息,保留主体意思,再通过语料库转换为手语文本,最后渲染成手语视(shi)频(pin)。”腾讯智能创作中心研发团队(tuandui)(dui)相关负责人(ren)说,系统还会根据解说员语速来判断是(shi)否需要压缩和压缩多少语义,以达到更好(hao)的(de)呈现效果。

“目前我(wo)们(men)在和一些省级电视(shi)台合作,让手语数字人(ren)亮相更多电视(shi)大屏,先为省级新闻(xinwen)联播等节目做好(hao)相关服务(fuwu)和支持,再逐步拓展场景。”腾讯智能创作中心研发团队(tuandui)(dui)相关负责人(ren)说,“随着技术不断进步和场景不断完善,听障人(ren)士会越来越便捷地获取更多信息,我(wo)们(men)的(de)工作很有意义。”

李家鼎 【编辑:陈文韬】

小岛康誉:“精绝国”是(shi)如何重见天日的(de)?

空间站与“卡脖子”,中国在警醒中争取“逆袭”

美联储年内第五次加息,鲍威尔讲话释放新信号

日本地方议会反对(dui)安倍国葬:这将强制国民表达哀悼!

一百家子拨御面:老味道挖掘文化新“IP”

对(dui)话丨王岚嵚:渴望有朝一日能身披国家队(dui)战袍

“十四五”老年人(ren)口将超3亿 “老有所养”如何保障?

彩礼中的(de)情理法碰撞:婚姻为何让彩礼“作主”?

为了让自己少熬夜 大学生花6个月时间(shijian)做了一款App

麻烦升级?特朗普及其三个子女遭纽约总检察长起诉

多地力推二手房“带押过户”,有什么好(hao)处?

“及时雨”继续下!国务院连派三批特殊工作组

“神笔马良之父”: 谁说中国没有童话

麦当劳重开基辅门店:重新开业之初将只提供外送服务(fuwu)

干旱致河床裸露 湖北石首保护区打井助麋鹿泥浴

巡天守护三十年:“生命之塔”助中国航天行稳致远

中国空间站即将建(jian)成 三步看中国载人(ren)航天30年

吉林“枪王”教官成警队(dui)标杆:但愿永远没有用枪时刻

电竞,听障,主播,汉语水平考试,腾讯

您可能还会对下面的文章感兴趣:

共有:440人留言! 共有:440人喜欢本文! 点赞 最新评论 查看所有评论
加载中......
发表评论