“手语跟我们之前了解到的所有语种都不太一样,它是视觉语言,最开始尝试想用语音语言的方式去解决手语的事情,但后来发现遇到的问题比较多。”近日,搜狗AI交互技术部总经理陈伟在接受搜狐科技采访时坦言。
陈伟所谈到的就是在5月17日举办的2021搜狐科技5G & AI峰会上,搜狗公司CEO王小川正式发布的最新一代AI合成主播——全球首个手语AI合成主播“小聪”。
作为AI合成主播的开创者,搜狗自2018年发布全球首个AI合成主播至今,先后发布了AI主播雅妮、新小萌、新小浩、AI气象主播杨丹丹等多个“数字人”产品。在5月17日当天,搜狐新闻客户端还联合搜狗推出首个明星“数字人”主播,以柳岩为原型,具备普通话+6种方言能力,并可24小时播报,目前已在搜狐新闻客户端“上岗”。
在接受搜狐科技采访时,陈伟及其团队谈到“小聪”时,无不感叹挑战之大。但随着产品发布,陈伟预计手语“数字人”将在今年底规模应用。“这次主要是希望通过手语的方式做信息的表达,让听障人士在信息的获取效率和体验上进一步提升。”陈伟说。
世界卫生组织发布的最新数据显示,全球共计4.66亿人有听力障碍,我国听障人员则超过2700万人,而手语是听障人士的第一语言。如何通过技术创新实现听障人士真正可懂的手语播报能力,对于帮助听障人群克服语言沟通障碍,更好融入社会非常有价值。
拥有成熟语音能力的搜狗为何会选择手语方向,面临哪些不同于以往的难点,这又将给听障人士带来哪些价值?陈伟及其团队在近日接受搜狐科技等媒体采访时揭秘了这款“数字人”诞生的历程。
手语“数字人”背后的六大挑战
不同于语音是通过声音来表达,手语是视觉语言,通过手势、表情、唇动、姿态等多种方式来表达。对于搜狗AI团队来说,手语是一种陌生的语言,陈伟团队内成员直言压力不小。
从手语本身而言,手语语序和汉语语法规完全不同,这需要在翻译过程中调整为听障人士能够看懂的语序。比如“我是全球首个手语AI合成主播”是汉语正常的语序,但手语表达则是“全球 AI 智慧 能 手语 主持 第一”。