“手语播报数字人”为听障人士报导冬奥会-亚洲ca88官方网站

  本报讯（记者 雷嘉）依据全国第2次残疾人抽样调查数据，我国有超越2700万名残疾性听力妨碍人士，他们也等待及时了解北京冬奥会的竞赛资讯。2月5日开端，选用我国首个超大规划智能信息模型和虚拟数字人技能，为听障人士打造的“冬奥手语播报数字人”每天露脸北京卫视的“冬奥赛事集锦”和“一同看冬奥”两档节目，协助听障人士感触奥运盛会的精彩，用科技为残疾人相等参加社会生活发明无妨碍环境。

  “冬奥手语播报数字人”是在北京市科委、中关村管委会支持下，由智谱AI、凌云光和北京播送电视台联合打造的，清华大学贾珈教授团队和中科院计算所陈益强研究员团队也参加了关键技能的研制。这一体系以超大规划预练习模型为核心技能，自主建立多模态肢体动作、表情、手指同步收集体系，运用跨模态拟人生成算法、超高精度写实数字人等职业抢先技能，完成冬奥期间赛事新闻的专业手语翻译播报。

  “冬奥手语播报数字人”体系完成了《国家通用手语词典》录入的8214条通用手语的收集和录制，而且语法都以听障集体习气打法为准，以保证手语播报效果的准确性和专业度。因为当时国内短少较完善的手语语料数据，研制人员在北京市残联及其聋人协会的支持下，约请超越40余位聋人教师及手语专家进行手语文本转写和技能指导，并进行大范围的听障集体评测，终究构建了契合国家通用手语标准的国内规划最大多模态手语语料库，词汇及句子总规划超10万。

  为了构建可以了解、翻译语音和手语的智能数字大脑，“冬奥手语播报数字人”体系以超大规划预练习模型为核心技能，经过语义蒸馏及手语翻译快编模型，完成新闻播报语音蒸馏成语义高度挨近的手语文字，并翻译成契合手语习气的语序。终究，手语数字脑可以终究靠计算机仿照听障人士的大脑，进行手语播报驱动。

  为了完成高精度、高天然度的人物形象和手语动作姿势，研制团队还自主建立了多模态肢体动作、表情、手指同步收集体系。经过收集多模态动作捕捉数据，运用跨模态拟人生成算法对超写实数字人进行天然、流通的驱动和烘托，完成对文本内容的手语播报。其间，经过肌肉绑定技能驱动完成面部收集，结合业界抢先的语音辨认及高清视频组成等技能，出现给听障人群亲热天然的冬奥手语播报服务。“冬奥手语播报数字人的使用展示了咱们‘让机器像人相同考虑’的愿景，不只使听障人士能方便获取冬奥资讯，还将无妨碍环境的理念传递到数亿人群，让科技更有温度。”智谱AI的首席技能官张鹏说。