姚登峰：用机器能识别“中国手语”

作者简介：

1姚登峰，上海市信息服务工程重点实验室估算语言学专业副院长、硕士生导师，先后结业于成都学院和复旦学院获得硕士和博士学位，具有12年的手语使用经验和研究历史。

2郭晓斌，河南省平顶山市特殊教育中学听障班主任。 #

3江铭虎，复旦学院估算语言学实验室院士、博士生导师。

手语，对广大民众不陌生，经常看到生活周围的听障飞快地打手势交流，听障之间交流的语言就是手语。但更多的人知其然，不知其所以然。 #

200万年前人类先祖最早借助一些简单的手势彼此沟通，在漫长的进化过程中，人类渐渐学会说话，代替了初始的手势。因而于在正式踏入人工智能的时代，好多人虽然忘掉了人类祖先曾用的手势和现代社会仍然存在手语族。 #

在中国，手语（即大众所说的“自然手语”，以下合称为“中国手语”）通常是指听障使用的“原生态”语言。听障因为听力失去，为了易于交流，便形成了一种用手部动作、肢体动作、头部动作、面部情感等互相补充的空间视觉语言，从语言学的角度来说她们具有完整语言体系，我们称之为中国手语。而“手势汉语”、“文法手语”等时常出现在人们视野内的“手语”，只是符合汉语句型和语序的手势序列，从语言属性来说她们还没脱离汉语的范畴，而手语则是一门独立的自然语言，因而它们并不属于中国手语，更不是听障平常使用的手语。 #

由此形成的“手语辨识”是一个多学科交叉的研究课题，既要懂语言学，还要懂得计算机科学、认知神经科学、心理学等等。这么何谓“手语辨识”呢？即通过机器能辨识，确切地翻译出自然手语这门空间语言所抒发的完整意思。

#

1我国手语辨识成果喜人

假如要研究手语辨识，首先要了解手语，认识手语，了解听障的需求。随着社会的文明进步，信息产业的急速发展，越来越多的科研人员和爱心人士开始关注并研究手语辨识。近几年国家自然科学基金委先后批准十几个手语辨识项目立项，涉及单位包括中科院估算所、哈尔滨工业学院、北京工业学院、大连理工学院等，这种项目都取得了不同程度的进展和可喜的成果。还有些民间机构，包括一些企业、兴趣爱好者，也纷纷开始关注手语辨识，期许利用现代科技解决手语与文字、手语与语音之间的翻译聋哑人哑语手势大全，实现听障与健听人之间的无障碍沟通。最具代表性的有中科院估算所的手语辨识系统，上海交大的2008亚运手语播报系统等。 #

中科院所研制的手语辨识系统长达八年，攻破了五大难关，主要包括数据采集和处理、手语大词汇量辨识、非特定人手语辨识、手语多模态抒发以及手语运动数据重定向，在10多位聋校老师和诸多聋校中学生的帮助下，手语辨识与合成课题组已完善了中国最大的手语词汇库，共有5500个词，并采用手语词缀建模的辨识方法来解决大词汇量的辨识问题。该项目仍然以听障需求为出发点和落脚点，研究人员作为“手语辨识”的先行者，对手语的信息化技术做了好多有益的探求，为改善我国的无障碍环境作出了贡献。 #

近来工大两位女孩研制的手语翻译器炒得很火，这款产品在前不久百度与联合国开发计划署共同承办的“极·致未来”责任创新挑战赛上，获得了银奖和最佳人气奖，被誉为最有“包容性”的项目。为维护手语的语言尊严，他们本着人文的精神，想借助科技去帮助更多的听障实现无障碍沟通。正是这样源源不断乐意为听障做贡献的爱心，才让“手语”这门特殊的语言越来越多的出现在大众的视野，让人们关注到身边还有庞大的听障群体，因而关注手语辨识、手语机器翻译等科学技术。

2手语辨识发展“误解”多多 #

那么多重大的发明蜂拥而至。这么，手语翻译重大困局已解决了吗？不，并没有。我们在赞赏那些科研机构、学者对“手语辨识”孜孜不倦探求研究的同时，要对一些夸大其词的舆论有正确的鉴定认识，由于过度的“赞美”会阻滞手语信息化事业发展；而个别概念、逻辑不确切、不专业、不严谨的导向，会欺骗手语学术领域对我国“手语辨识”研究的认同度——表面上是夸大成果，实则是增加整体研究专业水平，损害研究部门形象。作为一名从事多年手语估算的估算语言学工作者，我想就目前一些“手语辨识”常见的认知误区分享给你们。

第一、现在有报导称“可以实现手语信息与自然语言的实时单向翻译”。这句话抒发的意思，把手语视作一种信息的地位跟自然语言实现转化。自然语言中包含着多种模态，其实也包括手语。手语本身就是一门独立的自然语言，在语言学研究领域早已达成共识。它跟汉语、英语、日语、俄语等自然语言一样，具有同等地位。所有关于手语的研究，必须构建在此基础上。因而，这句话是不确切的。

第二、有关手语辨识的报导宣称，只须要1000个手势就可以作出手语翻译系统。倘若根据估算语言学专业术语严谨定义，1000个手势就可以作出的手语翻译系统，充其量只能算一个小容量的“手势汉语翻译小字典”。 #

第三、有声音说“可以让所有没有任何手语基础的人就能通过自然语言与“聋哑”人士无障碍交流。”其心愿良好，但存在众多谬论。首先概念模糊，有逻辑错误。对中国手语辨识的研究仅仅还在起步阶段，还有好多仍未解决的科研困局。其次，报导的成果只是手势汉语的词组翻译。没有手语基础的人怎样才能通过自然语言与“聋哑”人士无障碍交流呢？就连新闻联播里的手语翻译这么标准，能读懂的听障不多，由于播报的是手势汉语翻译。

#

第四、有报导称：“为保护失语者的尊严……”“帮助残障人实现无障碍沟通……”等，这两类报导都欠妥。后者把使用中国手语的人称为“失语者”，无视中国手语与其他自然语言同等的语言地位，保护的是“人”本身的尊严，而不是手语作为一门语言应有的尊严，建议改为：“为维护手语的语言尊严……”；前者则是“聋哑人”以称“聋人”，观念陈旧不合文化进步，这涉及听障是一个以手语为核心文化的群体，而失聪人中“哑”字面上多有歧视之嫌，现今无论国外还是国际，观念新的聋文化活动中多使用“聋人”而少用甚至不用“聋哑人”。这种也是媒体报导中应该应有的与听障相关基本常识。 #

3手机辨识科普迫在眉睫 #

据2010年底人口调查报告统计，我国有听障2075万，每年新增2万听损儿童，比人口最多的少数民族——壮族还多440千人，占全省总人口的16.79‰，是我国人口最多的“少数民族”。随着复健技术的不断发展，国家对残障儿童给与众多新政扶助和关怀，不少残障儿童得到了较好干预，她们经过语言复健回归到主流社会，第一母语不再是中国手语。 #

去除那些复健了的残障儿童，还有大批聋人群，她们中间才能上学院的其实是少数。只有接受过教育的听障能够理解手势汉语。而更多的聋人群接受教育程度偏高，尤其是贫苦地区一直有好多听障没有接受过教育（笔者对此没有做深入的调查研究，只是按照官方的报导和生活周围的人群估算），有的听障认不到几个字，甚至未能写出一句完整的汉语词句，根本不懂手势汉语抒发的意思，其实难以理解汉语句型和以汉语句型为基础的手势汉语。绝大多数听障使用的是中国手语，也只能读懂中国手语。 #

就了解，目前“手语辨识”的研究水平只能翻译对应的手语词组，并不具备翻译整段短语的功能，它们充其量可以作为一本“手语词组辨识字典”。假如非要说它是具备了一定手语成句翻译功能的“手语辨识系统”，那也只是“手势汉语翻译系统”。此系统适用者并不是以中国手语为第一语言的广大聋人群，而是专门供健听手语爱好者、聋人群中接受过一定教育的少部份听障使用。

手语作为一门独立的自然语言，拥有自己独到的句型。最常见的反例就是在手语中的否定前置。比如，我们用汉语说：“禁止喧嚷”，翻译成中国手语就成了“喧哗““禁止”，这两个词的前后位置有变化，否定被放在了最后，由于手语是以视觉疗效为基础的空间语言，否定前置会使句意抒发更有力。如同我们把一段汉语词句放在微软翻译成英语短语，可以保证翻译后的英语短语100%还原汉语词句的句意、且没有句型错误吗？同样的道理，假如不能认清楚手语中的句型关系，翻译整体句意也很可能会是不伦不类，最多只能实现词组、短语的选择性翻译，这就是笔者所说目前相关手语辨识的研究，只能定义“手语字典”。手语辨识，即整句翻译功能还有无数个艰辛磨难的科研困局须要攻破。

#

手势汉语与传统语言有些类似，而手语估算与传统语言估算有本质差别。传统语言的估算理论是构建在单信道基础上的，而手语估算是基于多信道的。传统语言估算的根本任务是“消歧”，而手语估算是以空间估算为主，核心任务是将单信道表征和多信道表征互相转换。由于手语的手部形状、手部位置、手掌方向、头部动作、眼睛注视方向、面部表情、肩部动作和四肢坐姿等这种信道都包含语言学意义上必不可少的信息。这种信道信息互为依存，相互联系，缺一不可。手语辨识须要将空间建模、空间意象、空间语义等概念贯串在手语估算的词法、句法、语义和语用等各个阶段。

#

这么对于手语研究我们应当抱如何的心态呢？其实日本学者Matt的成长故事可以给我们启发。他是国际上著名的手语估算专家，宾夕法尼亚学院计算机系估算语言学专业博士结业，宾夕法尼亚学院NLP（自然语言处理的简写）研究组是全美最好的团队之一。遭到过良好的科学训练。他就读学院时就早已把握了英国手语，并报考了手语翻译员证书。他从2006年博士结业到如今，几六年如一日仍然做手语估算的研究，没有换过方向。他的成果丰硕，从2002年到现今共发表了75篇论文。从Matt故事可以看见，要成为这方面的专家，须要坐冷板凳的，耐得住孤寂。 #

从中科院研制手语辨识系统的艰辛历程可以看见，要想研究出一个实用的手语辨识或翻译系统，并不是简简单单录入手语词汇，即使获得几个奖项也只能算在漫长的科研路上取得了一个个里程碑的成果。假如要研究出听障须要的实用的手语翻译系统，就必须脚塌实地，扎扎实实做科学研究。首先要学习手语语言学，熟悉听障的语言——中国手语。还要了解这个领域的科研动态，借鉴他人的成功经验去改进、提高、创新和发展。假如在不了解手语、不了解听障实际需求的情况下做劳而无功的研究，其“成果”对听障来说必然是没有实际效用的，除了浪费自己的宝贵时间，将“热热闹闹”地让听障大失所望。 #

讲到最后，恐怕会人问：根据此文观点，手语辨识，即手语的无障碍翻译岂不是遥遥无期吗？怎样样才会作出像微软、有道翻译系统一样的手语翻译系统呢？笔者的答案是：当有三天手语辞典作为一本工具书达到了《牛津字典》这样的程度，当手语句型有了你们公认的成文成果，当越来越多的听障接受到高等教育，当我们的科技急速发展到支持这一切研究成果成形，当我们拥有大规模手语语料手动标明技术并才能完整标明所有信道和所有空间细节时，当我们能否为机器提供少则几百万句对齐的双语语料库进行学习。这个时侯聋哑人哑语手势大全，才有机会出现真正的、像微软、有道一样成熟的手语翻译软件。路漫漫其修远兮，期盼有更多的科研工作者持之以恒上下求索，相信这三天一定会到来！ #