教AI認(rèn)手語(yǔ)的年輕人：借助科技讓更多聾人被“聽見”
教AI認(rèn)手語(yǔ)的年輕人
他們借助科技力量，試圖讓更多聾人被“聽見”“聽懂”
本報(bào)記者雷琨、李亭、梁姊
今年5月，世界智能大會(huì)現(xiàn)場(chǎng)，一個(gè)“手語(yǔ)角”吸引了不少人駐足。只要在攝像頭前打出手語(yǔ)，身后的顯示屏上就會(huì)出現(xiàn)語(yǔ)意連貫的文字翻譯。這套由天津理工大學(xué)聾人工學(xué)院和計(jì)算機(jī)學(xué)院共同參與研發(fā)的“復(fù)雜場(chǎng)景下中國(guó)手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”(下簡(jiǎn)稱“手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”)，已經(jīng)覆蓋了教育、法律咨詢、餐飲、交通幾大應(yīng)用場(chǎng)景，在光線充足穩(wěn)定的室內(nèi)，識(shí)別率最高能達(dá)到95%，部分場(chǎng)景下可以實(shí)現(xiàn)“秒翻”。
王建源是研發(fā)團(tuán)隊(duì)的成員之一。他是聾人家庭長(zhǎng)大的聾兒，聽力損失嚴(yán)重，吐字發(fā)聲非常困難，手語(yǔ)是他和這個(gè)世界打交道最初也最有效的方式。一路長(zhǎng)到22歲，聾人的身份不曾讓他感到自卑；口不能言，也沒(méi)耽誤他長(zhǎng)成一個(gè)妥妥的“學(xué)霸”；但如果你問(wèn)他，因?yàn)槁犃φ系K，從小到大遇到過(guò)哪些方面的不便，他會(huì)平靜地在手機(jī)上打出四個(gè)字：方方面面——因?yàn)檎J(rèn)識(shí)手語(yǔ)的人太少了。
一個(gè)最典型的例子是看病，如果沒(méi)有手語(yǔ)翻譯陪著，即便只是頭疼腦熱，像王建源這樣的“手語(yǔ)族”也很難獨(dú)自就醫(yī)——絕大多數(shù)醫(yī)生不會(huì)手語(yǔ)，你不能要求一個(gè)病人在急診室里，用手寫或打字的方式，條分縷析地快速描述自己的癥狀。
袁甜甜是王建源的老師，也是“手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”項(xiàng)目團(tuán)隊(duì)的負(fù)責(zé)人。2006年研究生一畢業(yè)，她就在聾人工學(xué)院計(jì)算機(jī)系工作。15年來(lái)，袁甜甜記不清有多少次，凌晨一兩點(diǎn)鐘接到學(xué)院的電話，讓她陪學(xué)生去看病，幫忙做手語(yǔ)翻譯。如今，她已經(jīng)是學(xué)院的副院長(zhǎng)，帶聽障生上醫(yī)院依然是她和學(xué)院所有老師的職責(zé)。
她不怕辛苦，就怕自己的手語(yǔ)水平耽誤事。袁甜甜是健聽人(聽力健全人的簡(jiǎn)稱)，手語(yǔ)是走上教職之后自學(xué)的，她常常自嘲說(shuō)，在語(yǔ)言方面天賦有限，“我是個(gè)‘半顫子’(天津方言，指半吊子、不熟練)手語(yǔ)翻譯。學(xué)生描述的情況一復(fù)雜，或者打手語(yǔ)的速度太快，我就只能看懂一部分了�！�
聽障大學(xué)生自立自強(qiáng)、想方設(shè)法克服身體上的不便，特教老師盡職盡責(zé)、苦練手語(yǔ)為殘疾人事業(yè)無(wú)私奉獻(xiàn)——如果要講一個(gè)勵(lì)志故事，這樣的情節(jié)就足夠了。但袁甜甜和王建源們顯然更想講一個(gè)“科幻故事”：他們想教計(jì)算機(jī)學(xué)手語(yǔ)，讓機(jī)器代替人，成為隨叫隨到、及時(shí)準(zhǔn)確的“手語(yǔ)翻譯”。
袁甜甜學(xué)計(jì)算機(jī)出身，王建源的專業(yè)是網(wǎng)絡(luò)工程，他們篤信，依靠科技的力量可以幫助中國(guó)2780萬(wàn)聾人，乃至更多有需要的人，克服生活上的種種不便。他們想讓手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)化作一道橋梁，無(wú)論是聽障者還是健聽人，都可以通過(guò)它無(wú)障礙地交流。
這個(gè)目標(biāo)聽起來(lái)宏大，想實(shí)現(xiàn)也很難，但他們還是決定動(dòng)手試試看。
新的橋梁
幫助聾人與健聽人交流，前一座已經(jīng)建成的“技術(shù)之橋”，是語(yǔ)音識(shí)別。
2007年，曾任中國(guó)聾人協(xié)會(huì)副主席的富志偉，發(fā)表了一篇題為《我看“聾人信息無(wú)障礙”》的學(xué)術(shù)文章。他在文中寫道：“我期望將來(lái)能研制出一種機(jī)器，它可以和現(xiàn)在的微型攝像機(jī)一樣大小，一端輸入口語(yǔ)，另一端小屏幕上即顯示文字……等到這種機(jī)器問(wèn)世，聾人信息無(wú)障礙環(huán)境將大大改觀�！�
十幾年后回看這段話，會(huì)發(fā)現(xiàn)富志偉期待中的機(jī)器，和如今智能手機(jī)上常見的語(yǔ)音識(shí)別應(yīng)用，幾乎一模一樣。語(yǔ)音識(shí)別技術(shù)的受益者，也已不限于聽障群體——看看身邊有多少人在用語(yǔ)音輸入法就知道了。
袁甜甜帶領(lǐng)團(tuán)隊(duì)研發(fā)的“手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”，就類似于手語(yǔ)版的“語(yǔ)音輸入法”。只不過(guò)后者是輸入語(yǔ)音、機(jī)器識(shí)別、轉(zhuǎn)成文字，而前者是輸入手語(yǔ)動(dòng)作和表情、機(jī)器識(shí)別，再翻譯成文字——“老橋”與“新橋”，相似又不同。
袁甜甜沒(méi)想到，“老橋”的存在竟然會(huì)成為項(xiàng)目團(tuán)隊(duì)建設(shè)“新橋”的“阻力”。
“為什么一定要搞手語(yǔ)翻譯呢？聾人聽不到，現(xiàn)在有語(yǔ)音識(shí)別��！有的聾人不會(huì)說(shuō)話，拿手機(jī)打字不就行了嗎？”曾經(jīng)有一些企業(yè)向袁甜甜了解過(guò)正在開發(fā)中的手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)，想談投資。但談來(lái)談去，他們卻對(duì)項(xiàng)目的必要性產(chǎn)生了質(zhì)疑，覺得手語(yǔ)翻譯除了“做善事”沒(méi)有其他意義。類似的話聽得太多，快人快語(yǔ)的袁甜甜有點(diǎn)兒急了，“那要這么說(shuō)，當(dāng)初搞什么微信呢？就用短信不一樣嗎？搞什么語(yǔ)音識(shí)別呢，就直接打字唄？很多創(chuàng)新都有傳統(tǒng)形式上的替代品，那科技就別進(jìn)步了唄？”
袁甜甜說(shuō)，直到今天，手語(yǔ)仍然是許多聽障人士最自然、高效的表達(dá)方式，“比寫字、打字都快。”但為了促進(jìn)無(wú)障礙交流，要求健聽人都去學(xué)手語(yǔ)，顯然不現(xiàn)實(shí)。人類要掌握一門語(yǔ)言，總會(huì)受到認(rèn)知水平、記憶力等各方面的限制，“我們的手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)，就是要解決這個(gè)問(wèn)題�！痹鹛鹩兄湫偷墓た扑季S，遇到難題，第一反應(yīng)就是思考能不能從技術(shù)層面突破。“我感覺如果技術(shù)到了那兒，機(jī)器的記憶力和它的學(xué)習(xí)能力，要比人強(qiáng)很多。所以要是能讓機(jī)器學(xué)會(huì)手語(yǔ)，它肯定比我這種‘半顫子’手語(yǔ)翻譯管用多了�！�
目前，手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)還處于試用階段。理想狀態(tài)下，等到研究成果真正落地，健聽人只要打開手語(yǔ)翻譯程序，就能和“手語(yǔ)族”直接交流了。
但對(duì)袁甜甜和年輕的研發(fā)團(tuán)隊(duì)來(lái)說(shuō)，想達(dá)到這個(gè)“理想狀態(tài)”并不容易�！ ∽鳛樯疃葏⑴c項(xiàng)目的聽障生，王建源和聾人工學(xué)院計(jì)算機(jī)專業(yè)的烏力杰在手語(yǔ)識(shí)別、翻譯技術(shù)上投入的精力越來(lái)越多。他倆開過(guò)一個(gè)向全社會(huì)推廣、普及手語(yǔ)的微信公眾號(hào)，如今已經(jīng)一年半沒(méi)顧上更新了。當(dāng)初辦公眾號(hào)的時(shí)候，他們的想法是，要打開一扇窗，讓聾人被“看見”。而現(xiàn)在，他們忙著造橋，想讓聽障者被“聽懂”。
手語(yǔ)之美
除了聽障生，“手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”項(xiàng)目團(tuán)隊(duì)中也有健聽人。無(wú)論是不是手語(yǔ)的日常使用者，他們之間有個(gè)共識(shí)：手語(yǔ)是一門很美的語(yǔ)言。
袁甜甜對(duì)手語(yǔ)之美的直觀感受，都來(lái)自她的學(xué)生。袁甜甜的母校是天津師范大學(xué)，當(dāng)老師是她唯一的職業(yè)目標(biāo)，但她沒(méi)有特教專業(yè)背景，平時(shí)打的手語(yǔ)，一部分是自己照著書學(xué)的，另一部分是在和聽障生的日常交流中逐漸掌握的。剛?cè)肼毜臅r(shí)候，學(xué)院的老教師還夸她，“挺厲害啊，一上講臺(tái)就敢跟學(xué)生‘比畫’！”
袁甜甜有著典型的老天津人性格，心腸熱、說(shuō)話直，她坦言當(dāng)初苦練手語(yǔ)，心里也沒(méi)存著“為殘疾人教育事業(yè)貢獻(xiàn)力量”這樣的遠(yuǎn)大理想。只是覺得，既然要當(dāng)老師，教的又是聽障生，手語(yǔ)就是上課必備的工具，“你不敢‘比畫’就永遠(yuǎn)學(xué)不會(huì)，永遠(yuǎn)沒(méi)法跟孩子們無(wú)障礙溝通，對(duì)吧？”
就這樣一邊用一邊學(xué)，她發(fā)現(xiàn)聾人日常使用的自然手語(yǔ)，遠(yuǎn)不止“照著書比畫”這么簡(jiǎn)單。它有自己的語(yǔ)序和語(yǔ)法，口語(yǔ)里說(shuō)“滅火”，滅在火之前，而學(xué)生們打手語(yǔ)時(shí)，會(huì)先比出“火”——起了“火”，再去“滅”；它有獨(dú)特的空間感，同樣一個(gè)掌心向下，五指由聚到散，模擬光源的手勢(shì)，在室內(nèi)打意思是燈，在室外打就可以指代太陽(yáng)；同樣一句話，來(lái)自五湖四海的學(xué)生，可能打出好幾種不同的“方言”版本；手語(yǔ)的表達(dá)方式更是豐富，要打出一個(gè)意思完整的句子，不光靠手勢(shì)，也要配合相應(yīng)的表情，還需要加上肢體動(dòng)作……
“真的是一門很美的語(yǔ)言！”袁甜甜說(shuō)，直到今天，她和學(xué)生用手語(yǔ)交談，有時(shí)候還會(huì)愣神，覺得他們“身上有光”。而親眼看過(guò)王建源、烏力杰打手語(yǔ)的人，就會(huì)承認(rèn)袁甜甜的感受并不夸張。
王建源生在青島一個(gè)聾人家庭，父母都是聽障人士。2018年考進(jìn)聾人工學(xué)院網(wǎng)絡(luò)工程專業(yè)之前，他一路都在聾校接受教育。
小時(shí)候，父親就像其他家長(zhǎng)教孩子說(shuō)話一樣，帶著王建源認(rèn)認(rèn)真真地練習(xí)手語(yǔ)。父親并不認(rèn)為那是一門“特殊”的語(yǔ)言，“他覺得普通話能字正腔圓、抑揚(yáng)頓挫，手語(yǔ)同樣能夠大開大合、詼諧幽默。”父母對(duì)手語(yǔ)的坦然態(tài)度，影響了王建源。他從不避諱在公開場(chǎng)合使用手語(yǔ)，也從不隱藏自己的聾人身份。在他看來(lái)，手語(yǔ)就是手語(yǔ)，不是某種“殘疾的外顯”。聾人可以用它表達(dá)內(nèi)心的想法，而健聽人，只要掌握了這門語(yǔ)言，同樣可以用它來(lái)交流——手語(yǔ)和其他任何語(yǔ)言一樣，是破除障礙、溝通彼此的工具，它可以是橋梁、是紐帶，唯獨(dú)不該是障礙本身。
烏力杰是來(lái)自青海的蒙古族小伙，“家在茶卡鹽湖邊上”——除了精通手語(yǔ)，他也可以用口語(yǔ)交流，只是聲音有些沙啞低沉。
比起同年入學(xué)的王建源，烏力杰的求學(xué)經(jīng)歷要更復(fù)雜些。小學(xué)階段，他靠助聽器和讀唇的本領(lǐng)，與健聽孩子一道讀過(guò)三年普校，“三年都是全班第一”。那段經(jīng)歷鍛煉了他的適應(yīng)性和口語(yǔ)表達(dá)能力。后來(lái)，他離開青海，在武漢第二聾校完成高中學(xué)業(yè)，通過(guò)單考單招來(lái)到天津理工大學(xué)。這樣的成績(jī)?cè)诩易逋叺暮⒆又小靶Π寥盒邸�，更讓他�?jiān)信“聾人也不比誰(shuí)差”。他一度直接把“Deaf-無(wú)音”用作自己的微信昵稱——在英文中，Deaf就有聾人的意思。
無(wú)論是學(xué)專業(yè)課、推廣手語(yǔ)還是做科研，這個(gè)古銅色皮膚的蒙古族青年有股“一馬當(dāng)先”的闖勁兒，“海倫·凱勒能做到的事情，我們?yōu)槭裁醋霾坏�？�?/p>
技術(shù)之難
王建源和烏力杰是受袁甜甜邀請(qǐng)加入項(xiàng)目團(tuán)隊(duì)的。2019年，他倆才上大二，就被委以重任，負(fù)責(zé)收集手語(yǔ)語(yǔ)料，撰寫符合自然手語(yǔ)語(yǔ)法、語(yǔ)序的句子。手語(yǔ)是一門視覺性語(yǔ)言，基于這一特點(diǎn)，“撰寫”的過(guò)程不是通過(guò)手寫或打字輸入，而是以錄制視頻的方式完成的——王建源、烏力杰以及團(tuán)隊(duì)中其他聽障生的重要工作之一，就是對(duì)著攝像頭反復(fù)打手語(yǔ)。
為什么是他們？
因?yàn)槭终Z(yǔ)實(shí)時(shí)翻譯技術(shù)之難，恰恰源于手語(yǔ)之美：
獨(dú)立的語(yǔ)法體系，意味著團(tuán)隊(duì)研發(fā)出的系統(tǒng)，除了要將單個(gè)手語(yǔ)詞匯的意思識(shí)別出來(lái)，還得把手語(yǔ)語(yǔ)序轉(zhuǎn)化為健聽人習(xí)慣的漢語(yǔ)語(yǔ)序，把手語(yǔ)的“火滅”調(diào)整成“滅火”，才算完成翻譯；獨(dú)特的空間感，意味著高度相似的手語(yǔ)動(dòng)作，在不同的環(huán)境中，可能有不同的譯法，計(jì)算機(jī)要學(xué)著區(qū)分“屋外的太陽(yáng)，屋里的燈”；豐富的表達(dá)方式，意味著手語(yǔ)識(shí)別不像語(yǔ)音識(shí)別那樣，只需收集“聲音”這一種“學(xué)習(xí)資料”，要把人工智能訓(xùn)練成一個(gè)合格的手語(yǔ)翻譯，得把手勢(shì)、表情、大肢體動(dòng)作，通通從視頻轉(zhuǎn)化為數(shù)據(jù)，再“教”給計(jì)算機(jī)。所以，能充分理解、展示手語(yǔ)之美的聽障生，是最適合給人工智能當(dāng)“老師”的人。
王建源和烏力杰“教機(jī)器”學(xué)手語(yǔ)的本事，來(lái)自“教人”。
盡管年紀(jì)輕，他們的手語(yǔ)教學(xué)經(jīng)驗(yàn)卻可謂豐富。剛上大一，他們就發(fā)現(xiàn)，對(duì)手語(yǔ)心存偏見的人不在少數(shù)。不止健聽人，即使在聽障生內(nèi)部，也有很多同學(xué)，因?yàn)閺男【褪堋按蚴终Z(yǔ)就是承認(rèn)自己有殘疾”“要像‘正常人’一樣講話”等觀點(diǎn)影響，對(duì)手語(yǔ)懷有抵觸情緒。
因此，入學(xué)沒(méi)多久，王建源和烏力杰就開始通過(guò)學(xué)院的手語(yǔ)社團(tuán)、通過(guò)他們的微信公號(hào)、通過(guò)短視頻平臺(tái)，通過(guò)線下、線上各種渠道開班授課。像所有教語(yǔ)言的老師那樣，講語(yǔ)法、單詞、句型……兩個(gè)人甚至開始研究起更“超綱”的手語(yǔ)語(yǔ)言學(xué)知識(shí)：在王建源的書包里，一本《手語(yǔ)動(dòng)詞研究》和專業(yè)課教材揣在一起，有時(shí)間他就掏出來(lái)看兩眼。烏力杰干脆跑去參加了中國(guó)殘聯(lián)主辦的國(guó)家通用手語(yǔ)骨干教師培訓(xùn)班，畢業(yè)考核的時(shí)候，還拿了個(gè)總成績(jī)第一。
一開始，他們做這一切，只是想給這門語(yǔ)言“正名”，想告訴大家：手語(yǔ)有它的特性，但絕不“特殊”，手語(yǔ)和它的使用者一樣，都是普通的、正常的。他們并沒(méi)有預(yù)料到，那些為了教人學(xué)手語(yǔ)做的“額外功課”，會(huì)和他們各自的專業(yè)知識(shí)相結(jié)合，成為教“AI”學(xué)手語(yǔ)的利器。
“我們的聽障生知道手語(yǔ)的語(yǔ)法結(jié)構(gòu)，還有它的一些基本要素，比如說(shuō)臉上的表情到什么程度算是表達(dá)到位了，什么時(shí)候該用上肢體語(yǔ)言了，他們都明白。所以他們做數(shù)據(jù)收集、處理方面的工作，有天然優(yōu)勢(shì)。”袁甜甜很看重聾人在項(xiàng)目團(tuán)隊(duì)中發(fā)揮的作用，“咱要是叫沒(méi)用過(guò)手語(yǔ)的健聽人來(lái)收集數(shù)據(jù)、建語(yǔ)料庫(kù)的話，那可真是費(fèi)勁了！”
因?yàn)槿鄙倜@人的參與，在手語(yǔ)識(shí)別和翻譯技術(shù)領(lǐng)域，各國(guó)學(xué)界都走過(guò)彎路：比如嘗試通過(guò)數(shù)據(jù)手套建立手語(yǔ)語(yǔ)料庫(kù)。作為一種常見的傳感器，數(shù)據(jù)手套在手勢(shì)識(shí)別技術(shù)上的應(yīng)用已經(jīng)相對(duì)成熟——盡管成本高昂，但用手套來(lái)收集“手勢(shì)”，看起來(lái)理所當(dāng)然，準(zhǔn)確率也該有保證。只可惜手語(yǔ)不是簡(jiǎn)單的手勢(shì)：拋開表情和大動(dòng)作不談，即便是同樣的手勢(shì)，指向稍有不同，也可能意思迥異，這樣微妙的差異，手套是識(shí)別不出來(lái)的。
意識(shí)到這一點(diǎn)，近年來(lái)各國(guó)推進(jìn)的手語(yǔ)識(shí)別、翻譯項(xiàng)目，大多采用計(jì)算機(jī)視覺的方法，利用攝像頭收集數(shù)據(jù)、建立語(yǔ)料庫(kù)，袁甜甜和她的團(tuán)隊(duì)也是如此�，F(xiàn)階段更常見的問(wèn)題，一是收集的樣本太少，數(shù)據(jù)集不夠大。二是數(shù)據(jù)集建起來(lái)了，但沒(méi)能對(duì)語(yǔ)料進(jìn)行高質(zhì)量篩選和標(biāo)注。說(shuō)白了，就是語(yǔ)料“不好使”。
袁甜甜說(shuō)，人工智能深度學(xué)習(xí)的過(guò)程，有點(diǎn)像教小孩學(xué)說(shuō)話，一個(gè)單詞先得全家上陣，翻來(lái)覆去地重復(fù)，次數(shù)夠了，孩子才能建立印象，“哦，這個(gè)單詞叫媽媽，不管是從爸爸嘴里說(shuō)出來(lái)，姥姥嘴里說(shuō)出來(lái)，還是舅舅、阿姨說(shuō)出來(lái)，都叫媽媽�！蓖瑯拥�，要讓機(jī)器識(shí)別一個(gè)手語(yǔ)句子，也要有足夠多的人面對(duì)攝像頭，以不同的風(fēng)格重復(fù)打同一套動(dòng)作，計(jì)算機(jī)才能“記住”。
很多國(guó)外團(tuán)隊(duì)建立的手語(yǔ)數(shù)據(jù)集無(wú)法支持復(fù)雜場(chǎng)景下的手語(yǔ)翻譯，一個(gè)直接的原因，就是無(wú)法找到足夠多的人在自然狀態(tài)下采集手語(yǔ)�！岸覀兊膱F(tuán)隊(duì)背靠聾人工學(xué)院，很多成員本身就是手語(yǔ)使用者，在自然手語(yǔ)的采集上有優(yōu)勢(shì)�！痹鹛鹫f(shuō)。
“但是跟您實(shí)話實(shí)說(shuō)，我們也建過(guò)‘不好使’的數(shù)據(jù)集�！痹鹛鹬苯咏o團(tuán)隊(duì)2018年建立的手勢(shì)漢語(yǔ)數(shù)據(jù)集下了定義，“花了錢、費(fèi)了功夫，最后挺失敗的”——失敗之處在于，那一次他們收集的語(yǔ)料是手勢(shì)漢語(yǔ)而不是自然手語(yǔ)。手勢(shì)漢語(yǔ)是按照健聽人習(xí)慣的漢語(yǔ)語(yǔ)序，而不是手語(yǔ)語(yǔ)序連詞成句的。
“比如說(shuō)，‘愛是我們共同的語(yǔ)言’。這個(gè)句子用手勢(shì)漢語(yǔ)來(lái)打的話，就是按順序一個(gè)字一個(gè)字地比畫，‘的’也有對(duì)應(yīng)的手勢(shì)，也要打出來(lái)。但聾人日常使用手語(yǔ)的時(shí)候，慣用的語(yǔ)序是：愛、我們、共同、語(yǔ)言、是，‘的’不用打。我這個(gè)‘半顫子’手語(yǔ)，講課的時(shí)候也不會(huì)把‘的’‘了’都打出來(lái)，那不符合自然手語(yǔ)的表達(dá)習(xí)慣。”袁甜甜解釋。
“你把手勢(shì)漢語(yǔ)翻譯得再精準(zhǔn)也沒(méi)用，聾人平時(shí)打的不是這個(gè)��！”汲取了教訓(xùn)，這一次再建手語(yǔ)數(shù)據(jù)集，袁甜甜說(shuō)，他們不求速成，只求每條語(yǔ)料都是原汁原味的自然手語(yǔ)。先按手語(yǔ)語(yǔ)序識(shí)別、再按口語(yǔ)習(xí)慣翻譯，雖然多了一個(gè)技術(shù)環(huán)節(jié)，團(tuán)隊(duì)研發(fā)的難度也就長(zhǎng)了一截，袁甜甜們卻堅(jiān)持要選擇那條“難走但正確”的路徑。
“咱做這個(gè)研究，不想跟人吹我們的數(shù)據(jù)集有多大，也不想說(shuō)我們發(fā)了多么高大上的論文，我們就一個(gè)目的：能用�！痹鹛饠蒯斀罔F，“這個(gè)系統(tǒng)出來(lái)了，聾人必須真的能用。”
收獲之年
對(duì)于袁甜甜和她的團(tuán)隊(duì)來(lái)說(shuō)，2019年和2021年是兩個(gè)關(guān)鍵的時(shí)間節(jié)點(diǎn)。2019年，是他們的初創(chuàng)之年，“手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”入選國(guó)家工信部新一代人工智能產(chǎn)業(yè)創(chuàng)新揭榜項(xiàng)目，獲得了2000萬(wàn)的資金支持。袁甜甜很高興，一方面是因?yàn)閲?guó)家對(duì)無(wú)障礙建設(shè)的重視讓她欣慰，另一方面，數(shù)據(jù)采集、技術(shù)研發(fā)、成果落地也確實(shí)是處處都要花錢。
2021年，則可以說(shuō)是團(tuán)隊(duì)的收獲之年。
閆思伊到現(xiàn)在還記得，今年年初她第一次跑通手語(yǔ)翻譯系統(tǒng)代碼框架時(shí)的心情�！熬秃孟衲阍诮M裝一臺(tái)機(jī)器，零件都已經(jīng)拼全了，但是因?yàn)楦鞣N各樣的小毛病，比如說(shuō)有幾個(gè)螺絲沒(méi)擰緊，它就是不能正常運(yùn)轉(zhuǎn)。我每天在實(shí)驗(yàn)室，一個(gè)一個(gè)地把螺絲給上緊。都調(diào)完之后，忽然有一天，我一按開關(guān)，機(jī)器就轟轟地轉(zhuǎn)起來(lái)了。那種成就感啊……”
閆思伊在天津理工大學(xué)計(jì)算機(jī)學(xué)院讀研二，是手語(yǔ)實(shí)時(shí)翻譯項(xiàng)目團(tuán)隊(duì)的健聽人成員，主要負(fù)責(zé)“后臺(tái)”工作——構(gòu)建手語(yǔ)識(shí)別算法框架模型。如果沿用教孩子學(xué)說(shuō)話的比喻，學(xué)前階段完成了反復(fù)加深印象的步驟，一上小學(xué)，孩子就要開始學(xué)習(xí)拼音、語(yǔ)法，學(xué)會(huì)按照教材上總結(jié)的規(guī)律，把學(xué)過(guò)、聽過(guò)的那些單詞組成句子和課文，寫在作業(yè)本和卷子上——閆思伊就是編“教材”，幫AI這位“同學(xué)”總結(jié)手語(yǔ)規(guī)律的“老師”之一。
“這部分技術(shù)要求更高的工作，主要由我們學(xué)校計(jì)算機(jī)學(xué)院的師生來(lái)完成�！痹鹛鹫f(shuō)，給人工智能“編教材”的過(guò)程很艱辛。在手語(yǔ)識(shí)別、翻譯領(lǐng)域，可借鑒的經(jīng)驗(yàn)太少，同行的進(jìn)度也都差不多。項(xiàng)目團(tuán)隊(duì)參考了德國(guó)天氣預(yù)報(bào)自然手語(yǔ)翻譯系統(tǒng)的算法，也通過(guò)各種渠道尋找類似系統(tǒng)在網(wǎng)絡(luò)上公開發(fā)布的源代碼，然后就是一遍遍地嘗試和修正。
閆思伊他們每天早上8點(diǎn)半就扎進(jìn)機(jī)房，等意識(shí)到天黑該回宿舍，再看表已經(jīng)是晚上10點(diǎn)了�！拔矣X得我們的項(xiàng)目有意義啊，就想快點(diǎn)出成果，能落地的成果�！彼f(shuō)自己是個(gè)典型的理工女，就喜歡計(jì)算機(jī)，導(dǎo)師讓周一到周五做項(xiàng)目，她周六日也忍不住去跑代碼。就這樣一點(diǎn)點(diǎn)摸索，一點(diǎn)點(diǎn)“緊螺絲”，第一次跑通代碼的那天早上，計(jì)算機(jī)“同學(xué)”在它的人類老師們面前，寫下了一份不算完美，但成績(jī)合格的手語(yǔ)翻譯試卷。
今年5月，王建源、烏力杰帶著研究成果上了世界智能大會(huì)；10月，他倆又和聾人工學(xué)院其他幾位同學(xué)組成創(chuàng)業(yè)團(tuán)隊(duì)，代表天津理工大學(xué)，拿下了第七屆中國(guó)國(guó)際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽總決賽高教主賽道的金獎(jiǎng)。
他們的“奪金”項(xiàng)目叫“鯨可語(yǔ)”，全稱“鯨可語(yǔ)多模態(tài)連續(xù)手語(yǔ)自動(dòng)標(biāo)注識(shí)別系統(tǒng)”。自動(dòng)標(biāo)注識(shí)別就是手語(yǔ)翻譯的前期步驟，而“鯨可語(yǔ)”正是依托“手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”而生的——他們把兩年來(lái)“教機(jī)器學(xué)手語(yǔ)”的經(jīng)驗(yàn)轉(zhuǎn)化成自己的科創(chuàng)項(xiàng)目，親手為他們想象中那座“聾健融合之橋”建起了“橋基”。
決賽奪金的那天，袁甜甜在朋友圈給她的學(xué)生們一個(gè)個(gè)點(diǎn)贊。作為“鯨可語(yǔ)”的指導(dǎo)老師，她很喜歡這個(gè)溫柔又有力的名稱。
鯨可語(yǔ)，來(lái)源于“52赫茲鯨”的故事，在海洋中，這只因?yàn)榻新曨l率與眾不同而無(wú)法與同類交流的鯨魚，被稱為“最孤獨(dú)的存在”。但事實(shí)上，如果你能破解52赫茲的密碼，就會(huì)發(fā)現(xiàn)它并非一座孤島，它也會(huì)歌唱，也有自己的語(yǔ)言。王建源覺得這只鯨魚很像聽障群體，“沉寂在人海中，無(wú)時(shí)無(wú)刻不在渴望著與外界溝通，渴求著回應(yīng)。”
幾個(gè)聽障年輕人給“鯨可語(yǔ)”設(shè)計(jì)的標(biāo)志，像一只藍(lán)色海洋中漂浮的白色鯨魚，也像人們把拇指和食指搭在一起“比心”時(shí)的手形。“我們建手語(yǔ)語(yǔ)料庫(kù)的時(shí)候，就是要把手語(yǔ)的動(dòng)作手型概括為像這樣簡(jiǎn)潔的線條，正是這一個(gè)個(gè)線條，支撐起了‘鯨可語(yǔ)’系統(tǒng)，實(shí)現(xiàn)了對(duì)手語(yǔ)的識(shí)別�！蓖踅ㄔ凑f(shuō)。
而他們開發(fā)手語(yǔ)識(shí)別系統(tǒng)的初心，就是幫助那只“52赫茲鯨”，獲得言語(yǔ)的能力和“被聽懂”的權(quán)利……
(參與采寫：吳澤運(yùn))
