導(dǎo)語(yǔ)：手語(yǔ)研究方向一文來(lái)源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢(xún)客服老師，歡迎參考。

1手語(yǔ)的識(shí)別

手語(yǔ)的識(shí)別不但具有深遠(yuǎn)的研究意義，而且具有廣闊的實(shí)際應(yīng)用前景，至少表現(xiàn)在以下幾個(gè)方面：（1）能夠使得聾啞人，尤其是使得文件程度比較低的聾啞人，使用手語(yǔ)和正常人交流；（2）從認(rèn)知科學(xué)的角度，研究人的視覺(jué)語(yǔ)言理解的機(jī)制，提高計(jì)算機(jī)對(duì)人類(lèi)語(yǔ)言的理解水平；（3）利用手勢(shì)控制VR中的智能化；（4）機(jī)器人的示范學(xué)習(xí)；（5）虛擬現(xiàn)實(shí)系統(tǒng)中的多模式接口等。

從手語(yǔ)輸入設(shè)備來(lái)看，手語(yǔ)識(shí)別系統(tǒng)主要分為基于數(shù)據(jù)手套的識(shí)別和基于視覺(jué)（圖像）的手語(yǔ)識(shí)別系統(tǒng)?；跀?shù)據(jù)手套的手語(yǔ)識(shí)別系統(tǒng)，是利用數(shù)據(jù)手套和位置跟蹤測(cè)量手勢(shì)在空間運(yùn)動(dòng)的軌跡和時(shí)序信息。這種方法的優(yōu)點(diǎn)是系統(tǒng)的識(shí)別率高。缺點(diǎn)是打手語(yǔ)的人要穿戴復(fù)雜的數(shù)據(jù)手套和位置跟蹤器，并且輸入設(shè)備比較昂貴。利用數(shù)據(jù)手套等典型傳感設(shè)備的方法，臺(tái)灣大學(xué)的Liang等人利用單個(gè)VPL數(shù)據(jù)手套作為手語(yǔ)輸入設(shè)備，可識(shí)別臺(tái)灣手語(yǔ)課本中的250個(gè)基本詞條，識(shí)別率為90.5%。CMU的ChristopherLee和Xu在1995年完成了一個(gè)操縱機(jī)器人的手勢(shì)控制系統(tǒng)。Kadous用PowerGloves作為手語(yǔ)輸入設(shè)備，識(shí)別有95個(gè)孤立詞構(gòu)成的詞匯集，正確率為80%。基于視覺(jué)的手勢(shì)識(shí)別是利用攝像機(jī)采集手勢(shì)信息，并進(jìn)行識(shí)別。該方法的優(yōu)點(diǎn)是輸入設(shè)備比較便宜，但識(shí)別率比較底，實(shí)時(shí)性較差，特別是很難用于大詞匯量的手語(yǔ)錄的識(shí)別。在基于視覺(jué)的方法方面，具有代表性的研究成果包括：1991年富士通實(shí)驗(yàn)室完成了對(duì)46個(gè)手語(yǔ)符號(hào)的識(shí)別工作。Davis和Shah將戴上指間具有高亮標(biāo)記的視覺(jué)手套的手勢(shì)作為系統(tǒng)的輸入，可識(shí)別7種手勢(shì)。Starner等在對(duì)美國(guó)手語(yǔ)中帶有詞性的40個(gè)詞匯隨機(jī)組成短句子識(shí)別率達(dá)到99.2%。Grobel和Assam從視頻錄像中是取特征，采用HMM技術(shù)識(shí)別262個(gè)孤立詞，正確率為91.3%。此外，Vogler與Metaxas將兩種方法結(jié)合用于美國(guó)手語(yǔ)識(shí)別，交互采用一個(gè)位置跟蹤器及三個(gè)互相垂直的攝像機(jī)作為手勢(shì)輸入設(shè)備，完成了53個(gè)孤立詞的識(shí)別，識(shí)別率為89.9%。

從識(shí)別技術(shù)來(lái)看，以往手語(yǔ)識(shí)別系統(tǒng)主要采用基于人工神經(jīng)網(wǎng)絡(luò)（ANN）及基于隱Markov模型（HMM）等方法。神經(jīng)網(wǎng)絡(luò)方法具有分類(lèi)特性及抗干擾性，然而由于其處理時(shí)間序列的能力不強(qiáng)，目前廣泛用于靜態(tài)手勢(shì)的識(shí)別。著名的Fels的GloveTalk系統(tǒng)采用神經(jīng)網(wǎng)絡(luò)方法作為識(shí)別技術(shù)。對(duì)于分析區(qū)間內(nèi)的手語(yǔ)信號(hào)，通常采取HMM方法進(jìn)行模型化。HMM是眾周知并廣泛使用的統(tǒng)計(jì)方法，一般拓?fù)浣Y(jié)構(gòu)下的HMM具有非常強(qiáng)的描述手語(yǔ)信號(hào)的時(shí)空變化能力，在動(dòng)態(tài)手勢(shì)識(shí)別領(lǐng)域一直占有主導(dǎo)地址，如卡內(nèi)基·梅隆大學(xué)的美國(guó)手語(yǔ)識(shí)別系統(tǒng)及臺(tái)灣大學(xué)的臺(tái)灣手語(yǔ)識(shí)別系統(tǒng)等均采用HMM作為系統(tǒng)的識(shí)別技術(shù)。另外，Grobel與Assam利用HMM識(shí)別由戴有色手套的用戶(hù)通過(guò)攝像機(jī)輸入的262個(gè)孤立手語(yǔ)詞，正確率為91.3%。然而正是由于HMM拓?fù)浣Y(jié)構(gòu)的一般性，導(dǎo)致這種模型在分析手語(yǔ)信號(hào)時(shí)過(guò)于復(fù)雜，使得HMM訓(xùn)練和識(shí)別計(jì)算量過(guò)大。尤其是在連續(xù)的HMM中，由于需要計(jì)算大量的狀態(tài)概率密度，需要估計(jì)的參數(shù)個(gè)數(shù)較多，使得訓(xùn)練及識(shí)別的速度相對(duì)較慢。因而以往手語(yǔ)識(shí)別系統(tǒng)所采用的HMM一般為離散HMM。

在我國(guó)，哈爾濱工業(yè)大學(xué)的吳江琴、高文等給出了ANN與HMM的混合方法作為手語(yǔ)的訓(xùn)練識(shí)別方法，以增加識(shí)別方法的分類(lèi)特性和減少模型的估計(jì)參數(shù)的個(gè)數(shù)。將ANN-HMM混合方法應(yīng)用于有18個(gè)傳感器的CyberGlove型號(hào)數(shù)據(jù)手套的中國(guó)手語(yǔ)識(shí)別系統(tǒng)中，孤立詞識(shí)別率為90%，簡(jiǎn)單語(yǔ)句級(jí)識(shí)別率為92%。接下來(lái)高文等又選取Cyberglove型號(hào)數(shù)據(jù)手套作為手語(yǔ)輸入設(shè)備，并采用了DGMM（dynamicGaussianmixturemodel）作為系統(tǒng)的識(shí)別技術(shù)，即利用一個(gè)隨時(shí)間變化的具有M個(gè)分量的混合GaussianN-元混合密度來(lái)模型化手語(yǔ)信號(hào)，可識(shí)別中國(guó)手語(yǔ)字典中274個(gè)詞條，識(shí)別率為98.2%。與基于HMM的識(shí)別系統(tǒng)比較，這種模型的識(shí)別精度與HMM模型的識(shí)別精度相當(dāng)，其訓(xùn)練和識(shí)別速度比HMM的訓(xùn)練與識(shí)別速度有明顯的改善。他們?yōu)榱诉M(jìn)一步提高識(shí)別速度，識(shí)別模塊中選取了多層識(shí)別器，可識(shí)別中國(guó)手語(yǔ)字典中的274個(gè)詞條，識(shí)別率為97.4%。與基于單個(gè)DGMM的識(shí)別系統(tǒng)比較，這種模型的識(shí)別精度與單個(gè)DGMM模型的識(shí)別精度基本相同，但其識(shí)別速度比單個(gè)DGMM的識(shí)別速度有明顯的提高。2000年在國(guó)際上他們首次實(shí)現(xiàn)了5000詞以上的連續(xù)中國(guó)手語(yǔ)識(shí)別系統(tǒng)。另外，清華大學(xué)祝遠(yuǎn)新、徐光等給出了一種基于視覺(jué)的動(dòng)態(tài)孤立手勢(shì)識(shí)別技術(shù)，借助于圖像運(yùn)動(dòng)的變階參數(shù)模型和魯棒回歸分析，提出一種基于運(yùn)動(dòng)分割的圖像運(yùn)動(dòng)估計(jì)方法?；趫D像運(yùn)動(dòng)參數(shù)，構(gòu)造了兩種表現(xiàn)變化模型分別作為手勢(shì)的表現(xiàn)特征，利用最大最小優(yōu)化算法來(lái)創(chuàng)建手勢(shì)參考模板，并利用基于模板的分類(lèi)技術(shù)進(jìn)行識(shí)別。對(duì)12種手勢(shì)的識(shí)別率超過(guò)90%。在進(jìn)一步研究中，他們又給出了有關(guān)連續(xù)動(dòng)態(tài)手勢(shì)的識(shí)別，融合手勢(shì)運(yùn)動(dòng)信息和皮膚顏色信息，進(jìn)行復(fù)雜背景下的手勢(shì)分割；通過(guò)結(jié)合手勢(shì)的時(shí)序信息、運(yùn)動(dòng)表現(xiàn)及形狀表現(xiàn)，提出動(dòng)態(tài)手勢(shì)的時(shí)空表現(xiàn)模型，并提出基于顏色、運(yùn)行以及形狀等多模式信息的分層融合策略抽取時(shí)空表觀模型的參數(shù)。最后，提出動(dòng)態(tài)時(shí)空規(guī)整算法用于手勢(shì)識(shí)別。對(duì)12種手勢(shì)，平均識(shí)別率高達(dá)97%。

盡管已經(jīng)實(shí)現(xiàn)了一些手語(yǔ)識(shí)別系統(tǒng)，但中國(guó)手語(yǔ)識(shí)別仍然面臨許多挑占性課題，如手勢(shì)不變特征的提取、手勢(shì)之間的過(guò)度模型、手語(yǔ)識(shí)別的最小識(shí)別基于、自動(dòng)分割識(shí)別基元、詞匯量可擴(kuò)展的

識(shí)別方法、手語(yǔ)識(shí)別的輔助信息、非特定人的手語(yǔ)識(shí)別問(wèn)題、混合手指語(yǔ)和手勢(shì)語(yǔ)的手語(yǔ)識(shí)別以及中國(guó)手勢(shì)語(yǔ)語(yǔ)法等。

2手語(yǔ)的合成

手語(yǔ)的合成是使聾啞人理解正常語(yǔ)言表達(dá)的最有效手段，在手語(yǔ)合成中涉及以下幾個(gè)方面的問(wèn)題：本文輸入部分、文本切分部分、文本的分析與手語(yǔ)碼轉(zhuǎn)換、手語(yǔ)庫(kù)的建立與基于手語(yǔ)詞的手語(yǔ)合成和手語(yǔ)的顯示。

文本輸入部分的功能是編輯輸入漢語(yǔ)句子。文本的切分將句子分成詞，標(biāo)點(diǎn)符合單獨(dú)成詞。系統(tǒng)的分詞過(guò)程首先采用最大匹配發(fā)切分，然后利用第一步分詞結(jié)果通過(guò)查找詞條的歧義標(biāo)志位調(diào)用詞規(guī)則，進(jìn)而進(jìn)行歧義校正。文本分析與手語(yǔ)碼轉(zhuǎn)換是手語(yǔ)合成的重要部分。雖然中國(guó)手語(yǔ)是參考漢語(yǔ)制定的，但是兩種語(yǔ)言的差別主要體現(xiàn)在四個(gè)方面：語(yǔ)言表達(dá)形態(tài)、基本詞匯、句子結(jié)構(gòu)和構(gòu)詞方法。在語(yǔ)言表達(dá)形態(tài)上：漢語(yǔ)是靠語(yǔ)音/聽(tīng)覺(jué)交際的有聲語(yǔ)言。中國(guó)手語(yǔ)是一種靠動(dòng)作/視覺(jué)交際的可視化語(yǔ)言。在基本詞匯上：漢語(yǔ)的詞匯大約有近五萬(wàn)多個(gè)字組成，總的詞匯量可達(dá)十萬(wàn)多個(gè)。中國(guó)手語(yǔ)的詞匯僅由3330個(gè)手勢(shì)語(yǔ)組成。中國(guó)手語(yǔ)的手勢(shì)詞語(yǔ)與漢語(yǔ)的詞語(yǔ)不完全存在一一對(duì)應(yīng)的關(guān)系。在句子的語(yǔ)法結(jié)構(gòu)上：手語(yǔ)句子與漢語(yǔ)句子的詞序有所不同，此外還省略了日常語(yǔ)言的某些詞如量詞。因此從漢語(yǔ)轉(zhuǎn)換到中國(guó)手語(yǔ)，主要解決的基本詞匯上的差別，同時(shí)考慮部分詞匯的差別。手語(yǔ)詞庫(kù)記錄了每個(gè)手語(yǔ)詞的手語(yǔ)運(yùn)動(dòng)信息，是手語(yǔ)合成的重要基礎(chǔ)。建立手語(yǔ)詞庫(kù)不僅工作量大，而且其質(zhì)量也直接影響合成手語(yǔ)的結(jié)果。目前建立手語(yǔ)詞庫(kù)的方法有兩種：運(yùn)動(dòng)跟蹤方法和手工編輯方法。也有人綜合使用這兩種方式。運(yùn)動(dòng)跟蹤的方法是對(duì)腕關(guān)節(jié)及各手指關(guān)節(jié)的運(yùn)動(dòng)由數(shù)據(jù)手套獲取，肩關(guān)節(jié)與肘關(guān)節(jié)的運(yùn)動(dòng)由位置跟蹤傳感器獲取。而手工的方法是通過(guò)手工實(shí)驗(yàn)來(lái)獲取手勢(shì)的參數(shù)。手語(yǔ)是一種可視語(yǔ)言，合成的手語(yǔ)只有顯示出來(lái)，觀察者才能“讀”取手語(yǔ)的信息與意義。手語(yǔ)的合成與顯示的實(shí)現(xiàn)的方法是：在VRML中有一部分是專(zhuān)門(mén)用于描述三維人體模型H-Anim標(biāo)準(zhǔn)，根據(jù)此標(biāo)準(zhǔn)對(duì)虛擬人的定義，一個(gè)虛人有47關(guān)節(jié)96個(gè)自由度，只要確定這96個(gè)自由度的角度值，應(yīng)用運(yùn)動(dòng)學(xué)的方法和計(jì)算機(jī)圖形學(xué)的方法，就可以計(jì)算出虛擬人每個(gè)肢體的位置和方向，由此確定虛擬人的一個(gè)姿態(tài)。一個(gè)手語(yǔ)運(yùn)動(dòng)是一個(gè)人體手勢(shì)的序列，按照預(yù)定的時(shí)間間隔連續(xù)顯示一個(gè)手語(yǔ)運(yùn)動(dòng)中的每一個(gè)手勢(shì)，既可以生成對(duì)應(yīng)的手語(yǔ)運(yùn)動(dòng)。

3手語(yǔ)的網(wǎng)絡(luò)通訊

當(dāng)今，網(wǎng)絡(luò)通訊已經(jīng)成為一種重要的通訊手段。研究啞語(yǔ)通訊，使聾啞人更好地融入網(wǎng)絡(luò)社會(huì)，感受科技的進(jìn)步，更好地為他們服務(wù)并且方便了他們的生活。而手語(yǔ)作為一種動(dòng)作語(yǔ)言，從廣義上講，它的應(yīng)用不僅僅局限于聾啞人之間，聾啞人與非聾啞人之間，以及異語(yǔ)種間健常人的交流都可能應(yīng)用到動(dòng)作語(yǔ)言。從這個(gè)意義上，研究啞語(yǔ)的表達(dá)與通訊，具有更加廣泛的社會(huì)意義和實(shí)際應(yīng)用前景。

更實(shí)現(xiàn)手語(yǔ)的網(wǎng)絡(luò)通訊，必須采用一種恰當(dāng)?shù)募夹g(shù)，它既能完成手語(yǔ)圖像動(dòng)畫(huà)表示，它既能完成手語(yǔ)圖像的三維動(dòng)畫(huà)表示，產(chǎn)生的數(shù)據(jù)、文件應(yīng)該盡可能地短小，且便于壓縮，以利于網(wǎng)絡(luò)傳輸，提高網(wǎng)絡(luò)傳輸速度，避免網(wǎng)絡(luò)擁塞，實(shí)現(xiàn)實(shí)時(shí)反應(yīng)?？梢允褂萌S動(dòng)畫(huà)技術(shù)來(lái)實(shí)現(xiàn)手語(yǔ)動(dòng)畫(huà)，但一般的三維動(dòng)畫(huà)技術(shù)形成的圖像雖然可能滿(mǎn)足生動(dòng)逼真的要求，卻不適合網(wǎng)絡(luò)應(yīng)用。因?yàn)樗鼈冇糜趫D像和動(dòng)畫(huà)的文件格式是基于像素的，大小和行為都是固定的，為了得到特體的三維印象，至少需要兩幅圖解，這使傳輸量巨大且不能實(shí)現(xiàn)交互。同時(shí)，基于HTTP、HTML標(biāo)準(zhǔn)的WWW只能表示和傳遞二維信息，不能滿(mǎn)足對(duì)三維環(huán)境和三維顯像具有特定要求的應(yīng)用需求。鑒于這種應(yīng)用的特殊要求，提出采用VRML技術(shù)。VRML（VirtualRealityModelingLanguage）是一種可以在WWW上操作的三維圖形可視化工具，VRML2.0于1996年8月，它能夠靈活有效的方式，將二維、三維圖形和動(dòng)畫(huà)、影片、聲響和音樂(lè)等多種效果調(diào)和在一起，形成一個(gè)綜合性的單一媒體，在環(huán)球網(wǎng)上創(chuàng)建動(dòng)態(tài)世界。VRML本身不是一種傳統(tǒng)的編程語(yǔ)言，它是一種建模語(yǔ)言，有它自己的文件格式，人們可以用它描述三維場(chǎng)景。它不但能滿(mǎn)足圖像質(zhì)量的要求，而且存儲(chǔ)和傳輸?shù)闹皇俏锢淼娜S坐標(biāo)，圖像本身是在本地生成的，這就大大減少了網(wǎng)絡(luò)傳輸量，也便于進(jìn)行交互操作。同時(shí)，使用VRML技術(shù)生成的文件格式是ASCII碼，能被有效地壓縮，這就進(jìn)一步減輕了網(wǎng)絡(luò)壓力，提高了傳輸效率，能夠?qū)崿F(xiàn)手語(yǔ)圖像在網(wǎng)絡(luò)上高速傳輸。

另外，日本北海道大學(xué)的青木由直教授是研究手語(yǔ)通訊的倡導(dǎo)者，他通過(guò)建立一個(gè)不同語(yǔ)言的手語(yǔ)翻譯字典在Internet實(shí)現(xiàn)了日語(yǔ)和韓語(yǔ)的手語(yǔ)的聊天系統(tǒng)，進(jìn)一步又研究了日本與中國(guó)的手語(yǔ)變換，手語(yǔ)手成的二維及三維動(dòng)畫(huà)，以及帶有面部表情和嘴唇形狀的日語(yǔ)和韓語(yǔ)的手語(yǔ)聊天系統(tǒng)等。

4手的運(yùn)動(dòng)約束

人手的組成是一個(gè)非常復(fù)雜的結(jié)構(gòu)。手是由骨頭，連接骨頭的韌帶，作為拉力動(dòng)力服務(wù)的肌肉，運(yùn)動(dòng)時(shí)連接肌肉與骨頭的腱，以及覆蓋著保護(hù)的軟組織和皮膚。骨頭通過(guò)關(guān)節(jié)連接起來(lái)并且不能改變大小，肌肉產(chǎn)生扭矩和關(guān)節(jié)通過(guò)拉力運(yùn)動(dòng)都存在一塊或更多的肌肉群為其服務(wù)。因此，手的運(yùn)動(dòng)極其復(fù)雜的。由于真實(shí)手的生理特點(diǎn)，手的運(yùn)動(dòng)受到一些限制和約束。分析手的運(yùn)動(dòng)約束，就可以更好研究虛擬三維人手的運(yùn)動(dòng)。這樣一來(lái)就可以在有關(guān)手的動(dòng)畫(huà)片中避免一些不真實(shí)的動(dòng)作，使其更加擬人化。

手的運(yùn)動(dòng)約束主要體現(xiàn)在關(guān)節(jié)的運(yùn)動(dòng)的約束上。有以下四種情況：（1）關(guān)節(jié)角度限制和運(yùn)動(dòng)類(lèi)型的約束。第二到第五手指的第三關(guān)節(jié)的運(yùn)動(dòng)僅能彎圣誕節(jié)/伸直或一方向運(yùn)動(dòng)，并且第一和第二關(guān)節(jié)也僅能在同一方向上彎曲/伸真。因此，第二到第五手指的四個(gè)手指在同一平面。（2）指骨之間的關(guān)節(jié)彎曲的約束。對(duì)人的手指運(yùn)動(dòng)來(lái)說(shuō)，在沒(méi)有外力作用下，不可能存在第一關(guān)節(jié)彎曲而第二關(guān)節(jié)不彎曲的情況。經(jīng)研究發(fā)現(xiàn)，第一關(guān)節(jié)彎曲的角度大約是第二關(guān)節(jié)彎曲角度的2/3。（3）掌骨與手之間的彎曲的約束。當(dāng)?shù)谌齻€(gè)關(guān)節(jié)彎曲時(shí)大約角度是90°，而對(duì)于第二個(gè)手指卻少于90°，第三到第五個(gè)手指彎曲的角度超過(guò)90°。這是因?yàn)楠?dú)立的一個(gè)手指的彎曲要受到指狀組合型韌帶的限制，這樣一個(gè)手指的彎曲可能導(dǎo)致其它附近的手指的彎曲，同時(shí)一個(gè)手指的伸展也要受到其手指彎曲的阻止。因此，第三關(guān)節(jié)彎曲的角度依賴(lài)于相鄰的手指的彎曲或伸展。（4）掌骨與手之間的關(guān)節(jié)并攏與分開(kāi)的約束。自然伸開(kāi)手掌是，并攏與分開(kāi)可自由進(jìn)行，而握成一個(gè)拳頭時(shí)，隨著手指彎曲的角度增加分開(kāi)與并擾的角度減少。第三個(gè)手指作用限制并擾與分開(kāi)。此外手的運(yùn)動(dòng)約束還包括腕關(guān)節(jié)，肘關(guān)節(jié)以及肩關(guān)節(jié)等。

手語(yǔ)研究的內(nèi)容多，范圍廣，發(fā)展很快，是一個(gè)很有前景的研究方向。當(dāng)然，手語(yǔ)研究較為復(fù)雜，而且涉及到多學(xué)科多領(lǐng)域，許多問(wèn)題還有待于進(jìn)一步的探索。