摘 要： 選取Hu不變矩、手勢(shì)輪廓的凹陷個(gè)數(shù)及其周長(zhǎng)與面積比為手勢(shì)識(shí)別的主要特征，采用了基于徑向基核的SVM分類(lèi)器進(jìn)行0~9 十種手勢(shì)的識(shí)別。實(shí)驗(yàn)結(jié)果表明,在背景單一、光照情況良好條件下，該方法具有很高的識(shí)別率，并且簡(jiǎn)單快速。
關(guān)鍵詞：手勢(shì)識(shí)別；Hu矩；支持向量機(jī)
手勢(shì)識(shí)別[1]、人臉識(shí)別、指紋識(shí)別和唇讀識(shí)別等都是符合人際交流習(xí)慣的備受關(guān)注的人機(jī)交互技術(shù)，在計(jì)算機(jī)輔助啞語(yǔ)教學(xué)、電影特技處理、醫(yī)療研究和智能機(jī)器人等各個(gè)領(lǐng)域均有廣泛的應(yīng)用。其中，基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別因其設(shè)備成本低廉、操作自然方便等特點(diǎn)越來(lái)越受到人們的追捧，是手勢(shì)識(shí)別未來(lái)的發(fā)展趨勢(shì)。然而，人手的自由度和彈性、背景、光照以及噪聲等因素給手勢(shì)識(shí)別帶來(lái)了很大困難，如何克服這些困難以獲得更加自然、和諧、完善的手勢(shì)識(shí)別系統(tǒng)是當(dāng)今人們研究的目標(biāo)。
手勢(shì)特征選取和分類(lèi)器設(shè)計(jì)一直是影響手勢(shì)識(shí)別效果及速度的兩個(gè)關(guān)鍵問(wèn)題。良好的特征應(yīng)具有可靠性、可區(qū)別性、數(shù)量少以及獨(dú)立性強(qiáng)等特點(diǎn)，比較常用的特征提取方法有Hu矩[2]、Zernike矩、傅里葉輪廓矩和小波矩等。其中,Zernike矩的優(yōu)勢(shì)是能夠構(gòu)造任意的高階矩，對(duì)噪聲不敏感，主要用于圖像恢復(fù)；傅里葉描述子具有較好的輪廓描述能力，但對(duì)細(xì)節(jié)特征非常敏感，誤識(shí)率比較高；小波矩雖然能達(dá)到很高的識(shí)別率但需首先對(duì)圖像進(jìn)行歸一化處理，計(jì)算比較復(fù)雜。本文的仿真實(shí)驗(yàn)在背景單一、光照情況良好的條件下進(jìn)行，選擇了能同時(shí)滿足平移、旋轉(zhuǎn)和比例不變性的Hu不變矩、手勢(shì)輪廓的凹陷個(gè)數(shù)以及其周長(zhǎng)與面積比為作為主要的特征參數(shù)。
目前，基于視覺(jué)的手勢(shì)識(shí)別算法研究主要有通過(guò)計(jì)算模板的相關(guān)系數(shù)來(lái)進(jìn)行模板匹配的手勢(shì)識(shí)別、用神經(jīng)網(wǎng)絡(luò)方法進(jìn)行手勢(shì)識(shí)別以及基于Euclidean距離的手勢(shì)識(shí)別等。支持向量機(jī)[3]是基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的一種新的模式識(shí)別方法，在解決小本、非線性及高維模式識(shí)別問(wèn)題中具有許多特有的優(yōu)勢(shì)。本文在對(duì)手勢(shì)輪廓進(jìn)行Hu不變矩特征提取的基礎(chǔ)上設(shè)計(jì)了支持向量機(jī)分類(lèi)器，對(duì)分類(lèi)器進(jìn)行訓(xùn)練和測(cè)試，實(shí)驗(yàn)結(jié)果證明,系統(tǒng)具有很高的識(shí)別率。
1 特征的選擇
1.1 不變矩理論及參數(shù)選擇
矩的定義源于概率理論,是一種重要的數(shù)字特征，同時(shí)也具有直觀的物理意義。手勢(shì)圖像函數(shù)f(x,y)的(p+q)階原點(diǎn)矩(也稱(chēng)普通矩)定義為：
手勢(shì)輪廓的凸包和凹陷可用于描述手勢(shì)的形狀，由于文中自定義的10個(gè)手勢(shì)各具形態(tài),手指的數(shù)目不盡相同，手勢(shì)的凸包和凹陷也是不同的,它們能很好地體現(xiàn)手以及手狀態(tài)的特征，因此考慮提取手勢(shì)的凹陷點(diǎn)數(shù)目作為手勢(shì)的特征向量。其計(jì)算方法是首先計(jì)算輪廓是否為凸，再計(jì)算其連接凸包的外接多邊形并提取出來(lái)，根據(jù)外接多邊形計(jì)算凹陷點(diǎn)個(gè)數(shù),如圖1所示。本文選取手勢(shì)輪廓的凹陷個(gè)數(shù)作為第5個(gè)特征參數(shù)N5。
手勢(shì)輪廓的周長(zhǎng)定義為手勢(shì)輪廓在手勢(shì)矩形區(qū)域內(nèi)包含的像素總數(shù)，通過(guò)掃描手勢(shì)輪廓圖中的手勢(shì)矩形區(qū)域，計(jì)算黑色點(diǎn)個(gè)數(shù)即可算出周長(zhǎng)。手勢(shì)輪廓的面積定義為輪廓部分和起始點(diǎn)連線構(gòu)成的封閉部分的面積，其值受輪廓方向的影響有可能為負(fù)值。本文構(gòu)造輪廓的周長(zhǎng)與面積之比作為第6個(gè)特征參數(shù)N6。
1.2 特征值提取
在本文設(shè)計(jì)的基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別系統(tǒng)中，首先以幀為單位對(duì)攝像頭采集到的手勢(shì)視頻采用了圖像平滑、色彩空間轉(zhuǎn)換、圖像二值化、邊緣檢測(cè)、輪廓提取以及形態(tài)學(xué)處理等算法進(jìn)行圖像預(yù)處理以獲得手勢(shì)的二值化圖像、邊緣圖像以及輪廓矩陣，然后分別對(duì)每幀手勢(shì)輪廓進(jìn)行Hu矩、輪廓周長(zhǎng)面積比和凹陷個(gè)數(shù)等的運(yùn)算，得到各個(gè)手勢(shì)的特征值。圖2所示為樣本視頻進(jìn)行訓(xùn)練時(shí)提取到的0~9手勢(shì)輪廓樣本。
表1列出了手勢(shì)輪廓的Hu矩前4個(gè)矩M1~M4、輪廓周長(zhǎng)面積比N5和凹陷個(gè)數(shù)N6的特征值,它們都是對(duì)學(xué)習(xí)視頻中所有幀數(shù)的手勢(shì)輪廓分別求特征值并計(jì)算平均值得到的。這里的識(shí)別率為0~9每一種手勢(shì)于視頻模式下分別對(duì)5組測(cè)試視頻進(jìn)行檢測(cè)，然后對(duì)分別獲得的識(shí)別率求平均值獲得的。其中，9的識(shí)別率偏低是由于其手勢(shì)輪廓與3相近,容易造成分類(lèi)時(shí)的判斷錯(cuò)誤。
2 支持向量機(jī)
2.1基本原理
SVM是統(tǒng)計(jì)學(xué)習(xí)理論中最年輕的部分,主要用于解決有限樣本情況下的模式識(shí)別問(wèn)題。它的基本思想是在樣本空間或特征空間構(gòu)造出最優(yōu)超平面,使超平面與小同類(lèi)樣本集之間的距離最大,從而達(dá)到最大的泛化能力。算法思路如下：
在這4種核函數(shù)中，本文選取了RBF核函數(shù)，因?yàn)樵诘途S、高維、小樣本和大樣本等情況下，RBF核函數(shù)均適用，具有較寬的收斂域，是較為理想的分類(lèi)依據(jù)函數(shù)。
2.3參數(shù)最優(yōu)化選擇
核函數(shù)的參數(shù)和誤差懲罰因子C是影響支持向量機(jī)性能的關(guān)鍵因素。C用于控制模型復(fù)雜度和逼近誤差的折中，C越大則對(duì)數(shù)據(jù)的逼近誤差越小,同時(shí)模型也會(huì)越復(fù)雜，支持向量機(jī)的推廣能力也變得越差。RBF中的?滓用于控制回歸逼近誤差的大小，從而控制支持向量機(jī)的個(gè)數(shù)和泛化能力，其值越大則支持向量數(shù)目變少,同時(shí)精度變差;相反,則支持向量數(shù)目變多，精度變高。
尋找最佳的(C，γ)參數(shù)組使該SVM的性能最好,最簡(jiǎn)單的方法是分別選取不同的參數(shù)組合，得出不同的錯(cuò)誤率，選取其中錯(cuò)誤率最小的參數(shù)組合作為最優(yōu)化選擇，這種方法也叫做“窮舉法”。本文采用了臺(tái)灣林智仁教授開(kāi)發(fā)的libsvm支持向量機(jī)庫(kù)中的工具“grid.py”進(jìn)行了參數(shù)的優(yōu)選，該工具是采用網(wǎng)格遍歷法，由gnuplot生成的搜索結(jié)果顯示出最小錯(cuò)誤率時(shí)的參數(shù)，即最優(yōu)參數(shù)為(8.0,0.5)。
3 仿真實(shí)驗(yàn)
本文設(shè)計(jì)的手勢(shì)識(shí)別系統(tǒng)采用了C語(yǔ)言、Code::Blocks開(kāi)發(fā)平臺(tái)、OpenCV2.3.1[4]計(jì)算機(jī)視覺(jué)開(kāi)源庫(kù)和35萬(wàn)像素?cái)z像頭。該系統(tǒng)主要包括手勢(shì)跟蹤、手勢(shì)圖像預(yù)處理、特征提取和手勢(shì)識(shí)別4個(gè)部分。系統(tǒng)框圖如圖3所示。
本系統(tǒng)的程序整體框架分為學(xué)習(xí)模式和識(shí)別模式，識(shí)別模式包括視頻文件識(shí)別模式和攝像頭識(shí)別模式。處于學(xué)習(xí)模式時(shí)，通過(guò)讀取配置的手勢(shì)視頻文件獲取學(xué)習(xí)模板，對(duì)每一幀圖片進(jìn)行濾波、閾值分割和輪廓提取等預(yù)處理得到手勢(shì)輪廓圖像，獲取手勢(shì)輪廓的Hu矩和其他特征參數(shù)，訓(xùn)練特征參數(shù)后并保存，生成相應(yīng)的判別界面函數(shù)。視頻文件識(shí)別模式通過(guò)對(duì)每一幀圖片進(jìn)行預(yù)處理和特征參數(shù)提取后調(diào)用svmPredict函數(shù)進(jìn)行分類(lèi)預(yù)測(cè)，結(jié)果顯示在屏幕上。處于攝像頭模式時(shí)，首先讀取攝像頭采集的圖像，設(shè)置鼠標(biāo)事件和界面窗口，選定跟蹤目標(biāo)的區(qū)域和大小，計(jì)算目標(biāo)區(qū)域的色彩直方圖和反射投影。本文選取了傳統(tǒng)的Camshift跟蹤算法用于跟蹤目標(biāo)并提取跟蹤窗口的目標(biāo)，對(duì)跟蹤目標(biāo)圖片進(jìn)行預(yù)處理并計(jì)算特征參數(shù)，最后進(jìn)行手勢(shì)識(shí)別并顯示識(shí)別結(jié)果。程序運(yùn)行的最后均要釋放資源。
圖4為攝像頭模式下手勢(shì)識(shí)別的截圖，圖中實(shí)時(shí)顯示出了手勢(shì)的外接矩形、外接多邊形、手勢(shì)輪廓、直方圖和識(shí)別率等信息。
本文開(kāi)發(fā)的基于Hu矩和SVM的手勢(shì)識(shí)別系統(tǒng)能夠?qū)崿F(xiàn)在視頻模式和攝像頭模式下對(duì)0~9十種手勢(shì)的實(shí)時(shí)識(shí)別,但光照條件要求相對(duì)比較高，人手與攝像頭需要保持在一定的距離范圍內(nèi)。目前只選擇了Hu矩中的M1~M4、手勢(shì)輪廓的凹陷個(gè)數(shù)N5以及周長(zhǎng)與面積的比N6作為特征參數(shù)，如何選取更好的特征參數(shù)以提高系統(tǒng)識(shí)別性能需要進(jìn)一步研究。
參考文獻(xiàn)
[1] 任雅祥.基于手勢(shì)識(shí)別的人機(jī)交互發(fā)展研究[J]．計(jì)算機(jī)工程與設(shè)計(jì)，2006，27(7)：1201-1204．
[2] FLUSSER J, SUK T, ZITOWA B. Moments and moment invariants in pattern recognitong[M]. Chichester: John Wiley & Sons Ltd, 2009.
[3] 羅瑜．支持向量機(jī)在機(jī)器學(xué)習(xí)中的應(yīng)用研究[D]． 成都：西南交通大學(xué)，2007．
[4] LAGANI?魬RE R. OpenCV 2 Computer vision application programming cookbook[M]. Birmingham: Packt Publishing Ltd, 2011.