馬輝棟,劉振宇,郭小鳳
(山西農業大學 信息科學與工程學院,山西 晉中 030801)
摘要:針對如何高效、準確地從視頻圖像中提取相關特征向量,完成基于視頻的人體運動分析,構建了基于視頻信息的人體下肢運動系統。系統包括人體運動輪廓的提取、噪聲處理和人體下肢建模及分析3個模塊。人體運動輪廓提取中采用改進的光流算法,通過閾值設置改善了輪廓提取的清晰度和完整性。噪聲處理模塊運用單個中值濾波器與人體四周去噪算法,不僅有效解決了多中值濾波引起的人體輪廓模糊問題,同時使人體活動區域外的噪聲去除率達到100%。通過系統分析,視頻中人體行走的速度為0.687 m/s,髖關節垂直方向上下起伏幅度為4.71 cm,行走步態正常。
關鍵詞:輪廓提取;人體建模;噪聲處理;運動分析;視頻
引言
人體運動分析是人工智能[1]、生物醫學工程等領域研究的重要內容。基于視頻的人體運動分析系統是通過運動目標檢測、跟蹤、特征參量提取、人體結構姿態重建等完成運動分析的視頻圖像處理系統。目前,已報道的基于計算機視覺實現人體運動分析的方案有很多,但是如何高效、準確地視頻圖像信息中對相關特征量進行提取,完成運動分析,仍然是目前人們在不斷探索的問題。
本文基于單目視頻,搭建了無標識物的視頻人體下肢運動分析系統。該系統包括人體運動輪廓提取、噪聲處理、人體下肢建模及分析3大模塊,如圖1所示。
1人體運動輪廓提取及噪聲處理
1.1人體運動輪廓提取模
人體運動輪廓提取模塊基于Simulink仿真平臺,綜合運用系統連接、計算機可視化系統模塊庫完成系統搭建,模塊仿真框圖如圖2所示。
視頻序列原圖如圖3所示,經圖片顏色格式轉換模塊、光流模塊、閾值模塊處理后的圖片序列分別如圖4~圖6所示。
圖5顯示,經過光流模塊處理的圖片序列基本提取出了人體輪廓,但是輪廓清晰度不高,腳部輪廓部分缺失。為此對圖像進行了二值化處理,加入閾值處理模塊,經過多次試驗,將閾值設置為0.001。由圖6可以看到,經過閾值處理的圖片序列相對于圖5,基本還原了腳部輪廓,而且輪廓清晰度也有所提高。
1.2噪聲處理
噪聲處理模塊采用中值濾波和四周去噪法,處理流程如圖7所示。
1.2.1中值濾波
圖8中值濾波前后人體輪廓對比中值濾波器用于去除孤立的點、毛刺等椒鹽噪聲[2]。如圖8中的兩幅圖對比,經過多次中值濾波,圖片中的椒鹽噪聲確實有很大的改善,但是濾波后的腳步輪廓明顯比處理前的模糊,這對人體建模有非常大的影響。本文在做人體下肢骨架模型時經多次試驗結果對比,采用了一次7×7中值濾波處理方式。
1.2.2四周除噪
為避免中值濾波對人體輪廓二值圖像的模糊作用,本文在中值濾波后,采用基于人體高度和寬度參數的四周除噪法,結果如圖9所示。四周去噪的具體做法是根據人體頭頂、腳底、左側及右側坐標劃分出人體所在的矩形區域(如圖9(c)所示),將該矩形區域外的一切像素點均視為噪聲,予以去除,處理結果如圖9(d)所示。
四周去噪的必要條件是獲取人體身高和寬度參數。如圖7所示,為了有效提取人體身體參數,采用7×7、5×5、3×3中值濾波器充分去除噪聲。實驗中有效視頻幀共55幀,對每幀提取身高及寬度,取均值得到人體身高H為425像素。
2人體運動下肢建模
人體行走時,上身部分相對于整個身體軀干可近似看做靜態,下身部分的動態分析包括以髖關節、膝關節、踝關節5個關節點為中心的大腿骨、小腿骨。人體大腿骨、小腿骨長度人體身高呈線性關系[3]。
2.1髖關節定位
髖關節定位如圖10所示。
(1)髖關節行坐標定位。根據人體骨骼模型[4],髖關節行坐標與頭頂行坐標的距離為人體身高的0.47倍,計算出髖關節行坐標。
(2)髖關節列坐標定位。為簡化實驗數據分析,本文實驗中人體運動時假設兩臂不擺動或有輕微的擺動。得到髖關節行坐標后,在髖關節所在行行掃描的到這行像素值為1的點,取兩交點的中間值設為髖關節的列坐標。
2.2膝關節定位
大腿長L_lap為身高H的0.245倍[4],膝關節的運動軌跡是以髖關節為圓心,大腿長為半徑的圓R1,找出軌跡圓與腿部輪廓的交點[5],便可對膝關節定位。 膝關節定位分兩種情況分別討論。
(1)兩大腿骨分開。如圖11所示,圓R1與人體下身輪廓有4個交點。左側膝關節定位為最左側交點與相鄰交點的弧線的中點;右側膝關節定位為最右側交點與相鄰交點弧線的中點。
(2)兩大腿骨有重疊。如圖12所示,圓R1與人體下身輪廓有兩個交點。該情況,兩個膝關節定位分別為左側交點向右0.05×H像素,右側交點向左0.05×H像素。
2.3踝關節定位
踝關節定位原理同膝關節。小腿長L_leg為人體身高H的0.246倍[5],分別以左右兩個膝關節為圓心,小腿長為半徑作圓R2、R3,得到圓與小腿輪廓的交點[6],如圖13所示。因受噪聲影響,交點個數可能會不同,取最右側交點向左0.03×H處為右側踝關節點,取最左側交點往右0.03×H處為左側踝關節點。
2.4下肢建模結果
本實驗對53幀視頻圖像進行下肢建模,建模結果如圖14所示,該模型以髖關節和膝關節為端點畫出大腿骨,以膝關節和踝關節為端點畫出小腿骨的骨架模型。
3人體運動軌跡分析
建立出下肢骨架模型后,對人體行走時髖關節的運動軌跡進行分析,本實驗共提取出55幀圖像的下肢模型,人體正常行走3步,時間為2 s。圖15分別為髖關節垂直、水平方向運動軌跡擬合結果。
圖15(a)中,髖關節水平方向運動軌跡擬合曲線如式(1)所示:
P(t)=174.794 0t+56.932 4(1)
由此關系式可得髖關節橫向運動軌跡為一階函數,即該視頻中,人體水平方向的運動為速度為174.794 0像素/秒的勻速直線運動。
由圖15(b)可以看出,人體正常行走時,髖關節垂直方向的運動軌跡基本呈周期性上下波動。髖關節垂直方向坐標最大值為373像素、最小值為361像素,髖關節垂直方向波動幅度最大值為12像素。本視頻中人體身高為425像素,167 cm。由此可得,本視頻中人體行走的速度為0.687 m/s,垂直方向上下起伏幅度為4.71 cm。
人體行走時步態的生物力學研究表明,健康成年人正常步態行走時,髖關節上下起伏的幅度約為4.4 cm[7],本實驗中人體行走步態是正常的。
4結論
本文搭建了視頻人體下肢運動分析系統,實現了對視頻的人體運動輪廓提取、去噪處理、下肢建模,并根據建模結果進行了相關的運動分析,系統結構簡單易于實現。本文提出的改進的光流算法有效提高了人體運動輪廓的完整性;四周去噪方法算法簡單,易于實現,能有效去除人體四周噪聲。
參考文獻
[1] 丁晨陽. 智能體視覺策略在RoboCup中的設計[J]. 微型機與應用,2014,33(5):9092,95.
[2] 張明源,王宏力,鄭佳華,等.改進型中值濾波器在圖像去噪中的應用[J].兵工自動化,2007,26(8):4547[3] 王晏. 人體下肢運動分析[D]. 大連:大連理工大學, 2005.
[4] WINTER D A. Biomechanics and motor control of human movement[M]. John Wiley & Sons, 2009.
[5] 馬曉蕾. 基于視頻序列的偏癱患者步態分析[D]. 哈爾濱:哈爾濱工程大學, 2009.
[6] 陳華,史思思,胡春海. 基于特征融合的步態識別[J].無線電工程,2012,42(2):2527.
[7] 吳劍, 李建設. 人體行走時步態的生物力學研究進展[J]. 中國運動醫學雜志, 2002, 21(3): 305307.