《電子技術應用》
您所在的位置:首頁 > 其他 > 業界動態 > 單目圖像序列中三維信息的提取算法及應用

單目圖像序列中三維信息的提取算法及應用

2008-04-10
作者:方曉瑩1,2,王小君2

  摘 要: 分析了三維信息的提取在視頻監控系統中的重要性,指出了傳統標定算法的局限性。在線性攝像機模型基礎上,提出了一種基于圖像網格的非線性校正算法,完成對攝像機參數的標定,實現三維信息的重建。以實際交通錄像為仿真對象,證明了該算法的有效性。
  關鍵詞: 單目圖像 三維信息 非線性校正 單應性矩陣


  近年來,應用攝像機等視覺傳感器及計算機視覺" title="計算機視覺">計算機視覺理論對車輛進行識別與跟蹤在城市交通監控中有較大的發展。它涉及到視頻信號的采集、視頻信息的處理與分析、計算機人工智能等。其中交通信息的采集與分析是最基礎,也是最重要的環節,需要根據圖像中的二維信息來提取實際空間中的三維信息。許多文獻中都提到了采用攝像機標定" title="攝像機標定">攝像機標定來完成從二維到三維的轉換[1~2],但傳統的標定算法都需要一個高精度的模板和不同角度的圖像。利用模板的精確數據" title="精確數據">精確數據與其圖像數據進行匹配來求得攝像機內外參數的方法有較大的局限性。有些采用雙目方法來恢復三維信息[3~4],但需要在兩幅圖像之間進行相關匹配。如果同一幅圖像上有多處極為相似,則容易出現匹配錯誤,且該算法的耗時會影響監控的實時性。本文提出了一種基于圖像網格的形變校正算法,由此計算單應性矩陣,無需用到標定塊,從而實現在單目圖像序列中提取車輛三維信息。該方法在智能交通系統ITS(Intelligent Traffic System)中有較好的應用。
1 系統概述
  本系統的信息流程圖如圖1所示。將由二維圖像獲取的信息,通過網格非線性校正算法計算從圖像平面到空間平面的變換系數,即二維單應性矩陣,由此進行對攝像機參數的標定,由內外參數矩陣確定三維單應性矩陣,即確定從二維圖像恢復到實際三維信息的變換關系。


2 攝像機成像幾何模型
  假定攝像機的成像模型為經典的小孔成像模型[5],即只考慮線性模型,暫不考慮透鏡引起的畸變,具體的幾何模型如圖2所示。


  由攝像機的光軸" title="光軸">光軸與圖像平面組成的直角坐標系稱為攝像機坐標系。如圖2中的O-XcYcZc為攝像機坐標系,O為光學中心,Zc軸與光軸重合,O1-xy為圖像平面坐標系(坐標原點在圖像中心),O2-uv為以像素點為單位的圖像平面坐標系。在O-XcYcZc坐標系下,O1點的坐標為(0,0,f),f為攝像機的焦距,同時在O2-uv坐標系下O1點的坐標為(u0,v0)。
  設空間一點P在攝像機坐標系下的坐標為(XcYcZc),通過透視投影而在成像平面上生成的對應像點的像素坐標為P′(u,v),兩者之間的比例關系用齊次坐標表示為:
  
  式中的su、sv分別為像素的寬度和高度,f、u0、v0、su、sv稱為攝像機的內參數。
  由于攝像機可以安放在環境中的任何位置,所以應在環境中選擇一個基準坐標系來描述攝像機的位置,該坐標系稱為世界坐標系。攝像機坐標系與世界坐標系之間的關系可以用旋轉矩陣R和平移向量μ來描述,因此空間點P在世界坐標系與攝像機坐標系下的齊次坐標之間有如下關系:
  
  其中,(X,Y,Z)為點P的世界坐標,R為3×3單位矩陣,μ為三維平移向量,OT=(0,0,0)。
  由式(1)、(2)可得點P的世界坐標與投影點P′的像素坐標之間的關系:
  
  M1只與攝像機的內參數有關,稱為內參數矩陣,M2與攝像機的外參數有關,稱為外參數矩陣,則式(3)可表示為:
  
  由上式可知,只要標定了攝像機的內外參數后,即可建立圖像點的像素坐標與實際點的世界坐標之間的關系。
  將外參數矩陣中的旋轉向量R表示為:
  R=[r1,r2,r3]
  其中r1,r2,r3均是3×1的矩陣,則可將式(4)表示為:
  
  在不失問題一般性的情況下,先假設標定物體位于世界坐標系中Z=0的平面內,則上式簡化為:
  
  傳統的標定方法中,在實際場景中設定一個高精度的標定塊,利用標定塊上點的精確數據與其圖像中的數據進行匹配,得到單應性矩陣H。本系統中的單應性矩陣H由基于網格的非線性校正算法求得。
3 基于網格的非線性校正算法
  在所攝取的圖像上建立坐標系,規定圖像的左上角頂點為坐標原點,如圖3所示。根據道路的交通標志" title="交通標志">交通標志線設定圖像中的網格線,對應到實際道路中的網格線和坐標系,如圖4所示。通過在圖像上取點獲取像素坐標可以計算出圖像網格中每條直線的方程,從而可得到各直線的交點坐標。在實際道路中由道路的寬度和交通標志線來確定實際道路網格的交點坐標。這兩類交點坐標之間有一一對應的關系,根據這些點坐標的對應,可以找到一個函數關系來反映圖像中所有點的坐標到實際坐標的映射。


  由于圖像上不同位置的點發生非線性形變的程度不同,如果所有的點都對應同一個映射關系,則不能保證校正的準確性。為了使坐標的變換更為準確,可以在圖像上和實際道路中建立小網格模型。在圖像中的每個網格上取若干個點,分別對應到實際網格的若干個點上,由這些點的坐標對應關系建立每個網格的坐標映射函數。在本算法中,將各網格分成9個小格,取其邊界和中心的16個點進行映射。這樣,在進行非線性坐標變換時,首先判斷被計算點所處的網格位置,再選擇相對應的映射函數進行變換。
  由于精確的函數難以求得,故采用近似的方法盡可能地逼近所求函數。在此校正算法中,采用最小二乘法[6]的曲線進行擬合。這里取基底函數Φ=Span{X,Y,1},所求的逼近函數用矩陣表示為:
  

  
  其中m為網格中的交點數,交點數越多擬合得越精確。
4 攝像機參數的確定
  在上面的算法中已經得到二維單應性矩陣,其中旋轉矩陣的各旋轉分量互相正交[7],所以r1×r2=0,于是可得到:

  要求得攝像機的內參數首先需要確定B的6個變量。對于確定的攝像機,分辨率是已知的,所以成像中心的像素值(u0,v0)可以得到。將矢量b表示為:
  
  所以只要確定兩個未知量就行了。將矩陣H的第i列矢量表示為:

  其中vij為6×1矩陣,各元素由已經求得的單應性矩陣的元素決定:
  
  于是就完成了攝像機參數的標定,確定了三維單應性矩陣,實現由二維信息到三維信息的變換。
5 實驗結果及在視頻監控中的應用
  為了驗證上述算法的有效性,將其應用于交通視頻監控系統中,以準確提取車輛信息。以上海某外環高架路段為測試對象,測試時間為2005年7月26日下午2:20~2:40,所用攝像機分辨率為1024×768。由本算法計算得到的內外參數分別如表1、表2所示。其中,fu、fv分別為攝像機在橫向與縱向上的焦距,(u0,v0)為成像中心點的像素坐標,r1,r2,r3為攝像機外參數中的旋轉向量,μ為外參數中的平移向量。


  由此對進入系統所設定的檢測區域內的車輛計算三維信息,在后續幀中根據這些信息對車輛進行識別與跟蹤。部分跟蹤效果如圖5所示(對尚未進入或已經出了檢測區域的車輛不進行跟蹤)。


  由圖5可以看出,由該算法提取的車輛信息較為準確,能對各車輛進行有效識別與跟蹤,且完全能滿足實時監控的需要。
  本文提出了一種從單目圖像序列中有效提取三維信息的算法,由基于網格的非線性校正算法求得單應性矩陣以完成對攝像機的標定。將該算法應用于實際交通錄像,其實驗結果表明算法具有較高的準確度,且運行速度較快,能滿足視頻監控的實時性要求,在ITS中有較好的應用前景。
參考文獻
1 馬頌德,張正友.計算機視覺——計算理論與算法基礎[M].北京:科學出版社,1998
2 全紅艷,張田文.一種新的利用模板進行攝像機自標定的方法[J].電子學報,2005;33(11):1941~1945
3 蔡健榮,趙杰文.雙目立體視覺系統攝像機標定[J].江蘇大學學報(自然科學版),2006;27(1):6~9
4 張劍清,張春森,賀少軍.雙目序列影像三維運動參數確定[J].武漢大學學報(信息科學版),2006;31(1):43~46
5 Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000;22(11):1330~1334
6 沈劍華.數值計算基礎[M].上海:同濟大學出版社,1999
7 Meng X Q,Li H,Hu Z Y.A new easy camera calibration technique based on circular points[A].In:Proceedings of the british machine vision conference[C],2000:496~501

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 在线观看亚洲国产 | 欧美日韩中文字幕在线 | 成人亚洲视频在线观看 | 亚洲国产欧美日韩一区二区三区 | 午夜18| 手机看片91精品一区 | 91免费视 | 亚洲一区二区三区高清网 | 国产三级精品三级在专区中文 | 黄色的网站免费 | 性刺激欧美三级在线观看 | 免费中文字幕在线观看 | 天天插天天色 | 夜间福利视频 | 色www永久免费视频 色www亚洲 | 色淫影院 | 国产三级国产精品国产普男人 | 波多野结衣免费线在线 | 成人免费看毛片 | 国产一区二区三区在线观看视频 | 国产日韩欧美在线一二三四 | 国产 欧美 日韩 在线 | 国产色在线com | 午夜影院在线观看视频 | 免费高清资源黄网站在线观看 | 在线免费观看视频黄 | 黄色短片视频 | 国产乱码精品一区二区三区网页版 | 中文字幕乱理片免费完整的 | 国产亚洲欧洲日韩综合v | 色网站在线免费观看 | 中国女人free性hd国浯 | 天堂亚洲国产日韩在线看 | 香蕉网站99视频丝瓜视频 | 色中文网| 涩涩动漫网站 | 欧美曰批人成在线观看 | 国产成人精品系列在线观看 | 天堂资源在线中文 | 成人在线观看视频网站 | 国产韩国精品一区二区三区久久 |