《伺服與運動控制》2012第二期 清河機器人研究中心 舒雅 供稿
1煤礦井下的地形特征及其對井下地圖的需求
礦井是一種人工開采的地下建筑結構，以網狀狹長巷道為體，主要包括主副井、通風井、大巷、皮帶運輸巷、采煤工作面等具有不同結構、路面和環境特征的結構單元。
井下探測機器人主要是對井下的各種巷道進行探測與環境參數采集，這些巷道首先是具有不同的路面特征，呈現出路面情況的復雜性和多樣性，如水泥路面等結構化平整路面，起伏不平但表面堅硬的土質路面，沙地，階梯，鐵軌，泥濘路面以及因開采施工等因素對方的雜物組成的更加復雜的地形條件等等。因此，用于井下機器人導航的環境地圖，首先需要能夠較為準確的表達出這些地形情況的起伏度、坡度等基本信息，從而使機器人可以在這種非平整路面環境下通過可通過性分析等手段完成基本的路徑規劃任務。
其次，由于井下各種巷道的結構條件以及巷道內設備、物料等堆放物以及自然形成的各種地質結構多種多樣，其現場既存在確定性、結構化的特征，也存在不確定、非結構化的特征。在這些特征當中，有些是可以作為導航、定位的特征區域或特征點來使用的，如鐵軌、巷道的交叉口、階梯等；有些則是在遠程操作或自主路徑規劃中需要躲避的可能對機器人本身造成傷害的危險區域或危險環境，如較深的積水、泥潭等。因此，如何對可利用的結構化的特征以及可能對機器人造成傷害的特征進行有效的識別與定位，并將這些目標的分類、危險程度、穿越或翻越的可能性及代價等信息在地圖上進行表示，也是在井下機器人地圖創建過程中的一個重要的目標。在本節接下來的內容里，將分別分析煤礦井下典型區域中各種人工或地質結構的地形特征及其可能對井下機器人導航產生的影響。
大巷是地下采礦時，為采礦提升、運輸、通風、排水、動力供應等而掘進的通道。一般情況下煤礦大巷內結構化的環境特征比較明顯，路面情況也比較好，多以平坦堅硬的路面為主，偶爾有階梯或其他物料堆積物。因而，大巷對于井下機器人來說其導航的條件是比較理想的。
巷道交叉口，巷道交叉口一般為“Y”型結構，少數也有“+”型結構，對于交叉口的識別是井下導航一個非常實用的功能，可以用于局部地圖與先驗的井下拓撲地圖的融合，使局部路徑規劃與全局路徑規劃結合起來。
鐵軌是井下常見的一種結構特征，作為井下機器人來說，鐵軌既可以被操作員利用作為保持機器人航向操作的參考；也可以直接被機器人的感知系統所采集并作為結構化特征為機器人的定位等任務提供必要的數據基礎。除此之外，由于在正常情況下，鐵軌因為經常被維護從而基本不會有人為的堆放物或其他障礙物，因此在地形環境比較復雜的時候，在鐵軌中間行走不失為井下探測機器人一個理想的路徑規劃選擇。
階梯常出現在井底大巷或上下山巷道中，對于階梯結構DEEC_II機器人有一套相對自主的攀爬模式，通過視覺引導的方法實現機器人在階梯上的姿態保持，這部分內容將出現在論文的后續章節中。因此，如何準確的識別階梯及其走向和坡度等信息，并存儲到井下地圖中，從而使機器人可以啟動階梯攀爬程序實現自主攀爬，也是很有意義的。
在井下積水是非常普遍的，只是因為大多數的礦井都會有地下水的滲入，甚至會由于大規模出水造成透水事故。這些積水區域有的只是淺淺的是一個小水坑，有的則很深。雖然DEEC_II機器人本體是按照IP67進行設計的，其本體可以在不超過1米的水下短時間工作，但機器人所攜帶的環境氣體探測器等設備卻由于必須與空氣接觸而需要暴露在外面，這些設備進水將造成其不可修復性損壞。對積水深度的判斷是比較復雜的一件事，這在很大程度上需要借助操作員本人的經驗來實現判斷。對于機器人來說，較大面積的積水則由于其情況不明作為路徑規劃中具有潛在威脅的目標來對待。
泥濘的路面環境在井下也是非常普遍的，履帶式移動機器人對泥濘道路具有一定的適應能力，但對于大面積過度飽和的泥濘路面，特別是具有一定深度的泥潭，將會使機器人深陷其中，從而無法繼續完成探測任務。因此，機器人同樣需要能夠檢測較為飽和的大面積泥濘路面，并作為一種有危害的特征在井下地圖中進行標注。
綜上所述，無論是用于對操作員的遠程操作進行現場地形和環境信息的支持，還是作為移動機器人井下導航的基礎數據，用于井下地形環境的地圖不僅要具有描述井下復雜的不平整路面的能力，還應該能夠進一步描述一些典型的景物特征，如鐵軌、階梯、巷道交叉口、大面積泥濘、積水等。
2移動機器人常用地圖表達方式
移動機器人環境空間的表示方法主要包括幾何地圖(GeometricalMap)和拓撲地圖(TopologicalMap)兩大類。其中，柵格地圖(Grid-basedMap)和特征地圖(LandmarkMap)是比較常見的幾何地圖表達形式。這些地圖表示方法分別具有其各自的特點，因而被應用于不同的場合，或者通過不同類型地圖的組合實現其環境空間更為適當的表達。
(l)柵格地圖
柵格地圖表示法最早由Moravec和Elfes于1985年提出，其原理是將環境分解成若干相同大小的柵格，每一單元代表環境的一部分，并包含一個表示該單元格被占據可能性的概率值。相比之下，柵格地圖易于創建、表示和維護，每個柵格單元的信息直接與環境對應用于表示空閑或障礙物信息，因而方便聲納等低成本傳感器實現這種地圖的創建。借助于柵格地圖，機器人可以方便地完成自定位、路徑規劃等。柵格地圖是一種用于近似表達環境信息的地圖，它對特定感知系統的假設參數不敏感，因而具有較好的魯棒性。然而在大規模環境或環境復雜需要詳細劃分時，柵格數量將會增大，這就導致維護地圖所需的計算量增加從而導致地圖處理的實時性變差。然而從另一方面考慮，由于傳統的柵格地圖僅僅表達了相應位置的“空閑”(可通過區域)或“占據”(障礙物區域)，因而更多的應用于室內或結構化特征明顯的室外平整路面導航中，對于非平整路面或非結構化特征很強的環境，傳統的柵格地圖就由于信息量不足而顯得無能為力了。
經過眾多研究人員多年的努力，柵格地圖表示法也在不斷的發展和改進當中得到了越來越廣泛的應用，逐漸形成了四叉樹等改進的模型結構。Burgard采用神經網絡對感知數據進行學習，然后映射到地圖中。Angelo提出基于反饋神經網絡模型的柵格概率計算方法，從而可以有效的減少傳感器鏡面反射、隨機性誤差等的影響。Ribo對Bayesian概率模型、D-S證據理論、模糊集三種算法更新柵格地圖模型的優缺點進行了深入的分析。針對非平整路面機器人導航問題，Moravec，Rankin等提出并應用了多種形式的2.5D柵格地圖，進而加強了柵格地圖的表達能力，解決了柵格地圖信息量不足的問題。
(2)特征地圖
特征地圖又稱為幾何特征地圖，它是通過機器人從環境的感知信息中提取更為抽象的幾何特征，這些特征由若干包含環境位置信息的特征組成，例如線段、角點、目標邊緣、規則曲線、平面等均可作為地圖特征，這些特征通過特定的表達形式存儲在地圖中，并且易于被機器人觀測到，方便用于位置估計和目標識別。幾何特征地圖也有著較為廣泛的應用，如Ayache通過視覺傳感器獲取環境中的直線段信息作為特征，Ip等人通過對原始聲納數據的處理獲得線段信息作為特征，Choset等采用ATM模型精確提取環境中的點特征。多傳感器信息融合是提高特征檢測能力的重要手段，Castellanos對激光和攝像機數據進行特征級數據融合以提高識別準確度。特征地圖缺點是特征的提取需要對感知信息作額外的處理，需要一定數量的感知數據才能得到結果，而且特征地圖的更新比柵格地圖復雜很多。
(3)拓撲地圖
拓撲地圖，首先由Kuipers在1978年提出，是一種緊湊的環境表示方法，通常以圖(Graph)的結構形式表現一個環境的連通性。拓撲地圖描述法是對真實世界的一種近似描述，它并沒有一個明顯的尺度概念，而是選用一些特定的地點來描述環境空間信息。一般來說拓撲地圖把環境表示為帶節點和相關連接線的拓撲結構圖，其中節點表示環境中的重要位置，如墻角、門等有一定可檢測特征的結構，拓撲地圖的邊表示節點之間的連接通道，如環境中的走廊、通道等。相對而言拓撲地圖非常便于實現路徑規劃，適用于基于行為的導航；而更大的優勢在于，拓撲地圖可以直接使用諸多成熟高效的圖形搜索和推理算法;這種地圖以描述環境的拓撲結構為主要目標，因而對環境沒有精確的位置要求；并且對存儲空間和計算資源要求相對較低，因此，基于拓撲地圖的計算效率較高。盡管拓撲地圖在很多方面具有優勢，但它要求機器人可以準確地觀測到拓撲節點，對拓撲節點的定義是拓撲地圖創建的難點，在很多情況下往往會造成節點定義的失敗；特別是在相似性較強的環境中，很容易使系統陷入節點混淆的狀態。因此，拓撲地圖對于結構化的環境，特別是對于不是很復雜的大尺寸結構化環境，是一種高效的表示方法。然而，對于非結構化環境，節點的識別將變得非常復雜從而使地圖創建的難度增大。拓撲地圖的節點定義一般采用三種方式:第一種是人為預定節點標志的方式，第二種是特定位置法，即根據特定位置的環境信息定義節點。Kuipers采用爬山法尋找局部唯一特征點，利用外部傳感器感知的信息定義節點，第三種是傳感器的觀測數據的相似性特征進行節點定義，Nehmzow直接根據柵格直方圖信息進行節點定義。
井下環境是一個大尺度的空間環境，并且具有一定的先驗知識，這些先驗知識可以較為容易的轉換為以巷道口、巷道交叉點、井下重要設備或場所為節點的拓撲地圖。以這個地圖作為全局路徑規劃的拓撲地圖，可以初步規劃出機器人在井下當前位置通往目的點進行探測的全局路徑信息。但由于這些地圖僅僅提供了井下理想情況下的連通性信息，而實際的井下環境復雜多變，即使是很短的一段巷道的通行都需要一個包含有更加詳細信息的局部地圖進行路徑規劃。對這樣復雜的地形環境，本文提出一種能夠存儲和表達更加詳細信息的2.5D柵格地圖，用于表示地形及附著在地形以上的各種物體，從而為移動機器人路徑規劃提供更加充分的地圖信息。
3基于雙目視覺的井下2.5維柵格地圖創建
3.1一種2.5D柵格地圖
面對復雜的井下環境，探測機器人要想成功的實現井下探測中的路徑規劃與導航，不僅需要對地形環境的可靠感知，更需要對各種地形環境的準確而全面的表達。在井下探測過程中，一個可靠的地形表達形式對于探測機器人能夠規劃出一條安全的路徑，并最終順利到達預設的目標點起著至關重要的作用。一般來說，地形環境的表達主要依靠安裝于移動機器人本體上的具有測距功能的傳感器來實現，如激光掃描儀、毫米波雷達等設備，但這些設備或者體積較大或者價格昂貴；影像傳感器也是一種重要的感知器件，如可見光攝像機、多光譜攝像機、熱成像儀、偏振光相機等等，這些傳感器本身或它們的組合也可以較為方便的實現地形信息的獲取。
經歷了近20年的發展，各種各樣的直角坐標系柵格地圖被應用在移動機器人導航的研究當中，到底采用2D,2.5D還是3D柵格地圖，取決于地形環境的復雜情況以及移動機器人所需的運算和動作速度。如前所述，2D柵格地圖是一種典型的占有格形式，它主要存儲每個柵格區域的不可通過、可通過以及未知這幾種狀態，即當一個障礙物被探測到位于其中一個占有格當中的時候，該占有格則被設置為不可通過狀態。2D柵格地圖主要應用于障礙物相對簡單而分散，且地形環境不太復雜的情況下，因而多用于室內或其他平坦地面環境下。對于更加復雜的環境，則需要更高維的柵格地圖來表達。2.5D柵格地圖的基本形式是一種數字高程地圖形式，它將相應柵格的高程信息存儲在所表達的柵格數據當中。對于工作在野外等非平整路面的移動機器人來說，更加常用的2.5D柵格地圖是一種存儲有高程信息以及地形特征等信息的地形地圖。當然，3D柵格地圖也是一種可選擇的方式，3D柵格地圖可以用來描述立體的空間信息，其主要應用于空間、水下等機器人的三維路徑規劃的實現。但相比較而言，對于地面移動機器人來說2.5D地圖在存儲效率和計算復雜度方面的優勢都是比較明顯的。
本文提出一種方便井下機器人導航的2.5D柵格地圖結構，該地圖是由一系列局部地圖與含有井下地形環境先驗信息的全局地圖融合后形成，其中每一個局部地圖是立體視覺相機的一次采集的信息處理后形成的數據，有些研究人員把它稱作單幀地圖(SingleFrameMap)，這些地圖根據其位置和姿態被匹配到全局地圖當中。每個地圖柵格由高度、地形分類、起伏度、可通過性代價以及可信度等元素組成。考慮到機器人的外形尺寸、越障能力等因素，該地圖的水平柵格尺寸定為10cm，而高度分辨率根據立體視覺精度的平均值，定位2cm。由于機器人跨越陡直障礙物的能力為30cm，因此2cm的分辨率足以滿足障礙物翻越算法的要求。根據前述機器人基于視覺的定位于姿態估算算法，機器人的姿態在每次立體視覺采集后都需要重新計算一次，因此每個單幀地圖都需要根據機器人本身位姿的數據計算出地圖與全局地圖之間的位置和方向關系，從而保證其在全局地圖中位姿的正確性，這也是保證實現地圖融合的前提條件。
該結構的每個地圖單元由4個字節組成，第1位到第9位用于柵格高度的存儲，其中第1位是符號位，后8位表示與機器人觀測點平面的絕對高度差；第9-11位用于表達該單元格的起伏度信息，用于描述該單元格內部及其與相鄰單元格之間高度變化的平均幅度；第12-14位表達地形分類，表征該單元格屬于哪種特定的地形特征，如可通過地形、階梯、鐵軌、泥濘、積水、未知等等；15-16位表示可通過性代價，是通過起伏度、地形特征等數據計算出來的可直接應用于井下機器人路徑規劃及遠程操作參考的數據，如圖1所示。
圖1地圖單元組成
3.2柵格定位及坐標變換
通過立體視覺系統的感知，可以獲得現場地形的三維點集合，這些離散的點集合可以用于描述地形環境的表面輪廓，從而構成了目標地形的三維點云描述，其中點的坐標描述了該視差點相對攝像機的位置。對于局部地圖的創建，需要將這些三維點云描述首先由立體相機坐標系轉化到機器人坐標系當中，并以此作為機器人此次路徑規劃的局部環境描述。而后，在進行全局路徑規劃之前，需要將上述坐標從機器人坐標系轉換到世界坐標系，即井下環境全局地圖坐標系當中，這主要通過機器人的定位及姿態估算信息進行推算，完成坐標變換后，進而可以完成局部地圖與全局地圖的融合。坐標系的定義及轉換關系如圖2.
當機器人在未知環境中進行自主導航時，若沒有外部提供的全局定位信息，一般采用自主導航開始時，機器人的初始位置為世界坐標系的零點。用立體攝像機采集圖像就是將客觀世界的3D場景投影到2D像平面上，這個場景可以用成像變換來描述。成像變換涉及到不同坐標系統之間的變換，立體攝像機進行圖像采集的最終結果是要得到計算機里的數字圖像，因此在成像變換時需要用到以下坐標系。以機器人的姿態確定各坐標軸的方向。如圖2所示，本文采用機器人的前向作為z軸，以處在相同水平面的指向機器人右側與z軸垂直的方向作為x軸，最后以右手法則確定y軸。
世界坐標系：Xw，Yw，Zw，為基準坐標系，刻度單位為物理單位
圖像坐標系：(u,v)，(x,y)
(u,v)：為以像素為單位的圖像坐標系的坐標，表示像素在圖像中的行數和列數
(x,y)：以物理單位表示的圖像坐標系
圖2世界坐標系和攝像機坐標系
攝像機坐標系：Xc，Yc，Zc
其原點O位于攝像機的光心，Xc,Yc分別與圖像坐標系的x,y軸平行，Zc為攝像機的光軸，且與圖像平面相互垂直。光軸與圖像平面的交點為圖像坐標系的原點。
機器人坐標系：Xr,Yr,Zr
安裝在機器人上的立體視覺系統與機器人是固連的，根據以上坐標軸的定義，若以右攝像機的光心為攝像機坐標系的原點，則攝像機坐標系與機器人坐標系之間的轉換關系為
Xc=Xr+l;Yc=Yr+h;Zc=Zr(1)
其中，l為右攝像機光心與機器人坐標系原點（一般為機器人質心）之間的水平距離，h為右攝像機光心與機器人坐標系原點之間的垂直距離。轉換為齊次坐標轉換為
（2）
當需要將三維點的坐標由機器人坐標系轉化到世界坐標系中時，如圖3所示，需要機器人自定位功能提供機器人的位置與姿態信息，假設機器人的位置在世界坐標系中的三維坐標為（x0,y0,z0）,即機器人坐標系的原點。則機器人坐標系與世界坐標系之間的平移矩陣為T：
（4）
若以任務開始時機器人的位置與朝向定義為全局坐標系的原點，則機器人坐標系中的點P(Xr,Yr,Zr)到全局坐標系中對應點P’(Xw,Yw,Zw)的轉換如式如下：
具體的實現過程可以由圖3-13所示。其中圖3-13(a)為一對立體視覺圖像中右攝像機獲得的圖像。圖3-13(b)為根據立體匹配方法獲得視差圖。基于三角法，可以計算得到相對與攝像機坐標系的地形輪廓三維點云描述()CCCCPx,y,z，如圖3-13(c)中所示。其為攝像機前方扇形區域內的地形輪廓。根據式（3-13）可將()CCCCPx,y,z轉化為相對機器人的描述()RRRRPx,y,z。在此基礎上，可以為每個數據點確定其所屬的柵格。最后，根據式（6）計算柵格的高度，得到位于機器人前方扇形區域內的環境2.5D柵格地圖描述。環境的全局2.5D柵格地圖由機器人在各個不同的位置獲得的局部2.5D柵格地圖，依據自主定位獲得的機器人位姿信息拼接而成。環境局部2.5D柵格地圖與全局2.5D柵格地圖的數據轉換依據式（5）進行。
圖3-132.5D格柵地圖創建
3.3井下地形特征感知與描述
綜合查閱了關于非平整路面立體視覺重建的相關文獻，多名研究人員提到關于立體視覺匹配的不確定性對高程地圖創建的影響，這些不確定性主要來自標定誤差，匹配誤差與量化誤差，以及柵格地圖造成的信息損失帶來的誤差。特別的，在匹配誤差和標定誤差未知的情況下，重建誤差與場景離攝像機的距離有很大關系，文獻【161．Miura，J．，YNegishi，andYShirai．MobileRobotMapGenerationbyIntegratingOmni-directionalStereoandLaserRangeFinder．in1ROS,PP．250—255，2002．】指出，重建的高程誤差隨著離傳感器系統的距離成遞增趨勢。
經過研究與分析，劉提出盡管運動在非平整路面的移動機器人會由于顛簸會引起觀測當中的絕對高程不一致，但在一定范圍內的相對高程保持不變，且相對不確定度更小。重建后地形具有的這種性質稱為地形的相對不變形，而基于高程地形某鄰域內相對高程提取的環境特征稱為地形的相對不變特征。也就是說，這類地形特征不隨著車體顛簸而改變。雖然在車體顛簸過程中，感知到的同一地形的絕對高程時時在變，但一定范圍內的相對高程落差保持不變，地形具有這種相對不變性對于穩定地確定不可通行區域具有重要意義。
3.3.1地形起伏度的檢測
地形的起伏度是反映指定區域內某點鄰域內的高程偏離該鄰域平均高程的幅度，起伏度的計算可以通過計算該鄰域內方差的值來描述。以(xi,yi)為中心，△d為半徑的鄰域Φi,j內，高程方差可以由下列公式表達：
首先計算指定點鄰域內的高程均值，即：
3.3.2提取地形坡度
同一地形的起伏度具有相地面上某點的坡度表示地表面在該點傾斜程度的一個量，既有大小又有方向，是矢量。坡度矢量從數學上講，其模等于地表曲面函數在該點的切平面與水平面夾角的正切，其方向等于在該切平面上沿最大傾斜方向的某一矢量在水平面上的投影方向，即坡向。可證明：任一斜面的坡度等于它在該斜面上兩個互相垂直方向上的坡度分量的矢量和。在高程圖上，坡度反映了地形高程值在某個方向的變化率。GIS中，坡度的計算方法可歸納為五種：四塊法、空間矢量分析法、擬合平面法、擬合曲面法、直接解法。一般認為，擬合曲面法是求解坡度較好的方法。位置(i,j)處的坡度數值計算方法采用曲面擬合的數值解法，一般采用二次曲面。
3.4井下重要地形目標分類與描述
3.4.1階梯的識別
在井下的各種環境中也存在著階梯形式的地形——臺階，階梯地形的檢測也是非常重要的，在井下的通道內，自主導航機器人如果遇到階梯地形時，由于階梯數太多而將其識別為不可翻越的障礙時，可能會錯失一個較好的路徑，嚴重時（當只能通過臺階繼續前進時）會導致任務失敗，機器人停滯不前。
類似臺階的這類地形最為顯著的特征是具有一組相互平行的直線邊緣，因此最為直接的檢測方法就是邊緣檢測（提取出圖像中的直線特征）。由于井下環境與地面環境的不同，對臺階等類似地形的檢測也采用多傳感器融合的技術（立體視覺傳感器和熱外成像儀傳感器）。
由于視覺傳感器精度和范圍的限制，在機器人探索過程中，直接對遠距離景物進行直線特征的提取精確度不高，對臺階等檢測效果不明顯，但是可以預先進行對景物的紋理檢測。本文采用了Gabor濾波器作為檢測算法來檢測圖像中是否存在臺階等類似景物的疑似物，并確定其在圖像中的位置。
Gabor濾波器的設計需要確定其頻率參數和方向角。由于階梯型景物是一種具有平行直線的特殊地形和Gabor濾波器的自身性質可知，在存在階梯地形的區域，垂直方向上（90°）Gabor濾波器的產生的響應最強，相反在水平方向上（0°）濾波器的產生的響應最弱。根據這一特性，選用一系列不同的頻率對圖像（來自立體視覺的數據圖像）在水平和垂直方向濾波，得到Gabor濾波器的最佳頻率參數（使在水平方向上響應最弱，在垂直方向上響應最強），如圖4所示。
圖4（在8~36Hz不同頻率的響應，步長為4）
以確定頻率參數的Gabor濾波器就可以對遠距離景物實施紋理檢測。但是由于在井下環境中，可能存在于階梯類似的紋理（例如，采礦時留下的規則痕跡等），會對階梯的檢測產生干擾。
當機器人距離紋理檢測到的疑似階梯景物較近時，可以對其實施邊緣檢測，進一步確定是否是階梯。由于井下惡劣的環境，機器人照明系統等因素，往往得到的邊緣是模糊的，間斷的，有一簇彼此相互連接的點集組成。本文采用了Canny邊緣檢測方法，如圖5所示。其有三大優點：對弱邊緣也有較強的響應，能夠保證良好的定位和確保每個邊緣只檢測一次。基于以上準則的canny邊緣檢測算法如下：
1)圖像使用帶有指定標準差σ的高斯濾波器平滑，以減少噪聲；
4)最后，將連接的弱邊緣像素集成到強像素，實現邊緣連接。
在Canny算法的實現上同樣面對參數選擇的問題，這里要指定低閾值Tl、
高閾值T2以及高斯濾波器的標準差σ。其中，σ是一個尺度參數，指出在多大的距離內兩條平行邊緣將重合成一條邊緣。
（a）原始圖像（b）Canny邊緣檢測
圖5Canny邊緣檢測
在邊緣檢測的基礎上采用Hough變換，實施邊緣的提取，對邊緣連接。通過Canny邊緣檢測和Hough變換邊緣提取，進一步提高了對階梯的檢測精度。如圖6所示。
圖6Canny邊緣檢測和Hough變換邊緣提取
在井下環境中，紅外熱像儀在各種地形的檢測中發揮著不可或缺的作用。當井下環境中光照亮度不夠時或者視覺傳感器不能判別時，可以用紅外熱像儀傳感器采集到的圖像數據與視覺傳感器相融合，加強對地形的檢測。
圖7紅外熱像儀采集到的井下環境圖像
圖7為在井下環境中紅外熱像儀采集到的圖像。對此圖像采用紋理檢測和邊緣檢測，與視覺傳感器采集到的數據相互融合，增強了對井下階梯的檢測能力，為機器人尋找規劃最優路徑提供了前提。
3.4.2較大面積水面識別
在越野地形下，對于移動機器人自主導航來說，對積水的探測是一個重要的挑戰。對于水密性不好的機器人來說，穿越較深的水域會對機器人本體造成嚴重的后果，雖然DEEC_II機器人本體是基于IP67標準設計的，但由于機器人攜帶有如氣體傳感器等需要與空氣密切接觸的設備，因此過深的積水仍然會對機器人的功能造成無法挽回的損壞。
近年來，應用于移動機器人導航的水體檢測技術已經有了一定的研究基礎和初步的發展。在2003年，Matthiesetal.通過記錄與分析能夠影響水體屬性的環境變量，采用多種傳感器研究了在各種不同環境條件下的水體檢測[[i]]。Iqbaletal.最近也在使用傳感器和相關的算法進行探測水體的研究工作[[ii]]。多種不同的傳感器，包括被動式傳感器（視覺，短波紅外，熱紅外，偏振，遙感）[[iii]]和主動式傳感器（激光）在水體的檢測的研究中獲得了較為廣泛的應用。
能夠表現水體存在的特征有好多，例如水體的顏色，水體的紋理，水體的起伏和水體的紅外輻射能等等。根據單一的特征去檢測僅僅對某一特定的水體有效。例如，時空變化分析對從固定的平臺去檢測流動的水體是有效果的，但是靜止的水體效果不理想[[iv]]。也可以通過可見光相機采集的多種水體特征，通過信息融合的方法來檢測水體[[v]]，A.Rankin利用水體對天空或其他景物的反射等多種特征的融合用于于日間水體的檢測。Xie利用水體反射的偏振特性提出一種進行水體特征檢測的算法[[vi]]。上述研究人員所提取的水體特征，如天空反射、景物反射以及偏振特性等，多數是在日間條件下進行的，對于夜間水體檢測的研究目前未見有比較完善的方法，而Rankin提到，他們進一步將要主要解決的問題也是夜間水體檢測的問題。
煤礦井下環境常年不見日光，在災后絕大多數情況下井下都是處于斷電狀態，是不可能有外界照明的。因此，井下機器人對于水體的檢測只能依靠其自身照明系統或夜視系統來實現，水體對于來自機器人照明系統燈光的反射由于入射角度的原因與自然光或外部燈光照射下的情況有很大的不同。這里我們熱成像儀和視覺傳感器相結合的方式檢測井下水體。通過不同傳感器對水體特征的檢測確定疑似水體目標，接下來通過對這些特征數據的信息融合，篩選排除可能性較小的疑似水體目標，最終獲得真實水體的位置和大小為機器人的自主導航規劃路徑提供可靠信息。
采用熱成像儀對水體進行檢測
熱成像儀是一種用于檢測遠紅外熱輻射的傳感器，我們采用的FLIRPHOTON320熱像儀其檢測波長范圍為2-14μm。通過熱像儀可以有效地探測井下物體的紅外輻射信號，并將其轉換為可以能夠進行信息處理的圖像信號。
紅外成像技術實質上是一種波長轉換技術，即把紅外輻射分布轉換為可視圖像的技術。它將來自景物自身各部分紅外輻射的差異轉換為可見圖像的細節，最終形成一幅紅外熱圖。與場景的可見光圖像不同，場景的紅外輻射并不能由人眼直接觀測，而需要借助紅外探測器將紅外輻射轉換為某種可被顯示設備顯示的信號(如電壓、電流等)。紅外成像技術的實現設備被稱為紅外成像系統(熱像儀是其中典型的一種)，主要由光學系統、探測器、信號處理器和顯示設備等部件組成。
在井下環境中，礦石、軌道、支柱、機械、水體等等目標，由于在物質的內部，電子、原子、分子都在不斷的運動著，在有外界的刺激或干擾的情況下，電子、原子、分子會改變運動的狀態，就會發生能量的釋放——熱輻射。在絕對零度(-273℃)以上的物體都不同程度的輻射紅外能量。每種物質有其自己獨特的能量特征信息，因而不同物質對應的輻射能是不一樣的。利用這一區別，就可以檢測出井下環境中存在的水域，如圖8所示。
需要說明如何進行檢測，例如水的熱熔比比較高，以及蒸發等現象的存在，導致水體溫度往往地域周圍的溫度，這是檢測水體存在的一個重要特征。
圖8采用熱像儀檢測到水體圖像（灰度較深部分為水面）
視覺傳感器檢測水面
在自然環境中，水面一般是具有較高亮度(自然光或較高入射角的燈光環境)，弱紋理（基本無波紋和倒影）的區域。這一點在井下略有不同，機器人本體上攜帶的燈光相對來說入射角度低，亮度較強，由于水面的起伏度和粗糙度相對于水面周圍環境來說要小得多。因此，對于較低入射角來說，水面會由于鏡面反射的原因，其表面成像區域的亮度相對較低；而水面周五的土壤、石塊、路面等由于存在漫反射的原因，其平均亮度相對較高。另外，一般情況下，相對于水面附近的地面，機械，墻壁等其起伏程度、高程都較低，在非結構化路面條件下其高程差多數比較明顯。因此，利用立體視覺技術，將探測區域的亮度、紋理、起伏度和高程等多特征并進行合理的融合，可以獲得較為準確的井下水面檢測結果。
井下水面亮度特征的提取：
是否考慮使用K均值聚類的方法，這個需要衡量一下，另外，使用K均值聚類可以將多個因素，如亮度、紋理、高程等因素同時考慮實現分類。
聚類（Cluster）分析是由若干模式（Pattern）組成的，通常，模式是一個度量（Measurement）的向量，或者是多維空間中的一個點。聚類分析以相似性為基礎，在一個聚類中的模式之間比不在同一聚類中的模式之間具有更多的相似性。
由于井下環境相對于野外環境較為固定，為了更加準確的提取井下水面的亮度特征，采用了自適應的二值分割法。
首先，通過立體視覺傳感器采集到井下一般環境的（含水面）的多幅彩色圖像組成一個井下環境的圖庫。將采集到的彩色圖像轉換成灰度圖像，并用人工的方式將水面與其他周圍的景物分割開。從圖庫中統計出井下水面和周圍環境圖像的灰度值的范圍，確定這兩類環境的灰度值的中心值的范圍——經驗閾值。經過多次的實驗，調整確定經驗閾值，這樣在根據亮度檢測水體時，能夠格更加精確地分類。經過大量的井下實驗，水面灰度大致是180左右，周圍景物(非水面)的灰度大致是40左右。統計得到了水面和非水面的中心值后，把經驗閾值設為水面和非水面的中心值，然后就可以進行對井下環境聚類了。把要檢測的灰度圖中每一個像素點和中心值比較，根據最近鄰法把每個像素點都聚類，聚類完成后就得到了兩類；然后按照聚類的結果算出新的兩個類的中心點，重新進行聚類；這樣就可以不停的把要檢測的圖片中像素聚類，不斷更新得到兩類的中心點，可以預見中心點的變化將趨于穩定。當得到的兩個中心點前次和后次相當接近的時候，就停止運算(比如說前后兩次運算結果得到的中心點的值的比值大于0.999)。通過以上運算，就可以按照亮度把待檢測圖分割為兩個類——水面和其周圍環境。
基于亮度特征的井下水面檢測存在著其固有的問題，可能將其他高亮的物體（例如，光滑的單色物體，表面整齊的礦石等等）誤判為水體。
井下水面紋理特征的提取：
紋理，是對圖像的象素灰度級在空間上的分布模式的描述，反映物品的質地，如粗糙度、光滑性、顆粒度、隨機性和規范性等。對紋理簡單的理解可以是物體表面的平滑程度，一般來說，水面相對于周圍的環境，應該是比較光滑的弱紋理區域，所以通過尋找一幅圖片中的弱紋理區域可以提取出要檢測的水面。
描述一塊圖像區域的紋理有三種主要的方法，統計分析方法、結構分析方法和頻譜分析方法。統計方法有自相關函數、紋理邊緣、結構元素、灰度的空間共生概率(spatialgay-tonecooccurrenceprobabilities)、灰度行程和自回歸模型。統計方法將紋理描述為光滑、粗糙、粒狀等等。結構方法研究基元及其空間關系，基元一般定義為具有某種屬性而彼此相連的單元的集合，屬性包括灰度、連通區域的形狀、局部一致性等。空間關系包括基元的相鄰性、在一定角度范圍內的最近距離等等。根據基元間的空間聯系，紋理可以分為弱紋理或強紋理，進一步細分，可以根據基元的空間共生頻率來劃分，也可以根據單位面積內的邊緣數來區別，基元也可以定義為灰度行程。頻譜方法是根據傅立葉頻譜，根據峰值所占的能量比例將圖像分類。包括計算峰值處的面積、峰值處的相位、峰值與原點的距離平方、兩個峰值間的相角差等手段。
描述一幅水面圖片紋理的方法如下:算法開始時先設置大小為N×N的滑動窗口，按照從左向右，從上到下的順序滑動。每次滑動一個像素的距離，并計算窗口內的象素灰度的相似度(公式如下)；
Ti為窗口內像素灰度的相似度，可以認為這是對紋理的描述，窗口內灰度變化越大，則相似度越小，那么紋理就越強，反之紋理越弱，Xi為每個窗口內的各個像素灰度值，而X為窗口內像素灰度和的均值，N為窗口大小。在我們的實驗中，窗口的大小是根據經驗設置的，窗口不能太小，太小了反映不出具體的紋理特征，太大了會造成劃分太粗，通過大量的實驗，認為設置窗口大小N=9（沒有做過試驗，需要驗證）效果是最好的。通過以上計算，就得到一幅圖片中除去邊緣像素的每一個像素的紋理描述，進而得到一張圖片的紋理描述圖。提取水面紋理特征通過將水圖庫中的所有圖片進行處理，得到一個水面紋理庫，對這些水面和非水面的紋理統計，最終確定水面紋理值的范圍一般在5左右（有待試驗），而周圍紋理較強的景物的紋理相似度則一般在7以上，有相對明顯的區分度，我們可以利用這個統計結果來合理的設置初始值。通過聚類的方法能很容易就找到一幅圖片中的弱紋理區域，這就是要找的水面。
井下水面的高程相對周圍環境較小，可以明顯的將水面和周圍環境分類。
為了更為精確地檢測到井下水體，本文采用了多傳感器圖像融合技術，將不同傳感器（熱像儀，立體視覺）獲得同一景物不同特征的圖像相融合，克服了單一傳感器獲取的圖像在幾何、光譜、分辨率等方面存在的局限性和差異性，提高了檢測井下環境中水體的精度。
3.4.3泥濘區域的檢測
在自主導航的機器人活動的范圍內有各種各樣的地形（例如，平整的路面，雜物，泥濘的路面，水體等等），泥濘的路面檢測在機器人自主導航中是一個相對較新的領域，檢測算法還不夠成熟。但是在農業中，依靠估計土壤的水分含量（SMC）去檢測的技術已經發展幾十年了。土壤水分含量已經可以通過直接與土壤接觸的設備或者遙感傳感器測量。[[vii]][[viii]]測量SMC的遙感傳感器設備可以安裝在衛星上，可以安裝在無人機上，也可以安裝在車輛上。但是安裝在衛星和無人機上不適合移動機器人，因為從高空中遙感的土壤水分含量信息精度對地面自主導航機器人來說不夠高；而直接安裝在移動機器人平臺上時傳感器天線會很大，而且直接指向地面，這就要求移動機器人要已經活動在泥濘的區域才能檢測到，給機器人帶來潛在的危險。
泥濘路面的檢測對在井下工作的自主導航機器人也是一個具有十分重要挑戰。井下移動機器人如果在執行任務的時候陷入泥濘的區域，不但需要執行的任務不能順利的完成而且需要去對其救援。由于井下環境有其自身的特點：沒有陽光，沒有植物，沒有天氣因素的影響(溫度變化不明顯，無風，無冰雪等)，地質構成與地表不同等等，采用通常的檢測方法不能滿足井下泥濘地形的檢測。
本文中采用了多光譜傳感器和短波紅外傳感器相融合的方式檢測井下環境中泥濘的環境。
在遙感領域內，當采用近紅外光譜和紅色反射空間繪制光譜數據的時候，裸土的多光譜數據會落在一條線上面（簡稱為土壤線）。裸土在土壤線上的位置由土壤的水分含量決定。濕的土壤在土壤線的一端，干的土壤在土壤線的另一端。為了測量土壤的水分含量，采用了鄧肯科技的MS2100多光普傳感器，其光譜掃描范圍為400-1000nm。這種傳感器是基于顏色分離棱鏡和三個成像通道，通過一個共同的孔徑可以獲得四種光譜帶（紅色，綠色，藍色，近紅外），如圖9所示。
圖9紅色反射空間
通過安裝固定在機器人上的多光譜傳感器，采集到了2組實驗數據。一組數據為裸土和地面雜物；另一組為一條較長的路面。在這兩個測試地面上灑上一定的水，使地面變成泥濘的狀態。在圖10中顯示的是在第一種地形中的紅色和近紅外光譜。圖中也表示了紅光和近紅外光的反射率在像素表中的比率。紅色的小區域代表干燥的土壤，綠色的小區域代表泥濘的地方，而藍色的區域代表處于陰影中的干燥土壤。黃線是由最小二乘法得到的線條。從上面的實驗數據可知，土壤線現象能夠基于地面上的傳感器獲得，在對地面干燥與泥濘分類上有一定的效果。
圖10紅色和近紅外光譜
在圖10中顯示了使用多光譜帶去分離出泥濘的區域。圖10(a)（b）分別是在紅光譜下和近紅外光譜下對測試環境的采集圖像，通過采集到的圖像很容易對雜物，路面和地面中的泥濘區域分類。分類結果如圖10(c)(d)所示。
為了對井下泥濘路面的檢測結果更加準確，使機器人在路徑規劃中選擇最優的路徑，更好的完成人們給機器人下達的任務，本文中又采用另一種方法與多光譜分離方法相融合。
水對于短波紅外具有很強的吸收能力，因此泥濘的土壤也具有這樣的屬性。Lobell和Asner在2002年就已經用光譜儀和一個校準過的光源在實驗室中測量了四種含水量等級不同的土壤對短波輻射（400-2500nm）的反射能力。他們的報告中說，當用可見光反射，土壤水分含量在20%時就達到飽和，而用短波紅外在土壤水分含量50%時才達到飽和。他們得出的結論是短波紅外比近紅外更適測量土壤的水分含量。研究結果表明了隨著土壤水分含量的增加，在短波紅外帶上土壤的反射系數的拐點是在1450nm附近。這也證明了短波紅外適合檢測泥濘的路面。
在井下移動機器人上安裝了一個SU320M-1.7RT短波紅外傳感器也來檢測泥濘的井下路面。
圖11短波紅外傳感器和通用的攝像頭采集到的圖像對比
圖11顯示的是用短波紅外傳感器和通用的攝像頭采集到的圖像對比實驗。在圖11（下）中可以明顯的分辨出路面的干濕程度，用聚類的方法就可以將泥濘的區域分離出來。
通過以上兩種傳感器（多光譜傳感器和短波紅外傳感器）的相互融合，將大大提高對井下環境中泥濘路面的檢測精度，為井下移動機器人任務的順利完成又增加了一層安全保障。
4路徑規劃
DEEC是一臺具有輔助臂的履帶式機器人，它的主要特點是對非平整路面環境的適應能力較強，因此對它的運動控制不同于其他工作于室內結構環境或室外具有平坦路面環境的移動機器人。對于工作于平整路面的移動機器人來說，其路徑規劃的主要目標是從地圖中沒有被障礙物占據的自由空間集合中搜索可達規劃目標點的最優路徑。例如在傳統的柵格地圖中，只需要判斷柵格是否被障礙物占用，如果被占用則采取壁障的策略，假若存在無法避開的障礙物則會導致路徑規劃的失敗。而對于DEEC來說，除了考慮到其自身安全性因素而盡量選取無障礙物通道之外，還可以選擇通過對障礙物的翻越或攀爬在更大的空間內實現路徑的規劃任務，因此DEEC的路徑規劃需要一個具有高程信息的地圖來表達路面環境信息。
5結束語
本文從煤礦井下地圖創建的需求出發，采用雙目視覺方法創建井下2.5維柵格地圖，并對探測機器人路徑進行了規劃。
