先進輔助駕駛系統(ADAS)可滿足汽車駕駛人及乘客對道路安全及出行體驗的更高要求。 諸如車道偏離警告、自動剎車及停車輔助等系統,已廣泛應用于當前的車型,甚至是功能更為強大的車道保持、塞車輔助及自適應巡航控制等系統的配套使用,也讓全自動駕駛車輛逐漸成為現實。
目前很多ADAS系統是以機器視覺作為核心。 傳統上,機器視覺是以信號處理技術來檢測識別物體,但汽車制造業一直在尋求讓響應速度更快、識別準確度更高的方法。 對于正熱衷于進一步提高拓展 ADAS功能的汽車制造業而言,深度學習神經網絡開辟了令人興奮的研究途徑。
以知名品牌為首的汽車制造業正在此技術上進行投資,并向高科技企業及學術界看齊。 在中國,百度一直在此技術上保持領先。 百度計劃在2019年將全自動汽車投入商用,并加大全自動汽車的批量生產力度,使其在2021年可廣泛投入使用。
神經網絡輕量化 滿足嵌入式應用需求
汽車制造業及技術領軍者之間的密切合作是嵌入式系統神經網絡發展的催化劑。 這類神經網絡需要滿足汽車應用環境對系統大小、成本及功耗的要求。
卷積式神經網絡(CNN)的應用可分為三個階段:訓練、轉化及執行。 要想獲得一個高性價比、適合多種車輛使用的CNN,必須在每階段使用最為有利的系統。
在訓練階段,目前業界大多是采用脫機的方式進行。 基于CPU的系統、圖形處理器(GPU)或現場可編程門陣列(FPGA)具有強大的運算能力,且使用的是設計人員熟悉的開發環境,是用來訓練CNN的最理想的系統平臺。
在訓練階段,開發商利用諸如Caffe等框架,對CNN進行訓練及優化。 參考圖像數據庫則用來確定神經網絡的最佳權重。 訓練結束后,開發商可采用傳統方法,在CPU、GPU或FPGA上生成網絡及原型,尤其是執行浮點運算,以確保最高的精確度。
對車載環境來說,使用CPU、GPU或FPGA來執行CNN有一些明顯的缺點。 這種實作方法的運算效率還有改進空間,成本偏高也使其無法在大量量產的系統中使用。
CEVA已經推出了另一種解決方案。 這種解決方案可降低浮點運算的工作負荷,并在汽車應用可接受的功耗水平上實現實時處理。 全自動駕駛對于運算性能有非常嚴格的要求,開發商必須想出一套能改善某些關鍵功能的策略,才能讓CNN在汽車領域被廣泛運用。
CEVA提出的策略是利用被稱為CDNN的框架,對現有的網絡生成策略進行改進。 透過CDNN框架,在高功耗浮點計算平臺(利用諸如Caffe的傳統網絡生成器)上開發的受訓網絡結構和權重,可以被轉化為基于定點運算,結構緊湊的訂制網絡模型。
經過這層轉換后的網絡模型,可以在經過優化的成像和視覺DSP芯片上運行。 由于功耗需求大幅降低,使得CNN網絡模型可以應用在嵌入式平臺上。 圖1是輕量化嵌入式神經網絡的生成過程。 與原本的CNN相比,這種技術可將高性能神經網絡移植到功率預算較低的車用環境,而且圖像識別的精確度降低不到1%。
圖1 CDNN將通過傳統方法生成的網絡權重轉化為一個定點網絡
一個由低功耗嵌入式平臺運行,輸入大小為224×224、卷積過濾器分別為11×11、5×5及3×3的24層卷積神經網絡,其性能表現幾乎是一個在典型的GPU/CPU綜合處理引擎上運行的類似CNN的三倍,但其所需的內存帶寬只是后者的五分之一,且功耗大幅降低。
次世代深度學習神經網絡百家爭鳴
汽車制造業進入神經網絡領域所習得的經驗不斷推動技術的發展,并因此開發出了更先進的網絡架構及更復雜的拓撲,如每級多層拓撲、多入/多出及全卷積網絡。 新推出的重要網絡類型不僅可用來識別物體,也可用來識別場景,從而支持汽車應用(如自動駕駛功能)所需的圖像分割。
技術公司是這些新一代網絡和架構發展的核心。 CNN網絡生成器功能的改良,也為新的網絡架構和拓撲提供必要的支持,如SegNet及GoogLeNet與ResNet等其它網絡結構以及高級網絡層(圖2)。 此外,一鍵啟用也讓預訓網絡轉換成優化的實時網絡執行更為便捷。 為確保能支持常用的網絡生成器,CDNN框架與Caffe和TensorFlow(Google的機器學習軟件庫)都有合作。
圖2 網絡生成器的發展為新網絡層及更深的架構提供了支持
由于最新推出的嵌入式處理平臺在可擴展性及靈活性上都有了很大改進,因此嵌入式CNN也可以從處理平臺的進步中同步進化。 由于深度學習領域的發展越來越多樣化,因此開發者必須采用一個極為靈活的架構來發展CNN,不僅要滿足當今處理需求,也必須具備因應未來演變的能力。
神經網絡即將進駐量產車款 視覺處理為首波應用
第一批神經網絡應用將專注于視覺處理,以支持諸如自動行人、交通信號或道路特征識別等功能。 由于這些系統的性能不斷改進,例如處理越來越大的來自高分辨率相機的數據集,因此神經網絡也有望在未來的汽車中發揮更大的作用。 這些作用將包括承擔系統中其它復雜的信號處理任務,例如雷達模塊及語音識別系統。
某些車廠將在201~2020年款的新車中搭載使用神經網絡的自動駕駛系統,未來車廠對同時兼具安全性及可靠性的系統需求會越來越大。 中國政府計劃在2021~2025年推出自動駕駛車輛。 要讓此類系統具備可讓客戶使用的條件,汽車制造商必須同時確保其符合相關的安全標準,如ISO 26262功能安全性。 這需要硬件、軟件及系統的綜合發展。
由于這些系統變得越來越復雜,因此確保系統可靠安全且能滿足處理需求也成為汽車制造商所面臨的越來越大的挑戰。
機器學習神經網絡將沿一條挑戰高效處理性能的發展道路繼續闊步前進。 先進的神經網絡架構已經顯現出優于人類的識別精確性。 用于生成網絡的最新框架,如 CDNN2,正在推動輕量化、低功耗嵌入式神經網絡的發展。 這種神經網絡將使先進輔助駕駛系統具有較高的精確性與實時處理能力。
深度學習神經網絡在量產車輛上的首次使用將限于基本的視覺識別系統,但最終會在未來為自動化程度越來越高的車輛提供支持,幫助其應對眾多的復雜信號處理挑戰。