新一代人工智能超深度學習（ Super  Deep  Learning  SDL）的創新發展歷程是：早在1991年到1993年，伴隨著大規集成電路極速發展的時期，大規集成電路的最小面積，最短配線長度，同時還要考慮電氣特性的多目的最佳化解的獲得，成為當時科學技術領域中最為關注的課題。在那個時代，由美國學界提出的導入“熵”的理論解決最佳化組合問題，這一理論一時也被世界期待。但是，這個算法同目前深度學習相仿，計算復雜度極高。即使一個最簡單的電路的計算，要花費若干天。面對被世界推崇的理論，我們大膽的提出了“模糊事件概率測度”理論，通過用模糊事件概率測度判斷組合結果的價值，獲得了可以快速進行大規模集成電路的最短配線長，最小面積以及電氣特性的多目的組合最佳化的解的方法。

　　其實，當今的深度學習中的“訓練”，由于神經網絡之間不像大規模集成電路具有模塊之間的連接關系，也不像圍棋具有規則，可以建立棋子之間的連接關系，作為不具有連接關系的神經網絡從組合理論看，就是需要窮舉法才可以獲得最佳訓練結果，黑箱問題的出現，其原因就是神經網絡的訓練沒有獲得最佳解所造成的。

　　1994年到1999年，由于已經知道傳統的神經網絡的致命問題，為了同當時的神經網絡對抗，我們創建了“概率尺度自組織”的無監督機器學習理論。在長期的聲音識別，手寫文字識別，圖像識別等模式識別領域中進行了大量的應用，證明了概率尺度自組織機器學習理論的特殊的應用效果。

　　2000年到2014年，國際上個人信息法的制定，成為社會關注的焦點。由于當時個人信息的67%是通過紙介質文檔流失的，為此我們在國際上提出了新的代碼符號信息記錄的方法，由此“具有隱形結構的第三代條碼網屏編碼誕生了，可以在A4的一張紙上埋入一本小說的信息倍受業界的關注。在這十幾年中針對Google眼鏡，我們還提出了，可以把任何圖像直接通過概率尺度自組織的機器學習的手法，變換成不到十個字節的1036的代碼，就可以把任何圖像作為網絡入口，引導從網絡上下載各種文件，即ITC（Image To Code）理論，顛覆了當今流行的AR技術。在這期間，我們還提出了“可以統一歐幾里德空間與概率空間的距離公式。

　　2014年到2016年我們將概率尺度自組織同神經網絡理論結合，提出了分散機器學習的”超深度學習“理論，為人工智能的全面普及應用給予了理論支持。我們是經歷過上一個人工智能的研究的人，對于當今火熱的AI熱潮，親身感到上一個人工智能的特點是知識庫，其突出的成果是日本成功的實現了有軌電車的自動駕駛，由此在控制理論上產生了模糊控制的新理論。本次人工智能的特點就是機器學習，相信本次人工智能高潮的代表性成果一定是自動駕駛汽車。因為機器學習可以把人的知識以概率分布的形式進行記述，大大的簡化了知識庫的形式，面對復雜的自動駕駛汽車，機器學習可以將人的知識變成機器的智慧，使復雜的控制簡化。知識庫只能記述宏觀知識，機器學習在自動駕駛汽車中不僅可以高效率的學習人的宏觀知識，還可以學習微觀知識，一個以機器學習理論為核心的“機智獲得”的新的自動控制理論將展現在我們面前。

　　下面我們重點討論深度學習所遺留下的問題所在：

　　2016年初，AlphaGo連續打敗人類棋手，推崇深度學習的熱不斷的升溫。這說明，深度學習是在實際應用中被看好的，應該肯定走機器學習這條路是時代發展的必由之路，必然會給我們帶來意想不到的應用效果，但是，也應該清醒的看到深度學習目前有很多關鍵問題不能解決。雖然深度學習在圖像識別，聲音識別上確實具有一定的應用效果，但是，在產業界的應用，特別是在控制上的應用還存在著很大的問題。

　　必須要指出的是：深度學習的訓練結果，是將目標函數信息通過訓練承載到海量的屬于歐幾里德空間的參數上，即深度學習是函數映射模型，將概率空間的目標函數映射到歐幾里得空間，其結果需要將概率空間的某一類數據的所有可能出現的結果，用人工標注后進行接近無限次的訓練。例如，一個語音識別的數據就需要2400萬美元的人工標注費用，這是深度學習難于普及的致命問題。

　　由于深度學習所構造的神經網絡，與大腦的機理又是風馬牛不相干的，因此也不能看到在神經元的方面會起到什么作用。得到的結論是：通過這樣的方式所產生的訓練效果，與所投入的硬件開銷不成比例。例如AlphaGo所需要的硬件開銷是1000個CPU，200個GPU，還需要20萬W的電力消耗。這樣的硬件開銷如何普及？況且AlphaGo的設計者也指出深度學習在整個系統中的作用只占30％是次要地位。其實深度學習在如AlphaGo這種組合理論的應用中，是否可以起到作用，目前沒有令人信服的理論依據。

　　圖1 深度學習需要搞清的幾個問題

　　深度學習還有需要搞清如圖1所示的目前解釋不了的問題。

　　首先需要搞清為什么層數越多訓練結果的圖像越清晰？開始我們曾認為是承載目標函數的信息的參數數量的提高使記錄的信息的信息量的提高，但是從數學上我們可以證明在同等節點的層與層的訓練中，必定可以找到一組參數可使輸入信息完全等于輸出信息。這就說明深度學習的層數越多圖像越清晰與訓練的參數數量無關，這就剩下一個可以信服的原因，深度學習每一層所訓練的結果實際獲得的是一組局域最佳解，神經網絡可以用一個傳遞的函數模型來描述，可以認為每一層訓練后的解是比上一層更接近整體最佳解，所以參數越接近整體最佳解神經網絡的傳輸率越高圖像就越清晰。因此用這個現象來解釋深度學習中間層越多應用效果越好不是一個嚴謹的科學性的解釋方法。所以包括發明人Hinton在內并沒有人能在數學上證明深度學習具有突破性應用效果的真實機理。

　　那么，深度學習的黑箱問題是怎么回事？這里所謂的黑箱問題是涉及兩個方面的問題？一個是深度學習的不可分析性，出現問題不能依據一定的理論進行分析，這是因為深度學習屬于函數映射模型，映射結果很難反向推理。對于深度學習模型的原理實際上是很清楚的，至于人們把“深度學習”的應用效果好的機理作為“天知”，我們在后面會專題討論。

　　深度學習出現黑箱問題的主要原因：其實深度學習所訓練的機理就是在一個海量的數據空間里進行組合，黑箱問題就在于在海量數據空間里進行窮舉時，會出現無窮的局域最佳解，其局域最佳解的分布曲線通過數學方法無法計算出，人為的實驗也是目前圖靈機所做不到的，因此在訓練中很可能會出現一個參數稍微改變輸出結果會突然崩潰，或者是所訓練的結果并不是按照我們想象的結果進行展開。在組合空間中所獲得的局域最佳解出現在某一個情況下突然出現令人費解的狀態是正常的，我們在通過規則解決最佳組合的NP問題中經常會出這種現象，往往是通過程序的規則的不斷堆積來實現，對于深度學習要通過重新改變參數，尋求另一個局域最佳解的方法來解決。所以只要是知道深度學習的訓練是數據最佳化組合的過程的特點，就不難理解深度學習的黑箱問題。特別是作為概率空間的目標函數的隨機性會引發黑箱問題的發生。再有就是在“深度學習”的層與層之間節點的連接中，為了獲得非線性的分類結果，導入了激勵函數(Activation Function)。這也是引發黑箱問題發生的重要隱患。

　　下面的問題就是在模式識別的應用上，是特征向量的質量重要，還是通過學習進行分類重要？回答很簡單沒有好的特征向量的質量再好的深度學習也是無濟于事的，在許多文章中都把深度學習可以直接抽取特征量作為深度學習的一大特點。其實深度學習在特征映射的方法上簡直是極其傳統的處理方法，而且并沒有考慮圖像信息并不只是灰度信息，所以深度學習在模式識別上的應用特點只能停留在大量的學習的作用上，下一代的機器學習模型在特征向量抽取質量上努力，也一定會產生更好的突出效果。

　　最后需要搞清的一個重要問題：深度學習的應用效果好的機理是什么？為使我們所提出的模型可以超越“深度學習”，我們對“深度學習”的應用效果好的機理做了一些研究，發現將目標函數映射到大數據集上后，數據分類中的有效距離被擴大了，比如人臉識別，被認為是導入深度學習后應用效果最明顯的案例，人臉的位置的特征信息充其量不過幾百個，傳統的模式識別的效果所以不如深度學習，這是因為兩個最接近的特征向量的總體距離與概率分布的范圍之間的差是固定的，但是如果把人臉位置圖像信息通過深度學習的函數映射，大數據集可以“放大”幾百個人臉位置特征向量所構成的距離，由于“深度學習”模型每增加一個中間層，復雜度為Ｏ（ｎｎ）就是一個指數性的提高，所以數據集的規模不可能無限增加，因此我們所提出的的新的模型的復雜度Ｏ（ｎ2）如果是接近線性的，就一定可以實現超越深度學習的數據集規模的特征數據集，就一定可以在應用上超越“深度學習”的效果。

　　在“深度學習”被神化的高潮中，欺騙了絕大多數業界的專家們的一個問題是：深度學習所采用如圖2所示的對損失函數的SGD評價方法，所得到的的訓練結果是組合理論中的一個局域的最佳解，這一點深度學習的研究者在當時并不理解，其實這么一個高次的組合空間不可能只有一個局域的最佳解。

　　圖2 隨機梯度下降法SDG示意圖

　　其實如圖3所示，深度學習的訓練存在著復數個局域最佳解的事實，20多年前已經被一些例如Hopfild等的早期人工智能科學家所認識，力圖用組合理論的最短路徑訪問的方法進行神經網絡的訓練，

　　圖3 Hopfild的聯想記憶與最佳組合理論示意圖

　　遺憾的是神經網絡的組合空間規模之大，屬于圖靈機不可解的NP問題，所以這些科學家的努力沒能成功，可是清楚的告訴我們后人傳統的神經網絡是走不下去的。

　　針對深度學習存在的上述問題，超深度學習一舉將深度學習所存在的所有問題全部給予解決。超深度學習的數學基礎就是公式1所示的一個基于概率尺度的自組織的機器學習算法。

　　公式1

　　這里，給定一個屬于集合G的一組隨機分布的數值pi (i=1,2,…,m)，某一集合Gn-1中必然存在一個最大概率值An-1，以及可以標定最大概率空間的尺度Mn-1，如果把最大概率空間看成是新的一集合Gn，就可以通過迭代，獲得最終可以超越統計學公式化的解，為了區別于傳統的統計學的結果，我們可以把An-1稱為最大幾率值，把Mn-1，稱為最大幾率空間的尺度。這就是概率尺度自組織的模型。

　　概率尺度自組織在圖像識別中，可以從一個小區域的若干個像素灰度值通過概率尺度自組織得到一個最大幾率值，用于表達該區域的圖像特征。概率尺度自組織還具有遷移特性，可以自律的朝著大概率的方向遷移，當圖像移位時可以自動的遷移，這是傳統模式識別所做不到的。

　　圖4是概率尺度自組織具有向大概率方向遷移的特性。 如圖4所示，概率尺度自組織在給定的任何地方，只要是初步滿足一定條件，通過迭代就可以自律的朝著大概率的方向遷移，中間遇到小概率的擾動，也可以跨越小概率的阻擋最終落在大概率的位置上。

　　圖4 概率尺度自組織具有向大概率方向遷移的特性示意圖

　　在自動駕駛的車道線識別與障礙物的3D識別的應用中，還可以驗證概率尺度自組織可以無訓練的將圖像中最大概率分布的目標圖像直接識別出，還可以按照圖像中的各個最大概率的分布狀態進行特征抽出，可以得到結構化的特征信息抽出結果，從而實現圖像理解的識別效果。

　　例如圖5所示進行人臉識別時可以自動的尋找到概率分布最集中的人的臉部。傳統的摸著石頭過河的程序搜索方法存在一個嚴重的問題是需要對人臉膚色的事先定義，這樣不同膚色在程序規則上就要調整，需要大量的程序進行規則堆積，嚴重影響人臉識別精度的提高，采用概率尺度自組織按照人臉圖像的顏色分布，在整個圖像中是最大的概率，可以直接通過概率尺度自組織的遷移特性直接獲得人臉位置。

　　圖5 用概率尺度自組織的遷移特性獲得人臉位置示意圖

　　概率尺度自組織的遷移軌跡，以及最終的結果需要嚴格的對應數據空間，用一維的概率尺度衡量二維空間的數據就會產生錯誤的結果。另外概率尺度自組織的解也符合最佳化解的特性，遷移路徑與結果具有一定的邊界條件。

　　在模式識別中需要計算樣本數據與學習后登錄數據之間的距離，我們在實際大量應用中所接觸的數據證明概率空間一定是存在于歐幾里得空間的，也就是說在歐幾里德空間存在著無數個概率空間，因此如何找到一個跨越歐幾里得空間與概率空間的距離是提高模式識別的關鍵。這里我們提出了公式2的概率空間的距離的定義方法，設與是兩個集合的要素，與分別是集合要素與的復數個學習數據，通過多次的概率尺度自組織機器學習所得到的最大幾率空間的尺度，則從的概率空間到（j=1,2,…,n）的概率空間的跨越歐幾里得空間與概率空間的距離G可定義如下：

　　公式2

　　公式2雖然是定義出來的，但是可以嚴格證明其正確性，因為概率空間是測度等于1的空間，在概率空間中的距離誤差是概率密度，也可以證明最大幾率空間尺度就是概率密度的近似值。

　　下面具體介紹超深度學習的架構，超深度學習與普通的深度學習最大的不同是，傳統的深度學習是通過層與層之間的復雜連接關系產生海量數據，這種人為的將問題復雜化恐怕是典型學界的做法，這種做法可以引起眾多的學者們的興趣，是起到推動人工智能在理論上的完善必不可少的過程，幾乎科學技術的發展都需要這個過程，當發展到一定程度時，必定有人出來從另一條路出發將多年積累的理論顛覆，產生可以實際應用的新理論。人工智能也一定要走這一道路。超深度學習就是拋磚引玉引發新一代人工智能創出的理論之一，同深度學習不同的是超深度學習是概率模型，可直接對數據進行概率尺度自組織機器學習，可以定量的對輸入的隨機分布信息進行分析，對數據進行分類，沉淀深層信息，最終產生定量化的識別與分類，使傳統的系統只有通過實際數據的驗證才可以知道識別精度與數據分類精度，成為識別結果的精度可計算性的系統，從而使模式識別與數據分類進入一個嶄新的時代。

　　超深度學習始終基于最大概率尺度的自組織，所以是一個新的無監督學習模型，無需海量數據來承載目標函數的信息，是對具有隨機特性的輸入數據的直接學習，可以產生非常高效率的處理效果，無需巨大的硬件支持，一個最低的硬件配置就完全可以實現各種的人工智能的應用，可做到的最佳分類，最佳的模式識別處理結果。

　　圖6 超深度學習架構示意圖

　　超深度學習如圖6所示；超深度學習的每一個功能單元是由輸入層，腦神經層，以及腦皮層組成的新型神經網絡。在輸入層與腦神經層之間的節點與節點之間直接連接著大量的概率尺度的自組織機器學習，構成了分散機器學習處理系統。

　　在超深度學習的神經網絡的層數是與大腦一致，在圖像識別時，提取的是圖像最大概率的特征值，判斷每一個特征值是否屬于某個已登陸的特征向量，是以最大幾率空間的尺度為依據，相當于最大幾率空間的尺度是一個神經元的閥值，所對應的腦神經層的節點就產生一個腦神經信號輸入到腦皮層，以最大幾率空間的尺度為基準值刺激腦皮層，腦皮層被刺激的信號越多越興奮，依據腦皮層的興奮程度決定是否為目標函數信息，這豈不是與大腦的機理非常接近嗎？最大幾率空間的尺度就相當于腦神經的閥值，并不是深度學習中人為定義的參數，因此大腦機理應該建立在概率空間的模型上，通過超深度學習的架構終于搞清楚了，這也是通過算法仿真生物神經的機理的一個重要的成果。

　　圖7 在如何深入上超深度學習與深度學習的比較

　　下面讀者會問超深度學習只有三層如何深入，當今的潮流是大模型，大數據，大硬件構成的大系統是主流。如圖7所示；深度學習是靠大量的增加層數，由于復雜度是指數性的，其結果使系統很快就超負荷了。超深度學習是按照導入解決復雜系統問題的空間映射原理，可以把任何的復雜系統的目標函數映射到任意多的子空間，針對每一個子空間的目標函數的信息用增加輸入層的節點的方法進行深入，這使超深度學習可以把目標函數的處理無限的深入下去，卻不增加系統的復雜度Ｏ（ｎ２）。利用這個特點可以無限的增加特征數據集的規模，深度學習的數據集只能幾百萬個，而超深度學習可以達到數萬以至數億個以上，隨著系統應用的需要可以無限的增加機器學習的數量，可以預測今后的人工智能系統用的能力指標將以有多少個機器學習來計算。50年來的計算機由簡單的門電路組成發展至今原理沒有任何變化，使用的門電路的規模卻發生了巨大的變化，計算機的性能也出現了驚人的提高，相信未來的人工智能系統由眾多的機器學習組成的，其能力不管如何過高的估計也不會過分。

　　再有在目標函數概率分布模型的優勢上，通過小數據的訓練可以獲得目標函數的概率分布，可以相當于無窮的函數映射的效果。這也是深度學習所望塵莫及的。由于超深度學習可以構造比深度學習還大規模的分散機器學習模型，可以通過小數據的訓練獲得超過深度學習的還要大規模的特征數據集，以及無限多的機器學習所構成的大的分散處理硬件系統，因此超深度學習更加適應時代潮流。

　　將任意一個圖像通過手機拍照后，通過超深度學習變換成一個

　　1036的代碼，導入了超深度學習無需通過噴印標記的方式構成光學可讀性二維碼，而是靠圖像的灰度的自然分布，自組織成一個二維碼，也就是說可以通過手機拍攝商品標識，直接生成一個可以連接網絡的二維碼，讓全世界的商品一夜之間就可連接網絡。

　　超深度學習的實際應用的例子之一是如圖8所示；

　　圖8超深度學習實現圖像變換代碼的例子

　　超深度學習的圖像直接生成代碼，是對市場流行的開源程序AR圖像識別技術的顛覆，AR技術是通過傳統的圖像輪廓識別，產生一個將近10兆字節識別結果的文件，由于識別結果所占用的容量，遠比圖像本身的容量要大，所以一般識別引擎是放到網絡服務器上，用手機將被識別的圖像送到網上，網絡服務器識別圖像后將網絡下載的結果送回手機，這樣的應用如果網絡環境差，就得不到很好的用戶體驗。超深度學習克服了由于手機在不同情況下拍攝的圖像所產生的非常大的隨機分布信息，通過概率尺度的自組織變換成一個穩定的代碼，這個代碼不到十個字節，可以把識別引擎放到手機上做在線圖像變換代碼的應用。

　　超深度學習與深度學習在機理上的比較表1.

　　超深度學習與普通的深度學習的對比如表１所示;首先從方法上進行比較：

　　深度學習是在歐幾里得空間里訓練出海量的參數，用海量的參數承載目標函數的信息，超深度學習是直接針對輸入的隨機分布數據進行概率空間的自組織機器學習，將隨機分布的數據進行去偽存真的處理，得出定量的并且穩定的最大概率的解，以及可以提煉出深層的信息。

　　在前面已經討論了，深度學習是將目標函數映射到數據集的模型，因此面對具有隨機特性的數據，需要數百萬次的訓練，需要付出巨大的數據標注費用。超深度學習是概率模型，通過概率分布信息可以將小數據的訓練生成具有無限映射效果的概率分布。

　　在計算復雜度上兩種模型具有截然不同的區別，因此在硬件開銷上差距很大，在相同硬件環境下，超深度學習具有超越深度學習的應用效果是不可置疑的。

　　深度學習是把概率空間的數據映射到歐幾里得空間的，所以要對概率空間的隨機數據進行全部的訓練，致使應用成本巨大不易普及。

　　特別是深度學習的應用效果是靠數據集的規模所產生的，超深度學習不僅在概率模型上優于深度學習，在特征集的規模上同樣可以超越深度學習的數據規模，因此超深度學習在應用效果上超越深度學習是名副其實的。

　　超深度學習與深度學習在應用效果上的比較表2.

　　如表2所示；在神經網絡的結構上深度學習是數十層乃至數百層，這樣就使問題的復雜度急劇擴大，造成組合的空間無窮的大，導致不可能得到最佳組合的解，因此出現黑箱問題等，超深度學習同大腦的構造近似，只有輸入層，腦神經層，以及腦皮層三層，而且數學模型很接近大腦的機理，證明超深度學習符合大腦的機理。

　　再有，在模型能力擴大的方法上深度學習是靠增加隱藏層的數量來實現的！超深度學習是靠增加輸入層的節點的個數，通過將復雜系統空間的映射，把目標函數變換成若干子空間，并把子空間的特征分量對應輸入層的各個節點，通過擴大節點的個數達到深入學習的目的。

　　下面準備介紹一下我和我的團隊正在進行的超深度學習視覺芯片的開發情況。

　　圖9是超深度學習視覺芯片的構成，這個項目是同由日立，NEC以及三菱電機，三個公司的半導體事業部剝離組建的日本最大的芯片公司RENESAS公司聯合開發的，采用硬件加軟件的形式。對于非常占用處理時間的顏色變換，以及為盡可能獲取圖像的本來信息，針對圖像的空間映射等采用硬件處理，算法用軟件處理。超深度學習獨特的兩種對抗學習以及無監督學習的算法均在這一款芯片里搭載，因此，可以使這一芯片在圖像感知方面做到傳統的算法無可比擬的天衣無縫的精度與應用效果。

　　圖9超深度學習視覺芯片的構成

　　我們的超深度學習的研發戰略是，首先從算法上布局，既然已經證實，導入超深度學習可以顛覆傳統的統計學的兩大參數，那么與這兩大參數有關的相關分析，回歸分析等等大量的統計學的數學模型，將成為超深度學習的重要架構，這些成果可以分別通過論文的形式發表。同時將深度學習理論作為一個鏡子，逐一的將深度學習的一些特殊的算法在超深度學習上實現，在應用上從圖像感知，語音感知到預測推論等的應用可視化，在推廣上從提供SDK程序，SDL應用電路板，SDL芯片以及開源平臺，聯合開發等等分別進行，我們是原創單位因此不同我們的用戶競爭，我們的角色是技術提供與服務，以及基礎性開發，因此不獨立的進行具體項目的開發，可以為從事AI事業的創業公司進行技術合作以及技術入股。

　　作為我們奉獻社會的超深度學習，由于不是通過組合方式訓練海量的參數的，是直接對隨機分量的數據進行概率自組織的學習，因此不存在黑箱問題。而且，最大的特點是硬件要求門檻極低，普通一個芯片，任何一個移動終端都可以立即應用。超深度學習的基礎理論概念清楚，算法簡單易懂，是可以大量普及的一個為大眾服務的AI算法。人工智能是國家戰略，自動駕駛汽車是反映人工智能的國家水平的標準。為了證明超深度學習的能力，我們在社會的廣泛支持下，正在自動駕駛汽車的開發上驗證超深度學習的應用效果。目前所有的自動駕駛研發團隊，都因為控制過于復雜沒有現成的人工智能模型的支持，而處于停滯不前的現狀。我們寄托超深度學習可以沖破自動駕駛的難關，使L4級別的自動駕駛不再是偽命題。

　　我是中國人，我愿意將我發明的超深度學習在中國產業化，為中國及世界的人工智能發展服務。我現在是中國軟件行業協會嵌入式系統分會和中國嵌入式系統產業聯盟的理事、擔任著中國嵌入式系統產業聯盟新一代人工智能專業委員會主任職務。為促進超深度學習在中國的產業化，我已將超深度學習的宣傳和產業化的代理授權給中國嵌入式系統產業聯盟的負責人。希望通過中國嵌入式系統產業聯盟的積極組織，加快進行超深度學習的產業化工作。我衷心的希望國家有關部門和相關的企事業單位大力支持超深度學習的產業化。歡迎從事人工智能的研究和應用的單位及專家、學者、技術人員加入到超深度學習的研究與推廣隊伍中來，共同為早日實現超深度學習的產業化做努力！