近兩年，區(qū)塊鏈概念成為全社會(huì)的熱點(diǎn)話題，但大部分人更多關(guān)注的是比特幣、以太坊等加密數(shù)字貨幣，忽視了區(qū)塊鏈技術(shù)本身。而區(qū)塊鏈技術(shù)，離不開(kāi)數(shù)學(xué)。

　　12月17日-18日，區(qū)塊鏈數(shù)學(xué)科學(xué)會(huì)議在北京召開(kāi)。本次會(huì)議為數(shù)學(xué)家、密碼學(xué)家、計(jì)算機(jī)學(xué)家、經(jīng)濟(jì)學(xué)家等各領(lǐng)域?qū)＜姨峁┮粋€(gè)學(xué)術(shù)交流平臺(tái)，希望在初期階段，專注于探索拆解現(xiàn)有的區(qū)塊鏈數(shù)學(xué)的范式，組合區(qū)塊鏈技術(shù)的數(shù)學(xué)工具，并且通過(guò)類比、分析、歸納等方式，提出“區(qū)塊鏈數(shù)學(xué)猜想”。

　　計(jì)算科學(xué)家、中科院院士張鈸在題為“走向可解釋與魯棒的人工智能”的演講中表示：

　　“當(dāng)前人工智能方法存在局限性，只能在具有充分知識(shí)或數(shù)據(jù)、穩(wěn)定性、完全信息、靜態(tài)、特定領(lǐng)域與單任務(wù)的場(chǎng)景下適用。數(shù)據(jù)驅(qū)動(dòng)的本質(zhì)缺陷在于只能學(xué)習(xí)重復(fù)出現(xiàn)的片段，不能學(xué)習(xí)具有語(yǔ)義的特征。因此，后深度學(xué)習(xí)時(shí)代將知識(shí)驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)結(jié)合，走向真正的人工智能。”

　　大家好，我今天演講的主題是“走向可解釋與魯棒的人工智能”。我非常的贊成需要不同學(xué)科的碰撞，才能產(chǎn)生新的成果。1956年，人工智能（Artificial Intelligence）誕生于美國(guó)，被定義為“研究與設(shè)計(jì)智能體（Intelligent Agents）”。

　　這個(gè)定義中，用了研究和設(shè)計(jì)兩個(gè)詞來(lái)形容這個(gè)領(lǐng)域，就說(shuō)明這個(gè)領(lǐng)域既是科學(xué)也是工程。所以，人工智能不僅要關(guān)注科學(xué)的部分，也要關(guān)注技術(shù)和應(yīng)用的部分。另外就是智能體，或被稱為“智能機(jī)器”，智能機(jī)器指的是能夠感知環(huán)境，經(jīng)思考后采取行動(dòng)使成功機(jī)會(huì)最大化的系統(tǒng)。但是人工智能很難說(shuō)是一個(gè)機(jī)器，也很難說(shuō)它是一個(gè)系統(tǒng)，所以特別發(fā)明了一個(gè)詞叫Agent，我這里的翻譯是叫做智能體。

　　人工智能就做三件事：感知、思考決策和動(dòng)作。第一件事兒就是要模擬人類的理性行為，就是中間那部分，內(nèi)容理性行為，我們要用計(jì)算機(jī)來(lái)模擬它。另外就是感性、感知，聽(tīng)覺(jué)、視覺(jué)等等，最后是動(dòng)作。

　　人工智能的現(xiàn)狀和符號(hào)模型

　　我們可以把人工智能分成兩個(gè)階段：1956年至2000年，傳統(tǒng)AI的階段；2000年至2015年，深度學(xué)習(xí)的階段。

　　首先在人工智能建立初始，就對(duì)人類的智能行為提出一個(gè)模型，這個(gè)模型叫做基于知識(shí)和經(jīng)驗(yàn)的物理符號(hào)推理模型。也就是說(shuō)，當(dāng)時(shí)認(rèn)為人類的說(shuō)話認(rèn)知包括了感性和理性都可以用這個(gè)模型來(lái)模擬，目前看來(lái)事實(shí)證明，這種模擬只能模擬理性行為，理性行為就利用基于知識(shí)和經(jīng)驗(yàn)的推理模型來(lái)構(gòu)造。

　　人的理性行為基礎(chǔ)是兩個(gè)：知識(shí)、經(jīng)驗(yàn)和推理能力。如果能夠把人類的知識(shí)和經(jīng)驗(yàn)放在計(jì)算機(jī)的知識(shí)庫(kù)里面，我們能把推理能力表現(xiàn)在它的推理機(jī)制里面，我們就可以做出來(lái)模仿人類理性行為的系統(tǒng)或者是人工智能系統(tǒng)。

　　大家看起來(lái)很簡(jiǎn)單，如果我們能夠把醫(yī)生看病的知識(shí)和臨床經(jīng)驗(yàn)放在知識(shí)庫(kù)里面，把診斷的過(guò)程變成一個(gè)推理過(guò)程，放在機(jī)制里面，這個(gè)系統(tǒng)就能看病，確實(shí)在70、80年代的時(shí)候，美國(guó)、中國(guó)都做過(guò)類似的醫(yī)療診斷系統(tǒng)，用的就是它。

　　但是，這里要說(shuō)一點(diǎn)，這些知識(shí)和經(jīng)驗(yàn)都是通過(guò)人工編制，輸入到計(jì)算機(jī)里面去，這是它嚴(yán)重的問(wèn)題。

　　另外也是當(dāng)時(shí)提出來(lái)的另外一個(gè)模型，所謂大家現(xiàn)在講的人工神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)也好，就是這個(gè)模型。這個(gè)模型是用來(lái)模仿人的感知的。大家想想，感性的知識(shí)來(lái)自何處？不是來(lái)自于知識(shí)，不是人家教你的，來(lái)自于觀察。所以，把人類通過(guò)觀察學(xué)習(xí)的這種過(guò)程用一個(gè)神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)來(lái)模仿，現(xiàn)在所有的圖象識(shí)別、語(yǔ)音識(shí)別都是用的這個(gè)模型。

　　傳統(tǒng)模型的優(yōu)缺點(diǎn)

　　這里的問(wèn)題在于，特征的輸入是人工輸入的，人工選擇的特征輸入，這個(gè)是傳統(tǒng)人工智能的一個(gè)最大的缺陷，所以后來(lái)為什么會(huì)出現(xiàn)人工智能的冬天。就是因?yàn)橛萌斯さ姆椒▉?lái)輸入特征來(lái)講這是很困難的，有的時(shí)候還做不到。比如說(shuō)人類的知識(shí)和經(jīng)驗(yàn)?zāi)銦o(wú)法描述，所以這就使得人工智能很難做出來(lái)一個(gè)實(shí)用的系統(tǒng)，后來(lái)就變成大家對(duì)它不寄予很大的希望，只能在玩具世界或者是在實(shí)驗(yàn)室里做一點(diǎn)兒系統(tǒng)，做出來(lái)的實(shí)用系統(tǒng)是很難的。

　　當(dāng)時(shí)美國(guó)為了做一個(gè)醫(yī)療診斷系統(tǒng)，結(jié)果花了六年的時(shí)間才把專家的知識(shí)放到計(jì)算機(jī)里面去，而且這個(gè)系統(tǒng)后來(lái)還沒(méi)有用上。

　　這個(gè)系統(tǒng)的優(yōu)點(diǎn)就是說(shuō)它跟人類的系統(tǒng)是一樣的，所以可理解、可解釋，而且魯棒性也比較強(qiáng)。缺點(diǎn)就是剛才說(shuō)的手邊知識(shí)，需要來(lái)自專家的知識(shí)，是昂貴的、難以推廣的。

　　深度學(xué)習(xí)時(shí)代

　　這個(gè)事情有重要的變化，就是深度學(xué)習(xí)。這個(gè)深度學(xué)習(xí)大家知道，實(shí)際上只是把神經(jīng)網(wǎng)絡(luò)這個(gè)層次增加了，原來(lái)只有1層，變成2層以上，把機(jī)器學(xué)習(xí)起了一個(gè)根本性的改變，這個(gè)是大家沒(méi)想到的、出乎大家意料的。這個(gè)根本性的改變?cè)谟谳斎氩恍枰斯みx擇特征，而是原始數(shù)據(jù)。

　　這是什么意思呢？你用這個(gè)工具的時(shí)候，不需要專業(yè)知識(shí)，過(guò)去要搞人臉識(shí)別，你必須要搞清楚人臉識(shí)別是根據(jù)什么特征來(lái)識(shí)別的。因此，做過(guò)十年人臉識(shí)別的人跟剛剛進(jìn)入做人臉識(shí)別的人，他的經(jīng)驗(yàn)要多得多，你沒(méi)有這方面的經(jīng)驗(yàn)，你要從頭做起。

　　但是現(xiàn)在不一樣了，你做了十年的人臉識(shí)別跟剛剛進(jìn)去的人臉識(shí)別，大家是一個(gè)起跑線上的，因?yàn)橹灰阌袛?shù)據(jù)，我就不知道他是什么特征，機(jī)器自動(dòng)學(xué)習(xí)。所以，這個(gè)問(wèn)題就變成了深度學(xué)習(xí)完全改變?cè)瓉?lái)模型的性質(zhì)，變成了一個(gè)通用的工具，它通用，就等于說(shuō)人臉識(shí)別學(xué)人臉識(shí)別，你做大數(shù)據(jù)的學(xué)金融，只要把原始數(shù)據(jù)輸進(jìn)去就可以了，不需要太多金融的知識(shí)。

　　所以，人工神經(jīng)網(wǎng)絡(luò)的性質(zhì)發(fā)生了變化，從單純的函數(shù)映射到表示學(xué)習(xí)，就自動(dòng)學(xué)習(xí)表示方法。這就是我們現(xiàn)在深度學(xué)習(xí)廣泛傳播大量應(yīng)用的一個(gè)重要原因，誰(shuí)拿去都可以用。但是這個(gè)問(wèn)題大概三、四年前大家也發(fā)現(xiàn)了，大家以為是很完美的工具，其實(shí)現(xiàn)在發(fā)現(xiàn)這是一個(gè)非常不完美的工具。

　　自然語(yǔ)音識(shí)別模型

　　深度學(xué)習(xí)的影響有大？我們?cè)瓉?lái)搞語(yǔ)音識(shí)別的時(shí)候，必須人工選擇特征，這個(gè)特征一經(jīng)過(guò)處理以后非常復(fù)雜，用的模型是這個(gè)模型，用的特征是倒拼圖推進(jìn)，一會(huì)兒要把語(yǔ)音變成拼圖，拼圖又返回去積分，后來(lái)都不知道變成什么樣子了。現(xiàn)在不一樣了，有了深度學(xué)習(xí)，原始的拼圖、原始的波形，輸進(jìn)去就可以了。

　　這個(gè)改變是非常本質(zhì)的，就是說(shuō)2001年用這種模型，以前用這種模型，基本上只能達(dá)到80%，幾乎不能用，現(xiàn)在已經(jīng)變成了商品，所有的商品都是用的深度模型，識(shí)別率是一般的95%或者是更高，有的還可以新增，比人類的還好一點(diǎn)兒。這個(gè)問(wèn)題就是一步的變化，從原來(lái)的模型變成一個(gè)深度模型，把層數(shù)增加。

　　當(dāng)前人工智能方法的局限性

　　當(dāng)前人工智能方法的局限性在于只適用于以下場(chǎng)景：

　　具有充分知識(shí)（能清楚表述的問(wèn)題）或數(shù)據(jù) ·確定性 ·完全信息 ·靜態(tài)（按確定規(guī)則演化） ·特定領(lǐng)域（領(lǐng)域邊界清晰）與單任務(wù)

　　這些不用解釋了，大家一看就明白，我只解釋一個(gè)完全信息。大家看一下，現(xiàn)在AlphaGo，過(guò)去的深藍(lán)，為什么做得這么成功？就是因?yàn)檫@個(gè)棋是完全信息博弈，如果是完全信息的話，對(duì)于計(jì)算機(jī)來(lái)講是極為容易的，絕對(duì)是會(huì)超過(guò)人類的。所以，圍棋、象棋最終機(jī)器是會(huì)超過(guò)人類的，只是時(shí)間問(wèn)題。

　　但是如果你這個(gè)變成不完全信息，比如說(shuō)像牌類，現(xiàn)在不管是四人橋牌也好，四人麻將也好，計(jì)算機(jī)根本不是人類的對(duì)手，原因就在于不完全信息。對(duì)決策也是一樣，如果你的決策是完全信息決策，是完全信息決策，機(jī)器絕對(duì)會(huì)超過(guò)人。但是如果你是不完全信息決策，那計(jì)算機(jī)跟人類相比還差得遠(yuǎn)。但是很不幸，所有的決策場(chǎng)景都是不完全信息，實(shí)際的決策場(chǎng)景都是人的。

　　這里還有確定性、靜態(tài)演化、特定領(lǐng)域、限定領(lǐng)域，如果領(lǐng)域不限定，那這個(gè)是不行的。

　　基于深度學(xué)習(xí)的識(shí)別系統(tǒng)與人類感知

　　還應(yīng)該看到應(yīng)用深度學(xué)習(xí)或者是大數(shù)據(jù)建立系統(tǒng)，有非常大的缺點(diǎn)，跟人類的認(rèn)知完全不是一碼事。

　　這里面的例子很多，就是我題目里面講的兩個(gè)缺點(diǎn)：不可解釋性（最大的缺點(diǎn)）和魯棒性很差，非常脆弱。

　　犯大錯(cuò)與不可解釋性

　　我舉一個(gè)很簡(jiǎn)單的例子。物體識(shí)別系統(tǒng)，你可以做得識(shí)別率甚至超過(guò)人，計(jì)算機(jī)目前來(lái)講在給定的圖像架構(gòu)下，它的識(shí)別率是可以超過(guò)人的。就是這樣的系統(tǒng)，你給它一個(gè)噪聲，可以識(shí)別成為知更鳥(niǎo)。你再隨便給它一個(gè)噪聲，你可以制造一個(gè)噪聲，讓它識(shí)別為獵豹。

　　換句話說(shuō)，這個(gè)系統(tǒng)我們所謂的模式識(shí)別系統(tǒng)，不是人類的感知，只是一個(gè)機(jī)械的分類器，它能夠把知更鳥(niǎo)和獵豹區(qū)分開(kāi)來(lái)，但是它絕對(duì)不認(rèn)識(shí)什么是獵豹，什么是知更鳥(niǎo)。也就是說(shuō)它只達(dá)到了低等動(dòng)物的水平，而不是人類的水平。

　　魯棒性差

　　這個(gè)是我們的博士生做的，這個(gè)是阿爾卑斯山，計(jì)算機(jī)看起來(lái)是阿爾卑斯山，人看起來(lái)也是阿爾卑斯山。

　　我們只要給它一點(diǎn)點(diǎn)噪聲，這張圖的阿爾卑斯山和這張圖的唯一區(qū)別，就是噪聲多一點(diǎn)兒，人類看起來(lái)當(dāng)然是阿爾卑斯山，計(jì)算機(jī)看起來(lái)是一條狗，而且我們可以讓它的自信度達(dá)到99.99%，它99.99%的把握認(rèn)為它是一條狗。

　　數(shù)據(jù)驅(qū)動(dòng)的本質(zhì)缺陷是只能學(xué)習(xí)重復(fù)出現(xiàn)的片段，不能學(xué)習(xí)具有語(yǔ)義的特征。這就是今天大家在大量討論的人工智能的安全性問(wèn)題，聯(lián)合國(guó)也要討論這個(gè)問(wèn)題，這個(gè)是由這個(gè)引起的，不是說(shuō)要做出來(lái)人工智能超過(guò)人，這是有危險(xiǎn)的。不是，這個(gè)危險(xiǎn)在于系統(tǒng)極端的脆弱性。

　　所以，你無(wú)論說(shuō)什么樣的系統(tǒng)，用這種辦法做出來(lái)，就非常容易被攻擊。正是大家利用這個(gè)攻擊的手段，現(xiàn)在造成了各種各樣的很多人工智能系統(tǒng)癱瘓。不僅僅使你癱瘓，現(xiàn)在還有一種攻擊方法，能讓你去干別的事。所以，這就是人工智能的危險(xiǎn)性，是在這里。

　　這個(gè)問(wèn)題的嚴(yán)重性還在于，實(shí)際上這個(gè)是它的本質(zhì)引起的，不是因?yàn)槲覀兙幊虥](méi)編好或者是我們沒(méi)考慮到，不是的，是完全由本質(zhì)引起的，就是深度學(xué)習(xí)、大數(shù)據(jù)。

　　我們要知道，我們現(xiàn)在講的大數(shù)據(jù)和以前說(shuō)的大數(shù)據(jù)不是一碼事，我們現(xiàn)在指的大數(shù)據(jù)是網(wǎng)絡(luò)上那些低質(zhì)量的大量數(shù)據(jù)，這叫做深數(shù)據(jù)，這才是我們關(guān)注的。網(wǎng)絡(luò)上的數(shù)據(jù)盡管非常多，但是大量是低質(zhì)量的，造謠、造假，有很多的。你用一個(gè)質(zhì)量很低的數(shù)據(jù)，用概率統(tǒng)計(jì)方法來(lái)學(xué)習(xí)，能學(xué)出什么東西來(lái)呢？只能學(xué)出那些重復(fù)出現(xiàn)的片斷，不可能學(xué)出來(lái)有語(yǔ)義特征的部分。

　　這是跟人類完全不一樣的結(jié)果。人類怎么認(rèn)識(shí)牛和馬呢？他能夠看到它的馬頭、馬尾巴、軀干，計(jì)算機(jī)看不到，只能看到那些非常低層次的紋理、線條，用這個(gè)來(lái)區(qū)別普通物體。

　　我們看一下這個(gè)，深度學(xué)習(xí)學(xué)出來(lái)的都是這個(gè)，利用這個(gè)來(lái)區(qū)別什么是牛、什么是馬。這種情況如果用到?jīng)Q策是絕對(duì)不允許的，我們用到模式識(shí)別還馬馬虎虎。也就是說(shuō)它跟人類的不同在什么地方呢？人類也許把騾看成驢，但是計(jì)算機(jī)完全可以把看成一頭驢，也就是它會(huì)犯原則性的語(yǔ)義上的大錯(cuò)，人類不會(huì)。

　　所以，這個(gè)對(duì)于決策來(lái)講是不可以用的，但是模式識(shí)別是可以用的，你把模式識(shí)別也是一個(gè)錯(cuò)，看騾看成驢也是一個(gè)錯(cuò)，不分錯(cuò)的大小。

　　這個(gè)問(wèn)題怎么辦？這個(gè)現(xiàn)在實(shí)際上有很多的問(wèn)題：

　　醫(yī)學(xué)圖像識(shí)別：現(xiàn)在大家做醫(yī)療診斷，做了很多的圖像識(shí)別，而且識(shí)別率可以達(dá)到醫(yī)生的水平，這確實(shí)如此但是醫(yī)生不敢用，你說(shuō)他有癌癥，你搞不清楚它根據(jù)什么說(shuō)他是癌癥這叫不可解釋性，你做得再好他也沒(méi)法用。

　　語(yǔ)音識(shí)別：我們現(xiàn)在說(shuō)是超過(guò)人，那是在非常限制的條件下，你的語(yǔ)音必須沒(méi)有任何的噪聲，所有的語(yǔ)音識(shí)別你必須對(duì)著話筒講，如果我離遠(yuǎn)一點(diǎn)講，識(shí)別率就非常低，不允許有任何的干擾，也就是說(shuō)它非常的脆弱。 我們現(xiàn)在先看一下，數(shù)據(jù)驅(qū)動(dòng)非常大的好處，他是用的向量，所有的數(shù)學(xué)工具都可以用上，過(guò)去的人工智能為什么不行呢？數(shù)學(xué)用不上，是用符合來(lái)表示，你用邏輯推理這套東西，你的數(shù)學(xué)工具非常有限。

　　兩個(gè)基本模型

　　大家看到的深度學(xué)習(xí)全是數(shù)學(xué)，所以大家的辦法很簡(jiǎn)單，這個(gè)就是很大的問(wèn)題了，我們?nèi)绾谓鉀Q一個(gè)可解釋性，就是要把這兩個(gè)結(jié)合起來(lái)，知識(shí)驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)結(jié)合起來(lái)。

　　文本語(yǔ)言是這么處理的，圖像語(yǔ)音是那樣處理的，現(xiàn)在的辦法很簡(jiǎn)單，語(yǔ)義的向量空間，把符號(hào)變成向量，把特征變成語(yǔ)義。所有的數(shù)學(xué)工具全能用上，怎么辦呢？如何把符號(hào)變成向量。

　　后深度學(xué)習(xí)時(shí)代

　　這樣，我們就可以建立一個(gè)統(tǒng)一的理論用數(shù)學(xué)來(lái)處理它，所以我覺(jué)得現(xiàn)在人工智能才有資格說(shuō)你是一門(mén)科學(xué)，我過(guò)去一致認(rèn)為，人工智能不是一個(gè)科學(xué)。我圖像跟語(yǔ)言文在一個(gè)空間里面了，這也符合人類。

　　就全變成數(shù)學(xué)問(wèn)題了，因?yàn)檫@個(gè)沒(méi)有解釋，現(xiàn)在就搞了各種各樣的優(yōu)化方法來(lái)做，我們說(shuō)機(jī)器翻譯也完全可以利用這個(gè)做，過(guò)去的機(jī)器翻譯全是不用數(shù)學(xué)的，現(xiàn)在全是數(shù)學(xué)，全是優(yōu)化方法來(lái)做，這也是我們研究院里面做的工作。

　　但是大家也看到了，總體來(lái)講，效果有提高，提高不多全世界都是這樣，也就是說(shuō)這個(gè)工作有大量的工作需要做，另外一個(gè)辦法就是符號(hào)。但是，我們需要把大量的數(shù)據(jù)換進(jìn)去，沃森就是做的這個(gè)工作。

　　最關(guān)鍵的問(wèn)題是兩條，如果可以解決的話我們也可以用這個(gè)模型來(lái)解決，就是要向數(shù)學(xué)學(xué)習(xí)的方法。

　　我認(rèn)為從人工智能的角度來(lái)講，這個(gè)系統(tǒng)做得最好，大家看到好的AlphaGo什么的，其實(shí)AlphaGo并沒(méi)有它好。它用了資源就這些，非常多，有原始感，文學(xué)作品都是沒(méi)有經(jīng)過(guò)加工的，這是他的系統(tǒng)。

　　從特征空間往一個(gè)空間去這個(gè)要學(xué)習(xí)人類，人類同樣用神經(jīng)網(wǎng)絡(luò)做出來(lái)能學(xué)到語(yǔ)義，計(jì)算機(jī)學(xué)不到語(yǔ)義，原因是缺少這些，因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)太簡(jiǎn)單了，所以這里面必須把神經(jīng)網(wǎng)絡(luò)的東西加進(jìn)去，這個(gè)是我們也做的一些工作，加上去以后就可以學(xué)到含有語(yǔ)義的東西。

　　我們可以看一下，最終走向真正的人工智能必須得有嘗試，沒(méi)有嘗試這個(gè)系統(tǒng)實(shí)際上都是你告訴他的，對(duì)一個(gè)對(duì)話系統(tǒng)來(lái)講，對(duì)機(jī)器來(lái)講，它只能回答你告訴他的，現(xiàn)在好一點(diǎn)，你沒(méi)有直接告訴他，他利用推理可以由原來(lái)的知識(shí)里面推出新的結(jié)論，這個(gè)沃森能做到，但是做到的很有限，比人類還差得很多。

　　我們剛剛講過(guò)，人類理性智能一個(gè)最重要的表現(xiàn)就是你的推理能力，你的判斷能力，除掉你的知識(shí)和經(jīng)驗(yàn)之外。美國(guó)人花了很大的功夫去做這個(gè)事兒，我們國(guó)家上次在知識(shí)圖譜會(huì)上就強(qiáng)調(diào)，我們也必須做，你想中國(guó)人工智能要走到世界的前面，或者說(shuō)跟上人家，你不做這些工作可能是不行的。

　　我們利用嘗試進(jìn)行對(duì)話等等，就可以解決詞匯里面沒(méi)有的詞，計(jì)算機(jī)可以通過(guò)里面的知識(shí)來(lái)判斷這個(gè)詞大概是什么意思。