AI市場中現在仍是GPU占主導,那么哪類公司能撼動GPU的地位呢?在當今的AI市場的格局中,主要有四類:有產品,有生態,大批量被部署的,是第一類;有產品,有部分生態,有部分部署的,是第二類;有產品,沒有生態,沒有客戶的,是第三類;沒有產品,沒有生態,沒有客戶,有PPT的,是第四類。現在大量公司處于“PPT造芯”的階段。
一個事實是,僅靠模仿顯然是無法打敗GPU的,一些做與某個領先廠商類似產品的公司,不可能僅僅因為性價比更好,而獲得市場突破,最后取得很好地位,這在全球硬科技史上基本很少看到。一個鮮明的例子——計算平臺,最開始是大型機,然后小型機,沒有說大型機取代大型機的,也沒有小型機取代小型機,小型機最后被PC服務器給取代,而如今PC服務器也面臨著Arm的挑戰。可以看到真正巨頭的涌現是因為在產業大的變局、在新浪潮革新當中取得了自己的位置。
“在計算機歷史上只發生過三次革命,第一次是70年代的CPU,第二次是90年代的GPU,而Graphcore就是第三次革命。”這句話是英國半導體之父、Arm聯合創始人Hermann Hauser所說。他所指的正是Graphcore率先提出的就是為AI計算而生的IPU。
IPU為AI計算而生
隨著應用端需求迅猛飛起,AI模型的尺寸和復雜性正在呈指數級別增長,但是機器智能創新者往往不得不采用傳統的處理器架構CPU和GPU,未來需要一款全新的處理器來消除創新的桎梏。這就是IPU。
Graphcore通過IPU技術正在全球和中國范圍內掀起第三次計算機革命的浪潮,云和數據中心正在被IPU重塑。而一開始,Graphcore就從通用性處理器著手,如今看來,這步棋走得很對。AI覆蓋的領域非常多,包括視覺、語言、語音、強化學習等方方面面,今天,AI產業的全球頂會還是一票難求,全球頂級學術會議那么多人投稿,這就意味著AI產業的多可能性,有新的可能性才能講應用的多樣性。正如此,通用性是非常重要的。這個時候如果做一個非常固化的處理器,很可能適應不了新的算法。
Graphcore目前處于“云、邊、端”的云端,大規模計算的場景里,牽扯到算法的研發,就是所謂的訓練。所以IPU現在所處的應用領域對通用性要求更高。
就拿Graphcore第二代IPU GC200來說,它的芯片特點就是高性能和高通用性。它擁有594億個晶體管,并采用最新的臺積電7納米工藝制造,是世界上最精密的處理器。每個第二代IPU具有1472個強大的處理器內核,可運行近9000個獨立的并行程序線程。每個IPU在FP16.16和FP16.SR(隨機取整)上都擁有史無前例的900MB In-Processor-MemoryTM和250 teraFLOPS AI計算。GC200支持的FP32計算比其他任何單芯片處理器都要多。
那么,Graphcore產品的迭代邏輯和規律是什么?這點Graphcore高級副總裁兼中國區總經理盧濤作了解釋,他告訴半導體行業觀察記者,Graphcore的第一代產品是PCIe形態的,這個產品被服務器廠商集成到服務器里面去,變成一個IPU的服務器。但在這一過程中Graphcore發現了一些技術和商業上的問題,所以Graphcore在第二代產品的時候,以一個1U的形態來交付。
Graphcore高級副總裁兼中國區總經理 盧濤
其邏輯就是,首先,從技術上來看,在AI計算中,其實不僅僅要考慮一顆芯片計算能力怎么樣,也不僅僅要考慮一臺機器計算能力怎么樣。整個AI的發展趨勢是算法模型的參數規模會從數千萬擴展到億,甚至到萬億,這就需要多顆AI處理器來處理,如果這些處理器集群之間網絡構建不好,那么效果將很差,所以Graphcore認為通信技術是至關重要的。Graphcore的第二代產品有三個重大的技術突破:計算、數據、通信。
從商業的角度,Graphcore主要是要考慮time-to-market(市場進入時間窗口)。做一顆芯片,要看做什么形態的機器是最快的,stack in就可以做設計了。Graphcore認為這是一個把產品呈現給用戶的最快方式。
有了產品,如何以IPU的身份去撬動市場和用戶呢?
IPU如何撬動GPU的奶酪?
在AI市場,Graphcore是以挑戰者身份出現的,據了解,Graphcore的AI芯片的出貨量已達到以萬為數量級。“既要做處理器,又要打磨產品,構建生態,還要尋找落地的場景,眾所周知,AI落地場景的碎片化和難度,所以這對于一個還不滿五年的企業來說非常不容易,也是一個非常好的成績。”盧濤表示。
事實證明,產品有價值,用戶看到好處,就沒有理由不跟你合作。在盧濤看來,用戶無外乎兩種邏輯:第一種常規邏輯是我有什么好處,第二有什么問題是我解決不了。而這兩類Graphcore都有一些相關進展。
譬如說第一種場景,用戶已經在使用GPU服務于其業務,而且業務不管是從性能、能力上都被GPU驗證過且已經大量部署,這時候用戶該開始關注怎樣能夠優化整體的TCO,即同樣的事情是不是能夠花同樣的錢做得更快或功耗更低,或者花更少的錢達成。這是比較商業化的一些邏輯。像目前非常主流的ResNet、BERT這些模型都是從GPU發明產生的,應用跑得也非常好。但在這些應用里面IPU比GPU表現得更好一點,用戶是有一定收益的。
第二類,一些用戶存在沒有被滿足的需求。簡單的說就是,如果用戶想要實現的某個特性無論是在CPU還是GPU都達不到上線的指標,那么這個功能可能就實現不了。以時延為例,如果一個GPU達不到所需的吞吐量,就要堆疊多個GPU,但是這樣可能造成中間時延指標達不到。如果用戶上線的時延指標是10毫秒左右,用GPU來實現時延是20多毫秒,且怎么優化都達不到上線標準,如果此時在IPU上只有5毫秒的時延,那么此時用戶的考量就是,不在乎IPU多少錢,即使比GPU更貴,用戶也愿意買單。
以上這兩種邏輯正體現了IPU的優勢和亮點。IPU是很通用的處理器,各種各樣的業務都能做。一個新事物的出現,新就新在其能做別人所不能做。IPU跟GPU非常不一樣,Graphcore很有信心在GPU做不好的地方比他們做得更好,不是說性能提升一兩倍,是能做GPU做不了的事情。而在GPU今天很擅長做的地方,Graphcore也在慢慢證明做得不比GPU差,比如視覺、自然語言處理,甚至比GPU好。
但最后要想保持足夠的市場競爭力,還有很重要的一點,就是要保持足夠好的產品的迭代周期和執行力。因為整個芯片行業生意模式是一場馬拉松,要不斷的迭代優化,最后才能樹立市場地位。所以Graphcore在五年不到的歷史進程中,量產了兩代產品,某種意義上證明公司在產品迭代上的能力,而且新產品還在努力研發中,去年臺積電在一次技術峰會上公開表示,他們在3納米上在重點跟Graphcore合作。
中國市場在Graphcore的版圖中意義重大
在生態問題上,GPU花了十幾年才構建了如今的生態,那么IPU是不是也得花20年?在盧濤看來,這似乎用不了。今天的時代有所不一樣,回顧第一個在GPU表現好的視覺模型MXNet,當時是CUDA在背后的支持。而Graphcore的IPU正在跟TensorFlow、PyTorch,以及百度PaddlePaddle合作,構建這樣的框架,這會大大加速Graphcore開拓生態的過程。
而就在4月21日,Graphcore與神州數碼建立合作伙伴關系,神州數碼成為Graphcore中國區總代理。在IT產品分銷領域,神州數碼占據著首屈一指的地位。通過此次合作,Graphcore可以更快地滿足全國各地區的來自不同垂直市場的客戶購買需求,使客戶能夠快速獲取IPU系統產品和相關服務。
盧濤指出,Graphcore進入中國將近兩年的時間,組建了自己團隊,打磨頭部應用的落地,Graphcore看到了市場對于IPU應用的需求已經到即將爆發的階段了,這個是很大的驅動力,Graphcore要找一個非常強的合作伙伴,一起來迎接這個井噴和爆發。
中國市場毫無疑問是全球領先的AI應用落地的區域,中國有大量的數據,各種各樣大型的互聯網公司、大型的AI公司、大量的落地場景。另外中國非常擅長把各種各樣創新的技術做成一個真正落地的大批量應用,而且其速度也非常快。中國市場對于Graphcore公司來說也有如下幾個角度的意義:
第一,中國是全球領先的AI應用市場,當然對計算的要求會很高,市場潛力也大。
第二,中國更加強調產品的落地、大批量的部署以及快速迭代、快速執行的能力,這對Graphcore也非常有意義。在各種各樣場景做快速落地,對于其本身技術棧的打磨以及團隊執行力的打磨都是非常有意義的。
基于以上,Graphcore對在中國市場的整體表現有非常高的期望的,這可以從Graphcore全球的生意區域劃分角度看出來,Graphcore在全球分為三個區域市場,一個中國、一個北美、一個其他。這代表了中國市場在Graphcore全公司版圖里的重大意義。
盧濤認為整個AI產業已經基本上結束了初期,大量商業場景、應用邏輯已經被證明了確實非常有價值,AI技術即將進入產業大規模的蓬勃發展,并落在各種各樣行業應用里。
“AI是今天的一個重磅技術,這個合作是非常深遠的,未來可能是爆發式的、戰略型的合作。”神州數碼企業業務集團相關業務負責人湛羽說到。
神州數碼企業業務集團相關業務負責人 湛羽
結語
以上種種,并不意味著Graphcore要把GPU推翻完全取代,Graphcore對市場未來的預期是有三個主要計算平臺并存,CPU、GPU、IPU。“今天AI業務是架構在GPU和CPU之上,落地的場景是重疊的,但我們IPU架構非常不一樣,期望我們取得陣地之后,未來有一批AI業務是原生在IPU上成長起來的,這些業務可能不適合GPU、CPU,我們就成為了第三種計算平臺。”盧濤講到,“我們創造IPU是希望幫助AI的創新者獲得下一個突破。”
行業觀察》為您分享的第2675內容,歡迎關注。