在今天的RISC-V峰會上,Esperanto Technologies的首席執行官Art Swift宣布了一款基于RISC-V的新型芯片,旨在進行機器學習,包含基于開源RISC-V架構的近1100個低功耗內核。
總部位于加州山景城(Mountain View)的Eseranto Technologies是在2014年創建的,該公司的其他網站遍布美國和歐洲,“其目標是讓RISC-V成為計算機密集型應用程序(如人工智能和機器學習)的首選架構。”Swift追溯到2017年新芯片的歷史,當時Esperanto的創始人兼董事長Dave Ditzel在第七屆RISC-V研討會上提出了Esperanto的愿景。
在那個研討會上,Ditzel設定了一個目標:“在單個設備上放置4,000個或更多的內核”。Ditzel要求通過RISC-V提供簡單的指令集,并要求在定制微體系結構和專有的低功耗設計技術領域進行創新。“在隨后的三年中,我們已經籌集了7700萬美元的風險投資,現在已經完成了我們的第一個設計,這是基于RISC-V的一系列AI處理器中的第一個,” Swift說。
名為et - soc1的新芯片包含兩種通用64位RISC-V內核:首先是ET-Maxion,一個超標量無序內核(每個芯片4個);其次是ET-Minion,一種“更精簡、節能”的有序多線程內核,它包含一個用于機器學習應用的大型協處理器(每個芯片1089個,包括一個服務處理器)。
Esperanto公司ET-SoC-1 die圖。圖片由Art Swift提供。
芯片擁有238億個晶體管,采用了TSMC公司的7nm技術,直接針對超大規模的數據應用(“特別是推斷,”Swift說)。Swift說,該芯片使用了通用架構,以保護客戶免受ML模型隨著時間的推移可能帶來的不兼容。
正如Swift所解釋的那樣,在數據中心應用程序中,ET-Maxion內核可能會被隨附的Intel或AMD主機CPU所取代-但是在邊緣應用程序中,Maxions對于保持低成本至關重要。
這些芯片支持pcie4.0和DDR4x RAM(最高32GB),Swift表示,一張PCIe卡上最多可以容納6個芯片。舉個例子,Swift展示了一個開源的Glacier Point 卡,它可以容納6個ET-SoC-1芯片。(“這是我們的全部策略,盡可能地利用開源社區。”)
Glacier Point v2卡,最多可容納六個ET-SoC-1芯片。圖片由Art Swift提供。
在軟件方面,“我們支持所有常見的機器學習框架,”Swift說,并解釋Esperanto利用Facebook的開源GLOW編譯器作為中心。
雖然他們還沒有使用物理硅,但Swift基于芯片仿真共享數據。“當我們將我們的性能與現有解決方案在數據中心的實際測量性能進行比較時,”他說,“我們發現,我們預計在關鍵工作負載(如推薦網絡)上的性能將提高50倍,在圖像分類方面,我們的性能將比現有解決方案高出30倍。”
“但可能更令人興奮和更重要的是,”他繼續說,“我們能夠獲得的能源效率。就每瓦特功率的推斷而言,我們希望看到比現有的解決方案高出100倍的能源效率。”
Esperanto將ET-SoC-1的性能效率歸因于幾個因素,包括RISC-V的簡單性、ET Minion核心上的機器學習協處理器、“唯一優化”的內存層次結構和定制的低壓電路。
Swift反復強調,ET-SoC-1只是Esperanto新產品系列的第一位成員,并解釋說,該芯片的基于圖塊的設計使其易于“擴展至數千個內核或縮減至數百個內核”,以滿足需求。“從超大規模數據中心到邊緣AI以及兩者之間的一切。”
Esperanto的聲明緊隨英偉達收購Arm之后,這讓很多人懷疑,收購后大家對RISC-V的興趣和接受度是否會激增。Esperanto還進入了一個越來越擁擠的推理芯片市場,競爭對手包括Xilinx、Mythic、Groq和英特爾的Habana Labs。