9月5日消息,據國內媒體報道,國產AI芯片公司壁仞科技即將在2024全球AI芯片峰會上,首次公布自主原創的異構GPU協同訓練方案HGCT。
據了解,這將是中國首個三種異構芯片混訓技術,業界首次支持3種及以上異構GPU混合訓練同一個大模型(壁仞GPU+英偉達GPU+其他國產芯片),用一套統一方案支持多種不同型號、不同廠商的GPU,而且一行代碼適配多種框架。
在此之前,AI Infra公司無問芯穹的4+2芯片,最多僅支持2種GPU同時訓練。
性能方面,HGCT混訓方案的異構協同通信效率大于98%、端到端訓練效率90-95%,一舉突破了大模型異構算力孤島難題。
可靠性上,目前可以實現千卡集群、千億參數的自動斷點續訓小于10分鐘,15天連續訓練不中斷,4天連續訓練無故障。
據悉,壁仞科技正在聯合客戶、合作伙伴、科研機構共同推動異構GPU協同訓練生態,包括:中國移動、中國電信、商湯科技、國網智能電網研究院有限公司、上海智能算力科技有限公司、上海人工智能實驗室、中國信息通信研究院等。
公開資料顯示,壁仞科技成立于2019年9月,主要研發通用 GPU(GPGPU),用于人工智能訓練和推理等領域。
2021年3月,壁仞科技完成B輪融資,累計融資額超47億元人民幣
20202年8月,壁仞科技正式發布首款通用GPU芯片BR100,創下全球算力紀錄,16位浮點算力達到1000T以上、8位定點算力達到2000T以上,單芯片峰值算力達到PFLOPS級別。
甚至與NVIDIA當時4nm 旗艦H100相比,BR100的紙面性能數據也毫不遜色。
本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。