集微網(wǎng)消息，從Midjourney、Stable Diffusion等AIGC（人工智能生成內容）小工具引爆流行，到對ChatGPT是否已能通過圖靈測試的廣泛討論，2022，無疑是人工智能發(fā)展史上又一個“大年”。接二連三的“全民級”事件傳播，強烈預示著人工智能產(chǎn)業(yè)發(fā)展的新階段業(yè)已拉開序幕，而廣闊的產(chǎn)業(yè)前景與動蕩的供應環(huán)境，也呼喚著本土廠商在通用人工智能（AGI）所依賴的訓練推理硬件上大有作為。
12月20日，上海天數(shù)智芯半導體有限公司正式發(fā)布其通用GPU推理產(chǎn)品-智鎧100，繼天數(shù)智芯2021年發(fā)布首代通用GPU云端訓練產(chǎn)品天垓100并實現(xiàn)規(guī)模應用后，這家中國本土通用GPU產(chǎn)業(yè)“先行者”再次用產(chǎn)品驚艷業(yè)界。
云邊協(xié)同正當時
在當天的致辭中，天數(shù)智芯總裁蓋魯江表示，智鎧100是繼天垓100后天數(shù)智芯正式向市場推出的第二款產(chǎn)品，標志著天數(shù)智芯成為國內唯一擁有云邊協(xié)同、訓推組合的完整通用算力系統(tǒng)全方案提供商。這是天數(shù)智芯繼往開來、奮勇前進的新起點，也是天數(shù)智芯發(fā)展中極為關鍵的一大步，還是天數(shù)智芯發(fā)展歷史上又一座里程碑。
蓋魯江所強調的“云邊協(xié)同、訓推組合”，的確是當前通用GPU發(fā)展演進的主旋律。以時下引發(fā)全球社交平臺“狂熱”追捧，驚為天人的ChatGPT為例，就是“云邊協(xié)同、訓推組合”的一個經(jīng)典案例。
顧名思義，ChatGPT的基礎是GPT-3這一超大規(guī)模預訓練模型，在應用于生成式對話這一場景時，則使用少量人工標準的數(shù)據(jù)樣本進行模型的精調，參數(shù)規(guī)模下降了一兩個數(shù)量級，輕量化意味著大幅減少的資源開銷，也代表模型迭代效率可以大幅提升。
在ChatGPT等AIGC“殺手應用”的示范效應下，可以想見，人工智能產(chǎn)業(yè)在傳統(tǒng)基于有監(jiān)督學習的商業(yè)模式之外，無標簽大規(guī)模預訓練模型生成+邊側/端側小數(shù)據(jù)模型精調部署的云邊協(xié)同模式也將蔚然成風。
伴隨著產(chǎn)業(yè)趨勢的深刻變革，通用GPU這一提供基礎算力的產(chǎn)品形態(tài)必然需要形成云端訓練和邊/端側推理的合理搭配，將進一步加速已經(jīng)明顯形成的訓練、推理產(chǎn)品技術規(guī)格分化，云端訓練需要超大算力以承載動輒千億乃至萬億參數(shù)規(guī)模的大模型，而邊/端側推理則需要適應功耗、時延在應用現(xiàn)場的嚴苛約束，幫助預訓練大模型“蒸餾”之后的“小模型”實現(xiàn)場景可用與實際部署。
從這一意義上看，高端通用GPU解決方案，必須實現(xiàn)訓練、推理產(chǎn)品“兩條腿走路”，而智鎧100，則標志著天數(shù)智芯向前邁出的又一開創(chuàng)性步伐。
根據(jù)蓋魯江的介紹，智鎧100這款推理產(chǎn)品兼具“應用覆蓋廣，計算性能高，使用成本低”三大特質，可以廣泛應用于金融、醫(yī)療、教育、安防、互聯(lián)網(wǎng)、智能語音、車路協(xié)同智能中心等領域。智鎧100的上述主打特色及目標應用領域，可謂精準把握到了邊側/端側人工智能應用的痛點并給出了富有誠意的解決方案，有望繼天垓100之后，打造又一個經(jīng)得起市場檢驗的“中國芯”標桿產(chǎn)品。
值得一提的是，德高望重的倪光南院士，也專門為智鎧100的發(fā)布送上祝福，充分肯定了天數(shù)智芯成立數(shù)年來的不凡成績，并鼓勵團隊勇毅前行，為我國通用GPU事業(yè)的發(fā)展做出更大的貢獻。
三大特質顯功力
本次產(chǎn)品發(fā)布會上，天數(shù)智芯產(chǎn)品線總裁鄒翾對智鎧100的三大特質進行了詳細解讀。
其一是計算性能高。智鎧100芯片支持FP32、FP16、INT8等多精度混合計算，實現(xiàn)了指令集增強、算力密度提升、計算存儲再平衡，支持多種視頻規(guī)格解碼。此次發(fā)布會推出的智鎧100產(chǎn)品卡，可提供最高384TOPS@int8、96TFlops@FP16、24TFlops@FP32的峰值算力，800GB/s的理論峰值帶寬以及128路并發(fā)的多種視頻規(guī)格解碼能力。相較于市場上現(xiàn)有主流產(chǎn)品，智鎧100將提供2-3倍的實際使用性能。
其二是應用覆蓋廣。基于天數(shù)智芯第二代通用GPU架構，智鎧100多達800余條通用指令集，支持國內外主流深度學習開發(fā)框架，擁有豐富編程接口拓展和高性能函數(shù)庫，可以靈活支持各種算法模型，便于客戶自定義開發(fā)。智鎧100廣泛適用于智慧城市、智慧港口、智慧交通、智能制造、電力、智能語音、醫(yī)療、教育、智慧金融等眾多場景，為各行業(yè)提供堅實算力保障。
其三是使用成本低。延續(xù)天垓100開發(fā)易遷移的特點，智鎧100全面支持推理及訓練一體化方案，能夠在不額外增加購置成本的情況下完成增量訓練工作，有效減少用戶的成本支出。延續(xù)天垓100的生態(tài)兼容策略，智鎧100仍提供開箱即用的產(chǎn)品體驗，降低用戶的開發(fā)成本和使用成本。
鄒翾談到，智鎧100芯片是天數(shù)通用GPU架構的第二代產(chǎn)品，也是天垓100之后的新一代迭代，其產(chǎn)品特質，正是基于天垓100商用過程中來自行業(yè)一線的客戶需求：“我們的客戶期望能夠有一款產(chǎn)品針對推理應用進行端到端的進一步性能優(yōu)化，得到性能提升。并且希望這些產(chǎn)品可以快速地支持最近流行的各種各樣的網(wǎng)紅應用，包含最近大家熟知的AI繪圖以及ChatGPT，同時客戶們也希望這樣的產(chǎn)品能夠針對這些應用提供更好的性價比。”
在鄒翾講解過程中，對客戶案例的信手拈來為集微網(wǎng)留下了深刻印象，例如他引用合作伙伴在疾病AI輔助診斷領域的工作，一次完整的下消化道檢查涉及病變檢測、部位識別以及病變診斷3種業(yè)務的并發(fā)或順序重組，需要支持5個以上的模型而且還在變化中。智鎧100憑借其強大的算力，可以在只引入1-2ms延遲的情況下完成單卡上多數(shù)據(jù)流并行分發(fā)，滿足實時性要求，以支持在線手術，并且有條件對接高達90路攝像頭，通過圖像批處理完成多臺手術的并行工作。
這一案例，也極為清晰地展示了為何時延在邊側/端側推理應用中如此重要，人命關天的醫(yī)療現(xiàn)場，人工智能應用的滲透往往存在“兩難”，或是高性能神經(jīng)網(wǎng)絡模型缺少端側計算、存儲資源支撐無法部署，或是依賴于云端模型，存在極高的端到端時延，同樣難以實際應用。
對行業(yè)、領域案例的熟悉，背后折射的是天數(shù)智芯作為一家商業(yè)公司的“章法”和“檔次”，以客戶成功為導向，以用戶體驗為準繩，使其與不少依然沉迷于標榜參數(shù)高低的“做題式”通用GPU玩家形成了巨大差異。
做難事必有所得
對人工智能領域稍有涉獵的觀察者都不難了解，英偉達等海外巨頭不僅在通用GPU產(chǎn)品上占據(jù)優(yōu)勢地位，其在人工智能模型開發(fā)框架和軟件工具鏈上的優(yōu)勢甚至更為驚人，以至于英偉達CUDA已成為事實上的行業(yè)基準。
也正因為如此，通用GPU等“大芯片”的流片乃至量產(chǎn)，只是實現(xiàn)商業(yè)成功的“第一步”，更艱巨的考驗，在于開拓和培育用戶生態(tài)，倪光南院士在致辭中也談到，“國內通用GPU芯片以及支撐它的通用的并行計算架構，也就是CUDA架構，已經(jīng)成為一個事實標準。在這個領域的市場上和CUDA兼容就是一種迫切的需求，這對于很多廠商都是一個重大的挑戰(zhàn)。”
回顧過往歷史，不少高調發(fā)布乃至少量流片的本土高端芯片產(chǎn)品，往往在量產(chǎn)良率這一關口前就已悄然止步，遑論后續(xù)九十九難的商業(yè)化之路，而天數(shù)智芯，毫無疑問是在這一領域本土廠商中篳路藍縷的“拓荒者”和先行者。
天數(shù)智芯能夠在靠產(chǎn)品力說話的通用GPU市場贏得一席之地，離不開其從基礎硬件到客戶現(xiàn)場服務、軟件工具鏈配套的全方位交付能力。今年8月，天數(shù)智芯還發(fā)布國內領先的通用計算及人工智能開源平臺DeepSpark，率先向行業(yè)開放技術能力。
這樣的投入，特別是軟件團隊搭建和項目管理，往往對芯片企業(yè)而言是極大的挑戰(zhàn)，天數(shù)智芯選擇做難而正確的事情，離不開其公司資源圍繞“服務客戶”的極致聚焦。
鄒翾講解中談到，“一款好的產(chǎn)品，除了良好的性價比通用性外，客戶的使用體驗也至關重要。”
智鎧100延續(xù)天垓100的生態(tài)兼容策略，為客戶提供開箱即用的產(chǎn)品體驗，對客戶側不同職能使用者需求有深刻洞察，竭盡所能降低其遷移底層硬件的“成本”，盡可能維持其原有使用習慣，在這一基礎上，再通過產(chǎn)品特性創(chuàng)新，提供“one more thing”式的亮點，如MidJourney等AIGC網(wǎng)紅應用已經(jīng)成為吸取流量的利器，不少互聯(lián)網(wǎng)客戶表達了試圖模仿其擴散模型（Diffusion model）實現(xiàn)類似功能的需求，天數(shù)智芯團隊僅用兩周就配合客戶完成了Diffusion模型的適配與調優(yōu)工作，實現(xiàn)了應用的快速上線，充分顯示出智鎧100支持未知應用快速迭代的能力。
如果說天垓100代表著天數(shù)智芯在通用GPU領域從0到1的突破，那么智鎧100的發(fā)布，則令人欣喜地看到，天數(shù)智芯從1到100的發(fā)展之路上已經(jīng)走出了一串清晰而扎實的足跡。
結語
接連不斷的網(wǎng)紅應用，使今年儼然可以被視為“AIGC元年”乃至“AGI元年”，至少諸多有識之士，已經(jīng)在非常嚴肅地思索MidJourney、ChatGPT等AI工具與相關領域專業(yè)內容生產(chǎn)者之間如何協(xié)作，并預卜未來無法有效與AI寫作的創(chuàng)意工作者，將面臨被淘汰的切實風險。
這一撲面而來的人工智能產(chǎn)業(yè)新浪潮，也將為通用GPU市場帶來深刻而巨大的影響，智鎧100的發(fā)布，標志著來自中國的力量，也不會在這個巨大的機遇窗口缺席。
更多信息可以來這里獲取==>>電子技術應用-AET<<
