7月29日周一，在美國丹佛市舉行的計(jì)算機(jī)圖形學(xué)和交互技術(shù)年度大會(huì)和展會(huì)SIGGRAPH 2024上，英偉達(dá)亮出新工具。

英偉達(dá)CEO黃仁勛在SIGGRAPH 2024透露，本周英偉達(dá)發(fā)送Blackwell架構(gòu)的樣品，這是今年首發(fā)的新款芯片架構(gòu)。同時(shí)，英偉達(dá)公布了一系列軟件更新，主要涉及用于優(yōu)化人工智能（AI）推理的云原生微服務(wù)——Nvidia inference micro service（NIM），推動(dòng)企業(yè)大規(guī)模部署AI模型。

今年3月英偉達(dá)推出NIM時(shí)介紹，NIM提供經(jīng)過優(yōu)化的推理微服務(wù)，旨在縮短上市時(shí)間，并簡化生成式 AI 模型在云、數(shù)據(jù)中心和 GPU 加速工作站的任何位置的部署。NIM 支持跨多個(gè)領(lǐng)域的 AI 用例，包括大語言模型 (LLM)、視覺語言模型 (VLM)，以及用于語音、圖像、視頻、3D、藥物研發(fā)、醫(yī)學(xué)成像等的模型。

開發(fā)者可以使用英偉達(dá)托管的云API測試新的生成式 AI 模型，或者通過下載 NIM 來自行托管模型，并在主要云提供商或本地使用 Kubernetes 快速部署，以減少開發(fā)時(shí)間、復(fù)雜性和成本。NIM微服務(wù)通過打包算法、系統(tǒng)和運(yùn)行時(shí)優(yōu)化并添加行業(yè)標(biāo)準(zhǔn) API 來簡化 AI 模型部署流程。這使開發(fā)者能夠?qū)?NIM 集成到其現(xiàn)有應(yīng)用程序App和基礎(chǔ)設(shè)施中，無需大量定制或?qū)I(yè)知識(shí)。

本周一英偉達(dá)宣布的更新擴(kuò)大了NIM推理微服務(wù)庫，涵蓋了物質(zhì)世界環(huán)境、高級(jí)視覺建模和各種垂直應(yīng)用。英偉達(dá)已在預(yù)覽版中提供了約 100項(xiàng)NIM推理微服務(wù)，現(xiàn)在要發(fā)布完整版本。比如，作為英偉達(dá)的部分新NIM，視覺媒體公司Getty Images Holdings的4K 圖像生成 API 和圖像、影片、音樂等數(shù)字內(nèi)容供應(yīng)商Shutterstock Inc. 的3D圖像生成器即將上線。兩者都使用英偉達(dá)的Nvidia Edify，它是一種用于視覺生成 AI 的多模式架構(gòu)。

英偉達(dá)同日宣布，與自然語言處理（NLP）工具集和平臺(tái)Hugging Face合作，推出了推理即服務(wù)，幫助開發(fā)人員使用托管在 Hugging Face Hub 上的開源AI模型快速制作原型，并將其部署到生產(chǎn)中。評(píng)論稱，這一合作將簡化開發(fā)者的AI模型部署。

fVDB利用現(xiàn)實(shí)世界3D數(shù)據(jù)打造空間智能

其中，英偉達(dá)推出fVDB，利用現(xiàn)實(shí)世界的3D數(shù)據(jù)，打造空間智能。英偉達(dá)稱，生成式物質(zhì)AI模型可以理解并執(zhí)行物質(zhì)世界中精細(xì)或粗大動(dòng)作技能的操作。理解物質(zhì)世界的三維空間并在其中導(dǎo)航需要空間智能。為了給這種AI提供一個(gè)能夠處理現(xiàn)實(shí)規(guī)模的強(qiáng)大、連貫的框架，英偉達(dá)打造了fVDB，這是一個(gè)專為稀疏、大規(guī)模和高性能空間智能而設(shè)計(jì)的深度學(xué)習(xí)框架。

fVDB建立在OpenVDB上，OpenVDB 是一個(gè)行業(yè)標(biāo)準(zhǔn)的結(jié)構(gòu)和程序庫，用于模擬和渲染水、火、煙和云等稀疏體積數(shù)據(jù)。fVDB 提供的空間規(guī)模是以前框架的四倍，性能是以前框架的 3.5 倍，并且可以訪問大量現(xiàn)實(shí)世界數(shù)據(jù)集。它通過組合以前需要多個(gè)深度學(xué)習(xí)庫的功能來簡化流程。

開源模塊化框架Isaac Lab提供模擬 加快機(jī)器人學(xué)習(xí)

英偉達(dá)同時(shí)推出Isaac Lab，它是一個(gè)用于機(jī)器人學(xué)習(xí)的開源模塊化框架，可以解決傳統(tǒng)訓(xùn)練方法對(duì)機(jī)器人學(xué)習(xí)技能的限制。

Isaac Lab 為不同的訓(xùn)練環(huán)境提供模塊化的高保真模擬，提供物質(zhì)世界AI功能和 GPU 驅(qū)動(dòng)的物質(zhì)世界模擬。

Isaac Lab 支持模仿學(xué)習(xí)（模仿人類）和強(qiáng)化學(xué)習(xí)（通過反復(fù)試驗(yàn)學(xué)習(xí)），為任何機(jī)器人實(shí)現(xiàn)提供靈活的訓(xùn)練方法。它為訓(xùn)練場景提供了一個(gè)用戶友好的環(huán)境，可幫助機(jī)器人制造商根據(jù)不斷變化的業(yè)務(wù)需求添加或更新機(jī)器人技能。

用英偉達(dá)NIM和VIA微服務(wù)打造VLM 驅(qū)動(dòng)的視覺AI代理

英偉達(dá)為物質(zhì)世界的AI量身定制了NIM，支持語音和翻譯、視覺以及逼真的動(dòng)畫和行為。英偉達(dá)推出VIA微服務(wù)，現(xiàn)已可在開發(fā)者預(yù)覽版中下載。

VIA微服務(wù)可以輕松與NIM集成，用戶可以在英偉達(dá)的模型預(yù)覽API和可下載NIM微服務(wù)API目錄中靈活使用任何LLM或VLM模型。VIA微服務(wù)是英偉達(dá)Metropolis微服務(wù)的擴(kuò)展，是云原生構(gòu)建塊，可加快VLM和NIM驅(qū)動(dòng)的視覺AI代理開發(fā)速度，無論部署在邊緣還是云端。

借助生成式 AI、NIM微服務(wù)和基礎(chǔ)模型，現(xiàn)在用戶可以用更少的模型，構(gòu)建具有廣泛感知和豐富上下文理解的App。VLM支持能夠理解自然語言提示并執(zhí)行視覺問答的視覺 AI 代理。視覺AI代理使用計(jì)算機(jī)視覺功能來感知物質(zhì)世界并與其交互、執(zhí)行推理任務(wù)。

這些代理能充分釋放了各行各業(yè)應(yīng)用的可能性，它們能顯著簡化App開發(fā)的工作流程，并提供了變革性的新感知功能，例如圖像或視頻摘要、交互式視覺問答和視覺警報(bào)。這些視覺AI代理將可以部署在工廠、倉庫、零售店、機(jī)場、交通路口等地，將幫助運(yùn)營團(tuán)隊(duì)利用自然互動(dòng)中產(chǎn)生的更豐富見解，做出更好的決策。

Omniverse Replicator幫助解決限制模型訓(xùn)練的數(shù)據(jù)短缺問題

英偉達(dá)介紹了如何用NIM微服務(wù)為USD建立自定義合成數(shù)據(jù)生成 (SDG) 管道，該微服務(wù)采用了英偉達(dá)的Omniverse Replicator。Omniverse Replicator是基于通用場景描述 (OpenUSD) 和英偉達(dá)RTX構(gòu)建的 SDK。

開發(fā)人員可以使用 NIM微服務(wù)和 Omniverse Replicator 等來構(gòu)建支持生成式AI 的SDG管道，解決通常會(huì)限制模型訓(xùn)練的現(xiàn)實(shí)世界數(shù)據(jù)短缺問題。

英偉達(dá)的Omniverse和模擬技術(shù)副總裁 Rev Lebaredian 說：

“我們構(gòu)建了世界上第一個(gè)能夠理解基于OpenUSD的語言、幾何、材料、物理和空間的生成式AI模型。”

Lebaredian稱，2016 年以來，英偉達(dá)一直在投資OpenUSD，使工業(yè)企業(yè)和物質(zhì)AI開發(fā)人員能夠更輕松、更快地開發(fā)高性能模型。

英偉達(dá)還與共同創(chuàng)立了OpenUSD聯(lián)盟的蘋果合作，構(gòu)建了從英偉達(dá)由圖形就緒數(shù)據(jù)中心組成的網(wǎng)絡(luò)——Graphics Delivery Network、到蘋果Apple Vision Pro在內(nèi)的混合渲染管道流。