3 月 10 日消息,“稚暉君”創業項目智元機器人今日發布了首個通用具身基座模型 —— 智元啟元大模型(Genie Operator-1),它開創性地提出了 Vision-Language-Latent-Action(ViLLA)架構,該架構由 VLM(多模態大模型)+ MoE(混合專家)組成,實現了可以利用人類視頻學習,完成小樣本快速泛化,降低了具身智能門檻,并成功部署到智元多款機器人本體。
2024 年底,智元推出了 AgiBot World,包含超過 100 萬條軌跡、涵蓋 217 個任務、涉及五大場景的大規模高質量真機數據集?;?AgiBot World,智元今天正式發布智元通用具身基座大模型 Genie Operator-1(GO-1)。
它開創性地提出了 Vision-Language-Latent-Action(ViLLA)架構,該架構由 VLM(多模態大模型)+ MoE(混合專家)組成:
VLM 借助海量互聯網圖文數據獲得通用場景感知和語言理解能力
MoE 中的 Latent Planner(隱式規劃器)借助大量跨本體和人類操作視頻數據獲得通用的動作理解能力
MoE 中的 Action Expert(動作專家)借助百萬真機數據獲得精細的動作執行能力
通過 ViLLA 架構,智元機器人在五種不同復雜度任務上測試 GO-1,相比已有的最優模型,GO-1 成功率大幅領先,平均成功率提高了 32%(46%->78%)。其中“Pour Water”(倒水)、“Table Bussing”(清理桌面)和“Restock Beverage”(補充飲料)任務表現尤為突出。
此外智元機器人還單獨驗證了 ViLLA 架構中 Latent Planner 的作用,可以看到增加 Latent Planner 可以提升 12% 的成功率(66%->78%)。
GO-1 大模型借助人類和多種機器人數據,可泛化應用到各類的環境和物品中,快速適應新任務、學習新技能。同時,它還支持部署到不同的機器人本體完成落地,并在實際的使用中持續不斷地快速進化。
這一系列的特點可以歸納為 4 個方面:
人類視頻學習:GO-1 大模型可以結合互聯網視頻和真實人類示范進行學習,增強模型對人類行為的理解,更好地為人類服務。
小樣本快速泛化:GO-1 大模型具有強大的泛化能力,能夠在極少數據甚至零樣本下泛化到新場景、新任務,降低了具身模型的使用門檻,使得后訓練成本非常低。
一腦多形:GO-1 大模型是通用機器人策略模型,能夠在不同機器人形態之間遷移,快速適配到不同本體,群體升智。
持續進化:GO-1 大模型搭配智元一整套數據回流系統,可以從實際執行遇到的問題數據中持續進化學習,越用越聰明。
智元機器人還預告了下一代具身智能機器人產品,不過沒有透露推出時間。