當(dāng)?shù)貢r(shí)間 1 月 23 日,OpenAI 正式推出了其首款 AI 智能體 Operator。
它可以通過(guò)自帶的瀏覽器獨(dú)立瀏覽網(wǎng)頁(yè),并通過(guò)鍵入、單擊和滾動(dòng)來(lái)與之交互,能夠完成填寫表格、訂購(gòu)日常用品,甚至是創(chuàng)建表情包的任務(wù)。
(來(lái)源:OpenAI)
OpenAI 表示,“它目前處于研究預(yù)覽階段,這意味著它存在局限性,并將根據(jù)用戶反饋不斷變化。Operator 是我們的第一批智能體(Agent)之一,它們是能夠獨(dú)立為你工作的 AI,你給它一個(gè)任務(wù),它就會(huì)執(zhí)行。”
Operator 將首先向美國(guó)的 ChatGPT Pro 訂閱用戶推出。OpenAI 表示,它計(jì)劃最終將此功能推廣給其 Plus、Team 和 Enterprise 級(jí)別的更多用戶群體。作為一項(xiàng)研究預(yù)覽工作,它目前可通過(guò)獨(dú)立網(wǎng)站訪問(wèn),OpenAI 表示,希望很快將 Operator 集成到其所有 ChatGPT 應(yīng)用中。
山姆·奧特曼(Sam Altman)對(duì)這項(xiàng)技術(shù)充滿期待和信心。這位 OpenAI CEO 在發(fā)布會(huì)直播中明確表示:“這款產(chǎn)品是我們進(jìn)軍智能體領(lǐng)域的開(kāi)始。”
與此同時(shí),OpenAI 總裁兼聯(lián)合創(chuàng)始人格雷格·布羅克曼(Greg Brockman)也在 X 上寫道:“2025 年將是智能體元年。”
作為 ChatGPT 的重大升級(jí),Operator 不僅僅是一個(gè)簡(jiǎn)單的信息處理工具,更是直接展現(xiàn)了 AI 工具從被動(dòng)接收信息向主動(dòng)行動(dòng)的關(guān)鍵跨越。
圖 | 在演示視頻中,Operator 可以網(wǎng)購(gòu)食物(來(lái)源:OpenAI)
Operator 的核心能力是替代人類進(jìn)行一系列電腦操作。
作為一個(gè)智能體,它可以像真人一樣流暢地瀏覽網(wǎng)頁(yè),精準(zhǔn)地點(diǎn)擊、滾動(dòng)、填寫表單,甚至能獨(dú)立完成訂票、購(gòu)物、訂餐等相當(dāng)復(fù)雜的任務(wù)。不同于傳統(tǒng)的虛擬助手,這款 AI 助手真正具備了“行動(dòng)”的能力,而非僅僅給出建議或答復(fù)。
Operator 背后的技術(shù)被 OpenAI 稱為“計(jì)算機(jī)使用智能體(Computer-Using Agent,簡(jiǎn)稱 CUA)”模型。這一全新模型巧妙地結(jié)合了 GPT-4o 的視覺(jué)識(shí)別能力和高級(jí)推理技術(shù),可以通過(guò)截圖“理解”網(wǎng)頁(yè),并像人類一樣精準(zhǔn)操作鼠標(biāo)和鍵盤。
CUA 經(jīng)過(guò)訓(xùn)練,可以像人類一樣與圖形用戶界面(GUI,Graphical User Interface)進(jìn)行交互,包括人們?cè)谄聊簧峡吹降陌粹o、菜單和文本。這使它能夠靈活地執(zhí)行數(shù)字任務(wù),而無(wú)需使用特定于操作系統(tǒng)或網(wǎng)絡(luò)的 API。
圖 | Operator 可以根據(jù)指令預(yù)定餐廳(來(lái)源:OpenAI)
根據(jù)用戶的指令,CUA 通過(guò)集成感知、推理和動(dòng)作的迭代循環(huán)進(jìn)行操作,其工作原理大致分為三個(gè)關(guān)鍵階段。
感知:將屏幕截圖添加到模型的上下文中,提供計(jì)算機(jī)當(dāng)前狀態(tài)的視覺(jué)快照,用于詳細(xì)分析頁(yè)面內(nèi)容和結(jié)構(gòu)。
推理:使用復(fù)雜的思路鏈推理后續(xù)步驟,同時(shí)考慮當(dāng)前和過(guò)去的屏幕截圖和操作。這使其能夠評(píng)估其觀察結(jié)果、跟蹤中間步驟并動(dòng)態(tài)調(diào)整,從而提高任務(wù)表現(xiàn)。
操作:執(zhí)行操作(單擊、滾動(dòng)或鍵入),直到確定任務(wù)已完成或需要用戶輸入。雖然 CUA 會(huì)自動(dòng)處理大多數(shù)步驟,但對(duì)于敏感操作(例如輸入登錄詳細(xì)信息或填寫驗(yàn)證碼),CUA 會(huì)尋求用戶確認(rèn)。
這種決策過(guò)程使 Operator 能夠在不同的網(wǎng)頁(yè)環(huán)境中靈活應(yīng)對(duì)。尤其是在 WebArena 和 WebVoyager 兩項(xiàng)瀏覽器操作測(cè)試中,驅(qū)動(dòng) Operator 的 CUA 模型展現(xiàn)出了令人印象深刻的表現(xiàn)。
圖 | Operator 在不同任務(wù)中的測(cè)試成績(jī),全面超過(guò)了此前 SOTA(來(lái)源:OpenAI)
WebArena 利用自托管的開(kāi)源網(wǎng)站離線模擬網(wǎng)購(gòu)、在線商店內(nèi)容管理、社交論壇等網(wǎng)絡(luò)場(chǎng)景。WebVoyager 則在 Amazon、GitHub 和 Google Maps 等真實(shí)網(wǎng)站上測(cè)試模型的性能。不過(guò) WebAreana 的任務(wù)相對(duì)更加復(fù)雜。
CUA 在 WebArena 上的成功率為 58.1%,而在 WebVoyager 測(cè)試中,其在實(shí)際網(wǎng)站導(dǎo)航中取得了驚人的 87% 成功率,可以獨(dú)立完成從在線購(gòu)物到旅行預(yù)訂的各種任務(wù),展現(xiàn)出了令人興奮的潛力。
除了基礎(chǔ)瀏覽能力,Operator 還具備個(gè)性化定制功能。用戶可以為特定網(wǎng)頁(yè)或全站添加自定義指令,并在主頁(yè)保存這些指令,實(shí)現(xiàn)跨聊天窗口的多任務(wù)并行處理。這種靈活性極大地提升了其實(shí)用價(jià)值。
此外,在 OSWorld 基準(zhǔn)測(cè)試中(用于評(píng)估模型控制 Ubuntu、Windows 和 macOS 等完整操作系統(tǒng)的能力),CUA 的成功率為 38.1%。不過(guò),人類在這項(xiàng)測(cè)試中的平均成績(jī)是 72.4%,說(shuō)明 AI 還有很大的進(jìn)步空間。
OpenAI 還表示,其觀察到隨著測(cè)試時(shí)間的增加(這意味著允許進(jìn)行更多操作步驟),CUA 的表現(xiàn)會(huì)提高。
圖 | 隨著最大允許步驟數(shù)的增加,CUA 的表現(xiàn)也越來(lái)越好(來(lái)源:OpenAI)
考慮到 AI 智能體可能帶來(lái)的潛在風(fēng)險(xiǎn),OpenAI 在 Operator 中設(shè)置了多重嚴(yán)格的安全機(jī)制。用戶可以隨時(shí)接管控制權(quán),填寫信用卡信息和確認(rèn)付款等敏感操作都需要人工明確確認(rèn)。
目前,Operator 還被限制不能處理銀行交易、發(fā)送電子郵件(盡管 CUA 可以做到這一點(diǎn))、刪除日歷事項(xiàng)等高風(fēng)險(xiǎn)任務(wù)。
除了用戶控制機(jī)制,Operator 還配備了濫用防范系統(tǒng)。它能夠識(shí)別并拒絕有害請(qǐng)求,并在檢測(cè)到可疑活動(dòng)時(shí)立即暫停執(zhí)行。它還配有黑名單機(jī)制,許多賭博網(wǎng)站、成人娛樂(lè)網(wǎng)站以及毒品或槍支零售網(wǎng)站都無(wú)法訪問(wèn)。
圖 | OpenAI 介紹的一些安全措施(來(lái)源:OpenAI)
OpenAI 在其網(wǎng)站上解釋道,Operator 使用的監(jiān)控系統(tǒng)旨在限制模型嘗試惡意提示、隱藏指令和網(wǎng)絡(luò)釣魚。如果檢測(cè)到可疑活動(dòng),監(jiān)控系統(tǒng)會(huì)暫停 Operator 的工作,而自動(dòng)和人工審查機(jī)制會(huì)不斷更新保障措施。
不過(guò)即使是瀏覽網(wǎng)頁(yè)和操作電腦,Operator 目前也存在一定局限性。OpenAI 表示,“目前還不能指望 CUA 在所有場(chǎng)景下都能可靠運(yùn)行。”
例如,它還無(wú)法可靠地處理許多復(fù)雜或?qū)I(yè)的任務(wù),例如創(chuàng)建詳細(xì)的幻燈片、管理復(fù)雜的日歷系統(tǒng),或與高度定制或非標(biāo)準(zhǔn)的 Web 界面進(jìn)行交互。
與此同時(shí),許多網(wǎng)站(如 Reddit)已經(jīng)阻止 AI 智能體瀏覽,因此 Operator 無(wú)法訪問(wèn)它們。在這種研究預(yù)覽模式下,出于性能或法律原因,OpenAI 還阻止了 Operator 訪問(wèn)某些資源密集型網(wǎng)站(如 Figma)或直接競(jìng)爭(zhēng)對(duì)手擁有的網(wǎng)站(如 YouTube)。
最后,CEO 奧特曼在直播中表示,Operator 是 OpenAI 的“第一批智能體”,未來(lái)幾周和幾個(gè)月還會(huì)推出更多的智能體。
越來(lái)越多的 AI 智能體出現(xiàn),標(biāo)志著 AI 正從被動(dòng)的信息處理工具,轉(zhuǎn)變?yōu)橹鲃?dòng)的數(shù)字生態(tài)系統(tǒng)參與者。無(wú)論是簡(jiǎn)化日常事務(wù),還是創(chuàng)新商業(yè)工作流程,AI 正在變得越來(lái)越實(shí)用。人類與 AI 的協(xié)作,正在從想象逐漸變?yōu)楝F(xiàn)實(shí)。