總部位于以色列特拉維夫的人工智能(AI)公司Adversa.AI的使命是建立對人工智能的信任，并保護人工智能免受網絡威脅、隱私問題和安全事件的影響。該公司開發出了攻擊類的產品：針對人臉識別系統的攻擊，可以欺騙算法錯誤解讀圖像。

　　Adversa.AI開發了一種欺騙或愚弄了PimEyes（被《華盛頓郵報》描述為地球上最有能力的人臉搜索工具之一）的黑盒攻擊，該公司的首席執行官兼聯合創始人亞歷克斯·波利亞科夫（Alex Polyakov）（這個人也可以是任何人）竟然是埃隆·馬斯克（也可以是其他人）。反方稱這種攻擊為“對抗性章魚”，因為像章魚一樣，它具有強適應性、隱形特性和精確性。

　　Adversa首席技術官和聯合創始人Eugene Neelou向SecurityWeek解釋了原因。“提高人們對人工智能算法安全的普遍認識很重要——無論是面部識別，就像這次的案例，還是其他人工智能驅動的應用：：從互聯網平臺、社交網絡到自動駕駛汽車、語音輔助等等。”所有這些都基于深度學習，而深度學習在安全方面存在根本性問題。“

　　當人工智能和機器學習首次被引入網絡安全領域時，它們常常被視為——有時也被推銷——終結黑客攻擊的靈丹妙藥。但這永遠不會是真的。歷史表明，每當一種新技術被引入計算領域，很快就會出現針對或使用同一技術的攻擊。

　　Neelou繼續說道：：”（對抗式章魚）方法是在AI紅隊的一個項目中開發的，該項目涉及創建多種方法來繞過基于AI的面部識別解決方案。“”我們決定檢查一下我們的攻擊在多大程度上適用于大規模的互聯網應用程序，而且這種攻擊在PimEyes（以及其他平臺）上表現得出奇地好。“

　　過去幾年里，人們對人工智能安全威脅的認識迅速增長。2019年11月，微軟發表了一篇題為《機器學習中的故障模式》（Failure Modes In Machine Learning）的論文，其中對人工智能系統中有意和無意的故障進行了令人驚訝的詳細分類。

　　Adversa.AI公司于2021年4月21日發表了一份題為《安全可信的人工智能之路》的報告。報告指出：”最近人工智能的指數級增長促使政府、學術界和產業界在過去兩年中發表的研究比過去20年多。“然而，盡管人們越來越意識到人工智能可能被濫用，但公眾對它可能帶來的后果知之甚少——除了色情行業大量使用的深度造假。

　　”對抗章魚“就是為了改變這一點而開發。Neelou解釋道：”我們的目標是強調在現實場景中保護關鍵任務AI系統的問題。“這就是為什么我們開發了適用于真實環境的高級攻擊方法，面部識別是我們的研究目標之一。”

　　選擇的攻擊方法是向圖像中注入噪聲。“通過注入噪音來欺騙人工智能系統并不是什么新鮮事。這種類型的攻擊被稱為躲避，是利用人工智能系統的最常見方式。”學術界記錄了數千起躲避攻擊事件。然而，目前的分類方法大多集中在通用圖像分類上，存在各種局限性。《對抗性章魚》有許多不同之處，但最重要的是它不需要任何關于AI算法的知識。“

　　簡化了——也許是過于簡化了——這個過程，它針對波利亞科夫的兩張照片。其中一張原始照片被上傳到PimEyes，以確保這張臉在數據庫中。第二種是將Adversa的噪聲注入到圖像中，讓面部識別算法識別出這張照片就是特斯拉和SpaceX的首席執行官埃隆·馬斯克。從視覺上看，這張照片仍然是純粹的波利亞科夫，但當PimEyes在互聯網上發現它時，它攝取了這張照片，并將其解讀為埃隆·馬斯克。

　　對抗章魚就是為了改變這一點而造的。Neelou解釋道：”我們的目標是強調在現實場景中保護關鍵任務AI系統的問題。“這就是為什么我們開發了適用于真實環境的高級攻擊方法，面部識別是我們的研究目標之一。”

　　對抗性章魚把理論變成了現實。Neelou說：“已知有針對生物識別安全的演示攻擊和深度偽造事件。”“我們的攻擊方法可能是執行此類攻擊的另一種方式。然而，我們認為偽造數字身份也可以成為詐騙者有利可圖的目標。我們認為這種威脅不僅僅是生物識別技術——有許多人工智能算法會根據照片做出關鍵決定。他們可以成為更大的目標。”

　　一個相關的博客寫道：“黑客活動分子可能會對人工智能驅動的互聯網平臺造成嚴重破壞，這些平臺使用人臉屬性作為任何決策或進一步訓練的輸入。攻擊者可以通過操縱大型互聯網公司的個人資料圖片毒害或逃避它們的算法。微軟總結的機器學習有意的故障/失敗和無意的故障的總結。

　　網絡犯罪分子可以竊取個人身份，繞過銀行、交易平臺或其他提供認證遠程協助的服務中人工智能驅動的生物識別或身份驗證系統。這種攻擊在任何可以應用傳統深度偽造的情況下都可以更加隱蔽。

　　恐怖分子或持不同政見者可能秘密地利用它在社交媒體上隱藏他們的互聯網活動，不讓執法部門知道。它就像是我們當前生活的虛擬世界的面具或假身份。“

　　Neelou認為，問題在于所有深度學習算法從根本上來說都是脆弱的，目前還沒有可靠且通用的防御手段。Adversa已經測試了開源人工智能模型和人工智能在線api，發現其中大多數都很脆弱。如果人臉識別供應商將人工智能作為其核心技術，這可能是他們產品安全的最薄弱環節，因為威脅是新的。

　　”與傳統軟件不同，每個人工智能系統都是獨特的，沒有通用的安全補丁，“Neelou告訴《安全周刊》。”公司必須在他們的AI開發過程中納入安全測試——也就是AI紅隊測試。他們還應該將其實踐整合到網絡安全生命周期中，包括預測、預防、檢測和響應能力。要想通過手工操作、使用開源工具或付費購買商業解決方案來保護自己的人工智能系統，這取決于組織。“但現實是，人工智能系統需要比現在更安全——這正是設計《對抗章魚》的目的。

　　目前，Adversa沒有公布攻擊方法的細節。但是，Neelou表示：”隨著研究科學家專注于保護人工智能，我們計劃發布一份白皮書，介紹我們的攻擊方法的技術細節。“在這一點上，貓將不是簡單的鴿子，因為對抗性章魚，貓可能看起來是鴿子之一。

　　Adversa.AI公司在其項目聲明中表示，他們的AI紅隊以增加對AI的信任為使命，不斷探索評估和保護關鍵任務AI應用的新方法。

　　最近，他們發現了一種攻擊面部識別系統的新方法，并決定在實踐中展示它。他們的演示表明，目前人工智能驅動的面部識別工具很容易受到攻擊，可能會導致嚴重的后果。

　　面部識別系統中存在一些眾所周知的問題，比如可能導致欺詐甚至錯誤起訴的偏見。然而，他們認為，針對人工智能系統的攻擊需要更多的關注。其目標是提高認識，并幫助企業和政府處理新興的對抗性機器學習問題。