根據Adversa的最新研究，人工智能行業還沒有做好防御黑客對AI系統攻擊的準備。

　　近日，微軟宣布開源了一種人工智能系統的安全測試工具——Counterfit。微軟最初開發該工具來測試自己的AI系統的安全性，在評估其漏洞之后，微軟決定開源Counterfit，以幫助組織驗證他們使用的AI算法是否“健壯、可靠且值得信賴”。

　　Counterfit最初是為針對單個AI模型編寫的攻擊腳本的集合，但Microsoft卻將其變成了自動化工具，可以大規模攻擊多個AI系統。

　　“今天，我們常規地將Counterfit用作我們的AI紅隊運營的一部分。我們發現，自動化MITRE的Adversarial ML威脅矩陣中的技術并將其與Microsoft自己的生產環境AI服務進行重放以主動掃描特定于AI的漏洞很有幫助。微軟公司的Azure Trustworthy ML團隊的Will Pearce和Ram Shankar Siva Kumar解釋說：”我們在AI開發階段就導入Counterfit，以在AI系統中的漏洞投入生產之前發現它們。“

　　Counterfit是一種命令行工具，可以在云中或本地安裝和部署。該工具與環境無關：評估后的AI模型可以托管在本地或邊緣的云環境中。

　　”該工具將其AI模型的內部工作抽象化，以便安全專業人員可以專注于安全評估。Counterfit使安全社區可以訪問已發布的攻擊算法，并有助于提供一個可擴展的接口，通過該接口可以開發、管理和發起對AI模型的攻擊。“

　　Counterfit還可以用于滲透測試和紅隊AI系統（通過使用預加載的已發布攻擊算法），掃描其中的漏洞并進行日志記錄（記錄針對目標模型的攻擊）。

　　Counterfit的另一個優點是可以在使用不同數據類型（文本、圖像或通用輸入）的AI模型上運行。

　　在開放源代碼之前，Microsoft已要求大型組織、中小企業和政府組織中的合作伙伴針對其環境中的ML模型對該工具進行測試，以確保它可以滿足每個人的需求。

　　MITRE在最近的報告中指出：”過去三年中，包括谷歌、亞馬遜、微軟和特斯拉等公司的機器學習系統都曾被欺騙、繞過或誤導，此類攻擊將來只會越來越多。“