以AI代理輔助甚至取代真人員工,是當前企業AI應用的熱門話題,由此也延伸出資安方面的議題——AI代理是否會像真人員工一樣遭到社交工程欺騙?資安廠商Varonis旗下威脅研究團隊近日發布報告,揭露針對開源AI代理平臺OpenClaw進行的安全測試研究,結果發現,即使為AI代理設定明確的安全政策,攻擊者仍可透過社交工程手法,誘騙AI代理洩漏敏感資訊。
研究團隊在OpenClaw平臺部署一套Pinchy電子郵件AI代理,並將其連接至模擬企業環境的Google Workspace與Gmail帳號,測試環境中包含模擬的AWS憑證、CRM資料、內部郵件與行事曆等企業常見敏感資料,由AI代理依據收到的郵件,透過瀏覽器、Shell指令與Workspace API,自動執行委派的工作。然後研究團隊透過多種情境,測試AI代理能否識別釣魚行為。
在第一個測試案例中,攻擊者冒充公司團隊負責人寄送郵件,以遭遇系統問題為由,要求提供測試環境的存取資訊,但AI代理未能有效驗證寄件者身分,竟直接將AWS IAM金鑰、資料庫密碼及SSH憑證轉寄至外部Gmail帳號。在第二個測試案例中,AI代理則向偽冒的發信者傳送CRM系統匯出檔案,其中包含247家企業客戶資料與每月財務資料。在這兩個案例中,研究團隊已預先向AI代理下達安全指示,要求在處理敏感請求之前必須驗證身分,但仍未能防止AI代理遭到誘騙。不過在另兩個測試案例中,AI代理則成功識別出釣魚信件中的惡意連結,以及偽造的OAuth授權頁面。
針對前述測試結果,Varonis研究團隊表示AI代理在部分情境下的安全性,已超過許多真人用戶,能有效識別可疑URL、虛假登入入口網站、惡意OAuth提示與冒充網域。但在社交層面上,AI代理在判斷人員身分、組織關係與授權範圍等情境,仍相當脆弱。
為了緩解AI代理在社交層面上的弱點,研究團隊建議應將AI代理的行為政策設定檔案,做為強制實施的基本安全措施,同時還須隔離AI代理對敏感資料的存取範圍,並在AI代理執行高權限操作時(如轉發憑證與提供財務資料等),引進人工審核機制。