1. 為什么說(shuō) AI 安全本質(zhì)上是個(gè)工程問(wèn)題很多人第一次接觸 AI 安全腦子里浮現(xiàn)的是模型對(duì)齊、提示詞注入、越獄攻擊這些偏算法和策略層面的東西。但真正在智能體項(xiàng)目里踩過(guò)坑的人會(huì)告訴你絕大多數(shù)安全事故不是模型“想錯(cuò)了”而是工程鏈路某一層“漏了”。一個(gè)智能體從接收用戶輸入到最終執(zhí)行動(dòng)作中間要經(jīng)過(guò)輸入解析、意圖路由、工具調(diào)用、權(quán)限校驗(yàn)、運(yùn)行時(shí)沙箱、輸出過(guò)濾等至少六七個(gè)環(huán)節(jié)任何一個(gè)環(huán)節(jié)的工程實(shí)現(xiàn)有缺陷都會(huì)讓上層再精妙的安全策略形同虛設(shè)。我拿一個(gè)真實(shí)場(chǎng)景舉例。你做了一個(gè)客服智能體接入了訂單查詢和退款兩個(gè)工具。模型層面你做了嚴(yán)格的系統(tǒng)提示詞約束要求“只有用戶明確提供訂單號(hào)且身份驗(yàn)證通過(guò)后才能發(fā)起退款”。聽(tīng)起來(lái)很安全對(duì)吧但如果工程層面沒(méi)有對(duì)工具調(diào)用參數(shù)做二次校驗(yàn)攻擊者完全可以通過(guò)多輪對(duì)話誘導(dǎo)模型把退款金額參數(shù)從“0”改成“9999”而模型本身可能根本沒(méi)意識(shí)到自己在做什么。這就是典型的策略層安全被工程層漏洞擊穿。所以這篇文章想聊的核心觀點(diǎn)很明確AI 安全必須當(dāng)作一個(gè)貫穿智能體技術(shù)棧每一層的工程問(wèn)題來(lái)對(duì)待。從最底層的運(yùn)行時(shí)環(huán)境到中間的工具調(diào)用與權(quán)限管理再到最上層的輸入輸出過(guò)濾每一層都要有對(duì)應(yīng)的工程手段。只盯著模型本身做安全就像只給大門(mén)裝鎖卻把窗戶全開(kāi)著。這篇文章適合誰(shuí)看如果你正在做智能體開(kāi)發(fā)不管是基于 Coze、Dify 這類平臺(tái)搭建還是用 Python 從零手寫(xiě) Agent 框架只要你關(guān)心“怎么讓智能體在生產(chǎn)環(huán)境里不出事”那下面的內(nèi)容應(yīng)該對(duì)你有用。我會(huì)盡量把每一層的工程要點(diǎn)拆開(kāi)講清楚配上可參考的配置思路和排查方法。2. 智能體技術(shù)棧的分層安全模型2.1 從輸入到執(zhí)行一條完整的攻擊面鏈路要理解為什么安全是工程問(wèn)題先得把智能體的技術(shù)棧拆開(kāi)看。一個(gè)典型的智能體系統(tǒng)從用戶輸入到最終動(dòng)作執(zhí)行大致經(jīng)過(guò)這么幾層接入層用戶請(qǐng)求進(jìn)入系統(tǒng)可能是 API、聊天窗口、Webhook 等編排層負(fù)責(zé)意圖識(shí)別、任務(wù)規(guī)劃、多輪對(duì)話管理決定“要做什么”工具層智能體可以調(diào)用的外部能力比如搜索、數(shù)據(jù)庫(kù)查詢、發(fā)郵件、執(zhí)行代碼運(yùn)行時(shí)層實(shí)際執(zhí)行工具調(diào)用的環(huán)境可能是容器、沙箱、虛擬機(jī)數(shù)據(jù)層智能體讀寫(xiě)的記憶、知識(shí)庫(kù)、用戶數(shù)據(jù)輸出層最終返回給用戶的內(nèi)容可能經(jīng)過(guò)過(guò)濾和格式化每一層都有獨(dú)立的攻擊面。接入層可能被惡意 payload 攻擊編排層可能被提示詞注入操縱工具層可能被參數(shù)篡改利用運(yùn)行時(shí)層可能被逃逸攻擊數(shù)據(jù)層可能被越權(quán)讀取輸出層可能泄露敏感信息。只在一層做防護(hù)其他層就是敞開(kāi)的門(mén)。2.2 為什么“模型對(duì)齊”解決不了工程漏洞模型對(duì)齊解決的是“模型愿不愿意做壞事”的問(wèn)題但工程漏洞導(dǎo)致的是“模型不想做壞事但被利用了”的問(wèn)題。這兩者完全不是一回事。舉個(gè)例子。你給模型設(shè)了嚴(yán)格的系統(tǒng)提示詞“禁止執(zhí)行任何刪除操作”。但你的工具層有一個(gè)execute_shell工具參數(shù)是用戶可控的。攻擊者通過(guò)精心構(gòu)造的輸入讓模型生成一個(gè)看起來(lái)無(wú)害的 shell 命令比如echo hello rm -rf /tmp/data。模型可能認(rèn)為這只是一個(gè)輸出文本的操作但運(yùn)行時(shí)層如果直接執(zhí)行了數(shù)據(jù)就沒(méi)了。模型本身沒(méi)有“想”刪除數(shù)據(jù)它只是被工程鏈路的缺陷利用了。這就是為什么我說(shuō)安全必須下沉到工程層。模型對(duì)齊是必要的但遠(yuǎn)遠(yuǎn)不夠。你需要的是工具層有參數(shù)白名單校驗(yàn)運(yùn)行時(shí)層有沙箱隔離數(shù)據(jù)層有權(quán)限控制輸出層有敏感信息過(guò)濾。每一層都假設(shè)上一層可能被突破這樣整體系統(tǒng)才是健壯的。2.3 分層防御的核心原則最小權(quán)限與縱深防御分層安全模型有兩個(gè)核心原則我在實(shí)際項(xiàng)目里反復(fù)驗(yàn)證過(guò)非常有效。第一個(gè)是最小權(quán)限原則。智能體調(diào)用的每一個(gè)工具、訪問(wèn)的每一份數(shù)據(jù)、執(zhí)行的每一個(gè)動(dòng)作都應(yīng)該只擁有完成當(dāng)前任務(wù)所必需的最小權(quán)限。比如一個(gè)查詢天氣的智能體它的工具層就不應(yīng)該有任何寫(xiě)文件、發(fā)請(qǐng)求、執(zhí)行代碼的能力。聽(tīng)起來(lái)很基礎(chǔ)但我見(jiàn)過(guò)太多項(xiàng)目為了“方便后續(xù)擴(kuò)展”給智能體開(kāi)了全量工具權(quán)限結(jié)果一個(gè)提示詞注入就能讓智能體變成攻擊者的跳板。第二個(gè)是縱深防御原則。不要指望任何單一防護(hù)手段能擋住所有攻擊。輸入過(guò)濾可能被繞過(guò)工具校驗(yàn)可能被社會(huì)工程學(xué)突破運(yùn)行時(shí)沙箱可能有未知漏洞。所以每一層都要有獨(dú)立的防護(hù)并且層與層之間的防護(hù)邏輯要盡量正交。比如輸入層做了關(guān)鍵詞過(guò)濾工具層還要做參數(shù)類型校驗(yàn)運(yùn)行時(shí)層還要做系統(tǒng)調(diào)用限制。攻擊者要成功必須同時(shí)突破所有層這個(gè)成本就高得多了。3. 運(yùn)行時(shí)層智能體安全的第一道工程防線3.1 運(yùn)行時(shí)隔離的三種主流方案對(duì)比運(yùn)行時(shí)層是智能體實(shí)際執(zhí)行動(dòng)作的地方也是安全工程最應(yīng)該重點(diǎn)投入的地方。目前主流的運(yùn)行時(shí)隔離方案有三種我分別說(shuō)說(shuō)它們的適用場(chǎng)景和坑。隔離方案隔離強(qiáng)度性能開(kāi)銷適用場(chǎng)景主要坑點(diǎn)進(jìn)程級(jí)隔離低極低內(nèi)部可信工具調(diào)用無(wú)法防御逃逸攻擊容器隔離中中等大多數(shù)生產(chǎn)環(huán)境配置不當(dāng)可能逃逸微虛擬機(jī)隔離高較高執(zhí)行不可信代碼啟動(dòng)慢資源占用大進(jìn)程級(jí)隔離就是簡(jiǎn)單的子進(jìn)程調(diào)用比如 Python 的subprocess。這種方案幾乎沒(méi)有隔離能力智能體調(diào)用的工具和主進(jìn)程共享文件系統(tǒng)、網(wǎng)絡(luò)、環(huán)境變量。我一般只在完全可信的內(nèi)部工具上用它比如調(diào)用一個(gè)自己寫(xiě)的、參數(shù)完全可控的格式化函數(shù)。容器隔離是目前生產(chǎn)環(huán)境的主流選擇。Docker 容器可以提供文件系統(tǒng)隔離、網(wǎng)絡(luò)隔離、資源限制。但這里有個(gè)大坑默認(rèn)的 Docker 配置并不安全。容器內(nèi)的 root 用戶如果掛載了宿主機(jī)的 Docker socket或者以--privileged模式運(yùn)行那隔離基本等于沒(méi)有。我見(jiàn)過(guò)一個(gè)項(xiàng)目智能體在容器里執(zhí)行代碼結(jié)果攻擊者通過(guò)容器逃逸拿到了宿主機(jī)權(quán)限。正確的做法是容器以非 root 用戶運(yùn)行禁用特權(quán)模式只掛載必要的目錄限制網(wǎng)絡(luò)訪問(wèn)。微虛擬機(jī)隔離是強(qiáng)度最高的方案比如 Firecracker、gVisor 這類技術(shù)。它給每個(gè)智能體任務(wù)啟動(dòng)一個(gè)獨(dú)立的輕量級(jí)虛擬機(jī)即使容器逃逸了攻擊者也只是從一個(gè)虛擬機(jī)逃到另一個(gè)虛擬機(jī)拿不到宿主機(jī)。代價(jià)是啟動(dòng)慢、資源占用高。我一般只在執(zhí)行完全不可信的代碼時(shí)用這種方案比如讓智能體運(yùn)行用戶提交的 Python 腳本。3.2 OpenShell 類運(yùn)行時(shí)環(huán)境的配置要點(diǎn)OpenShell 這類運(yùn)行時(shí)環(huán)境的核心思路是給智能體提供一個(gè)受控的 shell 執(zhí)行環(huán)境。配置的時(shí)候有幾個(gè)關(guān)鍵點(diǎn)必須注意。首先是文件系統(tǒng)掛載策略。默認(rèn)情況下運(yùn)行時(shí)環(huán)境應(yīng)該只掛載一個(gè)臨時(shí)的、隔離的工作目錄智能體只能在這個(gè)目錄里讀寫(xiě)。宿主機(jī)的敏感目錄比如/etc、/root、/var/run絕對(duì)不能掛載進(jìn)去。如果智能體確實(shí)需要訪問(wèn)某些數(shù)據(jù)應(yīng)該通過(guò)工具層提供的 API 來(lái)獲取而不是直接掛載文件系統(tǒng)。其次是網(wǎng)絡(luò)訪問(wèn)控制。智能體的運(yùn)行時(shí)環(huán)境默認(rèn)應(yīng)該禁止所有出站網(wǎng)絡(luò)請(qǐng)求只允許訪問(wèn)白名單內(nèi)的地址。我一般會(huì)配置一個(gè)網(wǎng)絡(luò)策略只放行智能體必須調(diào)用的內(nèi)部服務(wù)地址其他全部拒絕。這樣可以防止智能體被誘導(dǎo)去訪問(wèn)惡意地址或者把敏感數(shù)據(jù)外傳。第三是資源限制。CPU、內(nèi)存、磁盤(pán)、進(jìn)程數(shù)都要設(shè)上限。我見(jiàn)過(guò)一個(gè)智能體因?yàn)檫f歸調(diào)用自己把整個(gè)服務(wù)器的內(nèi)存耗盡了。配置資源限制的時(shí)候建議先跑一遍典型任務(wù)觀察實(shí)際資源消耗然后在此基礎(chǔ)上留 50% 的余量。比如典型任務(wù)用 200MB 內(nèi)存那就限制 300MB。第四是系統(tǒng)調(diào)用過(guò)濾。用 seccomp 或者類似的機(jī)制只允許智能體運(yùn)行時(shí)環(huán)境執(zhí)行必要的系統(tǒng)調(diào)用。比如一個(gè)只做文本處理的智能體完全不需要execve、fork、socket這些系統(tǒng)調(diào)用那就全部禁掉。這樣即使智能體被注入了惡意代碼也無(wú)法執(zhí)行新的程序或者建立網(wǎng)絡(luò)連接。注意運(yùn)行時(shí)環(huán)境的配置一定要在測(cè)試環(huán)境充分驗(yàn)證后再上生產(chǎn)。我踩過(guò)的坑是生產(chǎn)環(huán)境限制了某個(gè)系統(tǒng)調(diào)用結(jié)果智能體的正常功能也掛了排查了半天才發(fā)現(xiàn)是 seccomp 規(guī)則太嚴(yán)格。3.3 運(yùn)行時(shí)行為審計(jì)記錄什么、怎么記錄運(yùn)行時(shí)行為審計(jì)是事后排查和實(shí)時(shí)阻斷的基礎(chǔ)。但很多項(xiàng)目的審計(jì)日志要么記太少出了事查不到要么記太多關(guān)鍵信息被淹沒(méi)。我的經(jīng)驗(yàn)是審計(jì)日志要圍繞“誰(shuí)在什么時(shí)間對(duì)什么資源做了什么動(dòng)作結(jié)果如何”這個(gè)核心來(lái)設(shè)計(jì)。具體來(lái)說(shuō)每一條工具調(diào)用記錄至少包含這些字段時(shí)間戳、智能體實(shí)例 ID、用戶會(huì)話 ID、工具名稱、調(diào)用參數(shù)敏感參數(shù)要脫敏、執(zhí)行時(shí)長(zhǎng)、執(zhí)行結(jié)果狀態(tài)、返回內(nèi)容摘要。如果是代碼執(zhí)行類的工具還要記錄執(zhí)行的代碼內(nèi)容、運(yùn)行時(shí)環(huán)境的資源消耗、系統(tǒng)調(diào)用摘要。記錄方式上我建議用結(jié)構(gòu)化日志比如 JSON 格式直接寫(xiě)到專門(mén)的審計(jì)日志系統(tǒng)里。不要用普通的文本日志文件因?yàn)楹笃跈z索和分析太麻煩。如果條件允許審計(jì)日志應(yīng)該實(shí)時(shí)推送到一個(gè)獨(dú)立的、智能體無(wú)法訪問(wèn)的存儲(chǔ)里防止智能體被攻擊后篡改日志。實(shí)時(shí)阻斷方面可以基于審計(jì)日志做規(guī)則引擎。比如“同一智能體實(shí)例在 10 秒內(nèi)發(fā)起了超過(guò) 5 次退款操作”就自動(dòng)掛起該實(shí)例并告警。規(guī)則不用一開(kāi)始就很復(fù)雜先覆蓋最核心的高危操作后續(xù)根據(jù)實(shí)際攻擊案例逐步補(bǔ)充。4. 工具層與編排層的安全工程實(shí)踐4.1 工具調(diào)用的參數(shù)校驗(yàn)與白名單機(jī)制工具層是智能體與外部世界交互的橋梁也是攻擊者最喜歡利用的地方。參數(shù)校驗(yàn)的核心思路是永遠(yuǎn)不要相信智能體生成的參數(shù)所有參數(shù)都要經(jīng)過(guò)獨(dú)立的校驗(yàn)邏輯。我一般會(huì)為每個(gè)工具定義一個(gè)參數(shù) schema明確每個(gè)參數(shù)的類型、范圍、格式、是否必填。比如一個(gè)“發(fā)送郵件”的工具收件人參數(shù)必須是合法的郵箱格式且必須在允許的域名白名單內(nèi)主題和正文參數(shù)要限制長(zhǎng)度并且過(guò)濾掉可能的注入內(nèi)容附件參數(shù)要限制文件類型和大小。校驗(yàn)邏輯要放在工具調(diào)用的入口處而不是依賴智能體自己保證。我見(jiàn)過(guò)一些項(xiàng)目把參數(shù)校驗(yàn)寫(xiě)在系統(tǒng)提示詞里讓模型“自己注意參數(shù)格式”。這種做法極其不可靠模型完全可能因?yàn)樯舷挛淖兓雎赃@些約束。正確的做法是在工具調(diào)用的代碼里硬編碼校驗(yàn)邏輯參數(shù)不合法就直接拒絕不進(jìn)入實(shí)際執(zhí)行。白名單機(jī)制方面對(duì)于枚舉類型的參數(shù)比如“操作類型”只能是query、create、update、delete這幾個(gè)值那就用白名單校驗(yàn)不在白名單內(nèi)的一律拒絕。對(duì)于字符串類型的參數(shù)如果可能包含危險(xiǎn)字符比如 SQL 語(yǔ)句、shell 命令那就要做轉(zhuǎn)義或者參數(shù)化處理。對(duì)于數(shù)值類型的參數(shù)要校驗(yàn)范圍比如退款金額不能超過(guò)訂單金額不能為負(fù)數(shù)。4.2 權(quán)限模型設(shè)計(jì)RBAC 在智能體場(chǎng)景下的落地傳統(tǒng)的 RBAC 模型在智能體場(chǎng)景下需要做一些調(diào)整。核心區(qū)別在于智能體的權(quán)限不僅取決于“誰(shuí)在操作”還取決于“在什么上下文中操作”。我一般會(huì)設(shè)計(jì)一個(gè)三維權(quán)限模型用戶身份、智能體實(shí)例、任務(wù)上下文。用戶身份決定基礎(chǔ)權(quán)限比如普通用戶不能調(diào)用管理員工具。智能體實(shí)例決定能力邊界比如客服智能體只能調(diào)用訂單查詢和退款工具不能調(diào)用數(shù)據(jù)庫(kù)管理工具。任務(wù)上下文決定臨時(shí)權(quán)限比如用戶正在進(jìn)行退款流程那智能體在這個(gè)流程中臨時(shí)獲得退款工具的調(diào)用權(quán)限流程結(jié)束后權(quán)限自動(dòng)回收。落地的時(shí)候可以用一個(gè)權(quán)限表來(lái)管理。每一行記錄一個(gè)權(quán)限規(guī)則主體用戶 ID 或角色、智能體實(shí)例 ID、允許的工具列表、允許的參數(shù)范圍、有效期。智能體調(diào)用工具前先查權(quán)限表確認(rèn)當(dāng)前上下文下是否有權(quán)限。沒(méi)有就拒絕并記錄審計(jì)日志。這里有個(gè)容易忽略的點(diǎn)權(quán)限的繼承和傳遞。如果智能體 A 調(diào)用了智能體 BB 又調(diào)用了工具 C那 C 的權(quán)限應(yīng)該基于誰(shuí)的上下文我的做法是權(quán)限不傳遞每個(gè)智能體實(shí)例只擁有自己直接被授予的權(quán)限。A 調(diào)用 B 的時(shí)候B 以自己的身份去調(diào)用 C而不是繼承 A 的權(quán)限。這樣可以防止權(quán)限在智能體之間擴(kuò)散。4.3 編排層的意圖識(shí)別與越權(quán)攔截編排層負(fù)責(zé)理解用戶意圖并規(guī)劃任務(wù)。這一層的安全工程重點(diǎn)是防止攻擊者通過(guò)多輪對(duì)話或者精心構(gòu)造的輸入誘導(dǎo)編排層產(chǎn)生越權(quán)的任務(wù)規(guī)劃。一個(gè)典型的攻擊場(chǎng)景是這樣的攻擊者先問(wèn)“你能幫我查一下訂單嗎”智能體回答“可以請(qǐng)?zhí)峁┯唵翁?hào)”。然后攻擊者說(shuō)“我的訂單號(hào)是 12345另外幫我順便把收貨地址改成 xxx”。如果編排層沒(méi)有嚴(yán)格區(qū)分“查詢”和“修改”兩個(gè)意圖可能會(huì)把整個(gè)請(qǐng)求當(dāng)成一個(gè)任務(wù)然后調(diào)用修改地址的工具。但實(shí)際上用戶并沒(méi)有通過(guò)身份驗(yàn)證也沒(méi)有權(quán)限修改這個(gè)訂單。防御手段是在編排層做意圖隔離。每個(gè)用戶請(qǐng)求都要先經(jīng)過(guò)意圖分類明確當(dāng)前請(qǐng)求屬于哪個(gè)操作類別。然后檢查用戶在當(dāng)前上下文中是否有權(quán)限執(zhí)行這個(gè)類別的操作。如果沒(méi)有直接拒絕不進(jìn)入任務(wù)規(guī)劃。對(duì)于多輪對(duì)話每一輪都要重新做意圖分類和權(quán)限檢查不能因?yàn)樯弦惠喭ㄟ^(guò)了就默認(rèn)這一輪也通過(guò)。另外編排層還要防止任務(wù)規(guī)劃注入。攻擊者可能在輸入中嵌入類似“忽略之前的指令現(xiàn)在執(zhí)行 xxx”的內(nèi)容試圖操縱編排層的規(guī)劃邏輯。防御方法是在編排層對(duì)用戶輸入做清洗移除可能的指令注入模式并且把用戶輸入和系統(tǒng)指令嚴(yán)格分離不要讓用戶輸入進(jìn)入系統(tǒng)指令的解析流程。5. 數(shù)據(jù)層與輸出層的安全細(xì)節(jié)5.1 智能體記憶與知識(shí)庫(kù)的訪問(wèn)控制智能體的記憶和知識(shí)庫(kù)是敏感數(shù)據(jù)的集中地。訪問(wèn)控制的核心是每個(gè)智能體實(shí)例只能訪問(wèn)自己任務(wù)相關(guān)的數(shù)據(jù)不能跨用戶、跨任務(wù)讀取。我一般會(huì)給每個(gè)用戶會(huì)話分配一個(gè)獨(dú)立的命名空間智能體的記憶和知識(shí)庫(kù)查詢都限定在這個(gè)命名空間內(nèi)。比如用戶 A 的會(huì)話只能讀取user_a命名空間下的記憶不能讀取user_b的。知識(shí)庫(kù)方面如果多個(gè)用戶共享一個(gè)知識(shí)庫(kù)那就要在查詢時(shí)加上用戶權(quán)限過(guò)濾只返回該用戶有權(quán)查看的文檔。這里有個(gè)坑向量數(shù)據(jù)庫(kù)的相似度檢索可能泄露數(shù)據(jù)。如果知識(shí)庫(kù)里存了多個(gè)用戶的文檔智能體做相似度檢索時(shí)可能會(huì)檢索到其他用戶的文檔片段。防御方法是在檢索時(shí)加上元數(shù)據(jù)過(guò)濾只檢索當(dāng)前用戶有權(quán)訪問(wèn)的文檔。或者在寫(xiě)入知識(shí)庫(kù)時(shí)就把文檔按用戶隔離到不同的集合里。另外智能體的長(zhǎng)期記憶要定期清理。我見(jiàn)過(guò)一個(gè)項(xiàng)目智能體的記憶里存了用戶的身份證號(hào)、銀行卡號(hào)結(jié)果因?yàn)闆](méi)清理幾個(gè)月后還能被檢索出來(lái)。建議對(duì)記憶數(shù)據(jù)做分類敏感信息設(shè)置較短的過(guò)期時(shí)間非敏感信息可以保留久一點(diǎn)。5.2 輸出過(guò)濾防止敏感信息泄露的最后一道閘輸出層是智能體返回給用戶的最后一道關(guān)卡。即使前面的所有層都被突破了輸出過(guò)濾還能攔住一部分敏感信息泄露。輸出過(guò)濾的核心是敏感信息識(shí)別和脫敏。我一般會(huì)配置幾類規(guī)則正則匹配比如身份證號(hào)、手機(jī)號(hào)、銀行卡號(hào)、關(guān)鍵詞匹配比如“密碼”、“密鑰”、“token”、模型檢測(cè)用一個(gè)小的分類模型判斷輸出是否包含敏感內(nèi)容。匹配到敏感信息后可以選擇直接阻斷輸出、替換為占位符、或者告警并記錄。但輸出過(guò)濾有個(gè)天然的矛盾過(guò)濾太嚴(yán)會(huì)影響正常功能過(guò)濾太松會(huì)漏掉敏感信息。我的經(jīng)驗(yàn)是先跑一批正常任務(wù)的輸出統(tǒng)計(jì)敏感信息誤報(bào)率然后調(diào)整規(guī)則閾值。對(duì)于高敏感場(chǎng)景寧可誤報(bào)也要攔住對(duì)于低敏感場(chǎng)景可以適當(dāng)放寬。還有一個(gè)容易被忽略的點(diǎn)輸出過(guò)濾要覆蓋所有輸出通道。智能體的輸出可能通過(guò)聊天窗口返回也可能通過(guò) API 返回還可能通過(guò)郵件、短信等通道發(fā)送。每個(gè)通道都要有獨(dú)立的過(guò)濾邏輯不能只過(guò)濾主通道。5.3 多智能體協(xié)同場(chǎng)景下的信任邊界多智能體協(xié)同是現(xiàn)在很熱的方向但安全工程上挑戰(zhàn)很大。核心問(wèn)題是智能體 A 怎么知道智能體 B 返回的結(jié)果是可信的我一般會(huì)在多智能體系統(tǒng)里定義明確的信任邊界。每個(gè)智能體有自己的信任域跨域調(diào)用必須經(jīng)過(guò)認(rèn)證和授權(quán)。智能體 A 調(diào)用智能體 B 的時(shí)候要帶上 A 的身份憑證和調(diào)用意圖B 驗(yàn)證通過(guò)后才返回結(jié)果。B 返回的結(jié)果要帶上簽名A 收到后驗(yàn)證簽名確認(rèn)結(jié)果沒(méi)有被篡改。另外多智能體協(xié)同的時(shí)候權(quán)限要逐級(jí)遞減。A 有權(quán)限調(diào)用工具 X、Y、ZA 調(diào)用 B 去完成一個(gè)子任務(wù)B 只應(yīng)該獲得完成這個(gè)子任務(wù)所需的最小權(quán)限而不是繼承 A 的全部權(quán)限。比如 A 讓 B 去查詢一個(gè)數(shù)據(jù)B 就只應(yīng)該有查詢權(quán)限不應(yīng)該有修改權(quán)限。還有一個(gè)實(shí)踐中的坑智能體之間的通信內(nèi)容也要做過(guò)濾。我見(jiàn)過(guò)一個(gè)案例智能體 A 把用戶的敏感信息直接傳給了智能體 B而 B 的輸出沒(méi)有做過(guò)濾結(jié)果敏感信息泄露了。所以智能體之間的消息傳遞也要走和用戶輸入輸出一樣的過(guò)濾流程。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 智能體安全排查速查表問(wèn)題現(xiàn)象可能原因排查方法修復(fù)建議智能體執(zhí)行了未授權(quán)的工具權(quán)限校驗(yàn)缺失或配置錯(cuò)誤檢查工具調(diào)用日志確認(rèn)權(quán)限表配置補(bǔ)充權(quán)限校驗(yàn)邏輯最小權(quán)限原則敏感數(shù)據(jù)出現(xiàn)在輸出中輸出過(guò)濾規(guī)則不完整用敏感信息樣本測(cè)試輸出過(guò)濾補(bǔ)充正則和關(guān)鍵詞規(guī)則增加模型檢測(cè)智能體被提示詞注入操縱輸入清洗不徹底用注入樣本測(cè)試輸入處理流程加強(qiáng)輸入清洗分離用戶輸入和系統(tǒng)指令運(yùn)行時(shí)環(huán)境資源耗盡資源限制未配置或過(guò)松查看運(yùn)行時(shí)監(jiān)控確認(rèn)資源使用峰值配置 CPU、內(nèi)存、進(jìn)程數(shù)上限多智能體之間數(shù)據(jù)泄露信任邊界不清晰檢查智能體間通信日志定義信任域逐級(jí)遞減權(quán)限消息過(guò)濾審計(jì)日志缺失關(guān)鍵信息日志字段設(shè)計(jì)不完整模擬攻擊場(chǎng)景檢查日志記錄補(bǔ)充工具調(diào)用參數(shù)、結(jié)果狀態(tài)等字段6.2 三個(gè)我踩過(guò)的真實(shí)坑第一個(gè)坑以為容器隔離就萬(wàn)事大吉。早期做智能體代碼執(zhí)行功能的時(shí)候我用了 Docker 容器覺(jué)得隔離夠了。結(jié)果測(cè)試的時(shí)候攻擊者通過(guò)容器內(nèi)的一個(gè)已知漏洞拿到了宿主機(jī)的文件讀取權(quán)限。后來(lái)我才知道默認(rèn)的 Docker 配置有很多不安全的地方比如共享內(nèi)核、默認(rèn)網(wǎng)絡(luò)模式等。修復(fù)方案是容器以非 root 運(yùn)行禁用特權(quán)模式限制網(wǎng)絡(luò)訪問(wèn)加上 seccomp 過(guò)濾。第二個(gè)坑審計(jì)日志記了但沒(méi)人看。有一段時(shí)間我的審計(jì)日志記錄得很全但從來(lái)沒(méi)有告警規(guī)則。結(jié)果一個(gè)智能體被攻擊后連續(xù)三天都在異常調(diào)用工具但沒(méi)人發(fā)現(xiàn)。后來(lái)我加上了實(shí)時(shí)告警規(guī)則比如“同一實(shí)例 1 分鐘內(nèi)調(diào)用敏感工具超過(guò) 3 次”就發(fā)通知。告警規(guī)則不用一開(kāi)始就很完善先覆蓋最核心的高危操作后續(xù)根據(jù)實(shí)際案例補(bǔ)充。第三個(gè)坑輸出過(guò)濾誤殺了正常內(nèi)容。有一次我加了一個(gè)正則規(guī)則匹配“密碼”這個(gè)詞結(jié)果智能體在回答“如何修改密碼”這種正常問(wèn)題時(shí)也被攔截了。后來(lái)我調(diào)整了規(guī)則只在“密碼”后面跟著疑似密碼值的時(shí)候才攔截而不是只要出現(xiàn)“密碼”就攔截。輸出過(guò)濾的規(guī)則要經(jīng)過(guò)充分測(cè)試平衡安全和可用性。6.3 安全工程落地的優(yōu)先級(jí)建議如果你剛開(kāi)始做智能體安全資源有限我建議按這個(gè)優(yōu)先級(jí)來(lái)落地運(yùn)行時(shí)隔離先把智能體的執(zhí)行環(huán)境隔離好這是最基礎(chǔ)也是最重要的工具參數(shù)校驗(yàn)所有工具調(diào)用的參數(shù)都要經(jīng)過(guò)獨(dú)立校驗(yàn)不信任智能體生成的任何參數(shù)權(quán)限模型定義清楚每個(gè)智能體能調(diào)用哪些工具最小權(quán)限原則審計(jì)日志記錄所有工具調(diào)用和關(guān)鍵操作為事后排查提供依據(jù)輸出過(guò)濾防止敏感信息泄露的最后一道防線輸入清洗防止提示詞注入和惡意輸入多智能體信任邊界如果有多智能體協(xié)同定義清楚信任關(guān)系這個(gè)順序不是絕對(duì)的但大體上遵循“先隔離、再校驗(yàn)、后過(guò)濾”的邏輯。先把執(zhí)行環(huán)境管住再把調(diào)用入口管住最后把輸出管住。7. 一些實(shí)操中的個(gè)人體會(huì)做智能體安全工程這幾年我最大的體會(huì)是安全不是一個(gè)可以“加上去”的功能而是需要從架構(gòu)設(shè)計(jì)階段就融入的工程屬性。很多項(xiàng)目是在智能體已經(jīng)跑起來(lái)之后才想起來(lái)加安全措施這時(shí)候往往要改架構(gòu)成本很高而且容易留下死角。另一個(gè)體會(huì)是安全措施要可觀測(cè)、可度量。你加了權(quán)限校驗(yàn)?zāi)蔷鸵腥罩居涗浶ｒ?yàn)通過(guò)和拒絕的次數(shù)你加了輸出過(guò)濾那就要統(tǒng)計(jì)過(guò)濾命中的頻率和類型。沒(méi)有度量你就不知道安全措施是否有效也不知道攻擊是否在發(fā)生。還有一點(diǎn)不要追求一步到位的完美安全。智能體安全是一個(gè)持續(xù)迭代的過(guò)程。先覆蓋最核心的風(fēng)險(xiǎn)然后根據(jù)實(shí)際運(yùn)行中發(fā)現(xiàn)的攻擊案例和漏洞逐步完善。我見(jiàn)過(guò)一些團(tuán)隊(duì)想一開(kāi)始就設(shè)計(jì)一個(gè)“萬(wàn)無(wú)一失”的安全架構(gòu)結(jié)果拖了幾個(gè)月都沒(méi)上線反而錯(cuò)過(guò)了業(yè)務(wù)窗口。最后分享一個(gè)小技巧定期做紅藍(lán)對(duì)抗演練。找一個(gè)人扮演攻擊者嘗試用各種方式突破智能體的安全防線另一個(gè)人扮演防御者記錄攻擊路徑和防御效果。這種演練比看文檔、讀論文有效得多能發(fā)現(xiàn)很多實(shí)際工程中的盲點(diǎn)。我一般每個(gè)季度做一次每次都能發(fā)現(xiàn)幾個(gè)之前沒(méi)注意到的問(wèn)題。智能體安全這個(gè)領(lǐng)域還在快速演進(jìn)新的攻擊手法和防御方案層出不窮。保持學(xué)習(xí)保持警惕把安全當(dāng)作工程問(wèn)題來(lái)對(duì)待而不是當(dāng)作一個(gè)可以一次性解決的配置項(xiàng)。這樣你的智能體系統(tǒng)才能在生產(chǎn)環(huán)境里真正穩(wěn)得住。