本文整理自 AICon 深圳直播《如何約束 Agent》通過AI音視頻轉(zhuǎn)錄總結(jié)工具Ai好記視頻轉(zhuǎn)文字整理以下為精煉整理后的會(huì)議筆記內(nèi)容。Agent能不能在真實(shí)業(yè)務(wù)里可靠地干活一直是個(gè)讓人頭疼的問題。很多人把它歸結(jié)為模型幻覺或推理能力不足但這場直播提出了一個(gè)更尖銳的判斷Agent當(dāng)前最大的可靠性挑戰(zhàn)其實(shí)在模型之外。阿里云可觀測團(tuán)隊(duì)的張鑫做主嘉賓包括深耕AI領(lǐng)域的創(chuàng)業(yè)者王仿、騰訊游戲一線研發(fā)的任磊達(dá)圍繞Agent的工程實(shí)踐和可靠性展開核心就是Harness Engineering怎么給一個(gè)能力足夠強(qiáng)的AI配上靠譜的約束機(jī)制。Agent可靠性的核心挑戰(zhàn)不在模型能力1、模型之外的系統(tǒng)性失敗張鑫認(rèn)為模型能力雖然在持續(xù)增強(qiáng)但進(jìn)入真實(shí)業(yè)務(wù)環(huán)境后絕大部分失敗發(fā)生在模型之外。Agent怎么知道正在操作的業(yè)務(wù)對(duì)象是什么、它當(dāng)前的狀態(tài)、與其他對(duì)象的關(guān)系、可靠的數(shù)據(jù)來源、可執(zhí)行的工具以及如何驗(yàn)證是否達(dá)到了預(yù)期狀態(tài)。這些問題不解決即使換成更強(qiáng)的模型Agent依然是盲人摸象甚至?xí)煤V定的語氣聲稱任務(wù)已完成、實(shí)際并沒完成。真正的挑戰(zhàn)是讓Agent在持續(xù)變化的環(huán)境里形成「理解、行動(dòng)、觀察、驗(yàn)證」的閉環(huán)核心是讓Agent真正理解真實(shí)業(yè)務(wù)系統(tǒng)把業(yè)務(wù)對(duì)象、關(guān)系、狀態(tài)和證據(jù)組織起來而不是面對(duì)零散的文檔數(shù)據(jù)。2、Harness的本質(zhì)是為強(qiáng)能力配安全機(jī)制王仿從Harness Engineering的角度打了個(gè)比方討論Harness恰恰說明模型能力已經(jīng)足夠強(qiáng)。就像發(fā)動(dòng)機(jī)馬力不大時(shí)不需要方向盤和剎車馬力極強(qiáng)時(shí)才要配套安全防護(hù)。Harness不是限制模型能力而是讓它在可控范圍內(nèi)做事。實(shí)習(xí)生出錯(cuò)有主管兜底但線上生產(chǎn)環(huán)境的正式員工若誤操作退款或觸發(fā)不可控操作對(duì)企業(yè)影響就大了。所以Harness是工程上繞不開的話題也是AI在企業(yè)落地的關(guān)鍵OpenAI等也都在構(gòu)建模型之上的Harness能力。3、Prompt失控與人機(jī)交互工程任磊達(dá)結(jié)合實(shí)踐分享Agent技術(shù)正在把工程技巧吸收進(jìn)模型內(nèi)部形成互利互升的關(guān)系。他分享了一次燒了七八億Token、吐出四萬行代碼的Prompt失控經(jīng)歷強(qiáng)調(diào)Prompt不是虛概念而是包含人機(jī)交互的協(xié)同工程怎樣與AI交互、怎樣定義AI任務(wù)、怎樣讓產(chǎn)出符合預(yù)期、怎樣實(shí)現(xiàn)正向ROI。當(dāng)工程ROI需要擺正時(shí)就得探索與模型的交互協(xié)同模式。Harness Engineering的工程實(shí)踐1、企業(yè)級(jí)Harness的核心要素王仿介紹其所在公司面向企業(yè)的Harness Engineering實(shí)踐核心在于幾個(gè)方面上下文管理機(jī)制企業(yè)任務(wù)需要分階段注入上下文比如退款流程要明確各階段接收什么上下文、形成什么新上下文、帶入哪些其他維度的信息。系統(tǒng)集成把ERP、WMS等系統(tǒng)集成進(jìn)來讓模型在可控環(huán)境下調(diào)用。Skill調(diào)度復(fù)雜業(yè)務(wù)場景下Skill越多模型能力可能越差要解決正確調(diào)度的問題。穩(wěn)定性保障企業(yè)任務(wù)要每天成百上千次重復(fù)穩(wěn)定執(zhí)行不能時(shí)好時(shí)壞。權(quán)限與可觀測解決權(quán)限問題、避免黑盒企業(yè)特別厭惡黑盒過程要能隨時(shí)介入。2、工程化承接不確定性張鑫補(bǔ)充Harness Engineering并不是消滅模型幻覺或不確定性而是用一個(gè)工程化的系統(tǒng)去承接和約束這種不確定性。未給上下文就亂發(fā)揮其實(shí)就是幻覺。核心在于兩點(diǎn)讓Agent正確地干事、做正確的事?？捎^測能力至關(guān)重要只有觀測到Agent邏輯才能優(yōu)化流程從觀測數(shù)據(jù)中學(xué)習(xí)、蒸餾知識(shí)、分析錯(cuò)誤原因?qū)崿F(xiàn)正確回歸形成飛輪效應(yīng)。3、人機(jī)協(xié)同的流程架構(gòu)任磊達(dá)從使用者視角區(qū)分了Harness的兩層。底層架構(gòu)聚焦可觀測性等工程基礎(chǔ)上層流程關(guān)注人在何時(shí)介入、怎樣促進(jìn)飛輪轉(zhuǎn)起來。清晰的架構(gòu)能提升人在其中的效率讓產(chǎn)出更穩(wěn)定可控。他推動(dòng)的做法是讓每個(gè)人都參與進(jìn)來、接受Agent協(xié)作從而對(duì)領(lǐng)域知識(shí)進(jìn)行迭代演化而不是一個(gè)人完成整個(gè)團(tuán)隊(duì)的活動(dòng)。Agent的工作環(huán)境要像給新員工配工位1、新員工類比與四大核心問題張鑫把Agent比作企業(yè)新員工提出適合AI的工作環(huán)境要解決四個(gè)問題跟人類入職邏輯一致?？吹枚斫庀到y(tǒng)內(nèi)的業(yè)務(wù)對(duì)象比如模塊、class及其調(diào)用關(guān)系。做得到提供有清晰描述的工具但粒度要權(quán)衡太細(xì)則上下文爆炸太大則理解偏差、陷入幻覺?？杀蛔C明要有強(qiáng)大的可觀測能力未觀測到可能觸發(fā)P0故障還需要測試驅(qū)動(dòng)開發(fā)TDD模式。做不壞、能回滾權(quán)限可控關(guān)鍵步驟要人參與有backup方案。2、漸進(jìn)式信息披露與本體論張鑫進(jìn)一步強(qiáng)調(diào)理想的工作環(huán)境不是一次性把信息塞給Agent而是讓它圍繞任務(wù)持續(xù)、漸進(jìn)式地披露信息。企業(yè)問題通常不是沒有數(shù)據(jù)工具而是工具和數(shù)據(jù)割裂日志在A系統(tǒng)、工具在B人、告警與變更關(guān)聯(lián)不明。需要用本體論讓Agent對(duì)全局有全面了解再按系統(tǒng)結(jié)構(gòu)逐層完成理解。3、數(shù)字員工視角的環(huán)境構(gòu)建王仿從企業(yè)數(shù)字員工的角度補(bǔ)充。本體論要前置把人做的上下文翻譯成AI能理解的語言定義任務(wù)對(duì)象、關(guān)系、邊界、規(guī)則、流程、決策邏輯技術(shù)再入場實(shí)現(xiàn)感知、計(jì)算、判斷。他還對(duì)比了封閉環(huán)境與企業(yè)環(huán)境的差異IDE、瀏覽器這類封閉環(huán)境可以通過模型訓(xùn)練讓AI具備使用工具的能力但企業(yè)環(huán)境無法直接訓(xùn)練只能通過Harness Engineering實(shí)現(xiàn)。4、工作流程中的Agent嵌入任磊達(dá)分享了工作流程層面的實(shí)踐。今年AI的一個(gè)明顯特點(diǎn)是需要先與Agent澄清流程觀察它工作過程中的錯(cuò)誤反哺到前期的澄清里直到足夠清晰后拆分子任務(wù)或做D級(jí)圖編排完成后review過程。這需要與具體業(yè)務(wù)開發(fā)綁定、有反饋才能轉(zhuǎn)起loop、更好迭代?，F(xiàn)在一個(gè)MR動(dòng)輒幾百到上萬行已經(jīng)超出人類思維負(fù)載倒逼每個(gè)環(huán)節(jié)去調(diào)教Agent的協(xié)同能力。數(shù)據(jù)、知識(shí)與語義結(jié)構(gòu)的關(guān)系1、三者的邏輯層次與落地階段王仿分析了三者的關(guān)系數(shù)據(jù)告訴過去發(fā)生了什么知識(shí)告訴當(dāng)前客觀的業(yè)務(wù)事實(shí)語義和結(jié)構(gòu)告訴它們之間的關(guān)系。知識(shí)加語義加結(jié)構(gòu)是基于當(dāng)前事實(shí)決定下一步動(dòng)作。落地要分階段先解決知識(shí)和語義結(jié)構(gòu)問題本體論邏輯再與數(shù)據(jù)結(jié)合從被動(dòng)感知接受需求做任務(wù)進(jìn)化到像人一樣主動(dòng)感知、判斷、決策。2、注意力分散與上下文精簡張鑫指出AI時(shí)代不缺數(shù)據(jù)企業(yè)數(shù)據(jù)工具眾多問題是數(shù)據(jù)太多導(dǎo)致注意力分散。需要精簡上下文讓Agent更聚焦用最簡單的方法做事。本體論是基礎(chǔ)設(shè)施能讓知識(shí)顯化比如運(yùn)維場景里CPU高可能由業(yè)務(wù)方變更調(diào)大閾值導(dǎo)致而不是簡單擴(kuò)容這類知識(shí)以前記在人腦里現(xiàn)在需要通過本體論顯化。3、主觀能動(dòng)性與Human-in-Loop任磊達(dá)強(qiáng)調(diào)生成本體論簡單但連接到更多數(shù)據(jù)、持續(xù)迭代需要主觀能動(dòng)性。做法是推動(dòng)每個(gè)人參與、接受Agent協(xié)作從而對(duì)領(lǐng)域知識(shí)負(fù)責(zé)、愿意迭代。Human-in-Loop的角色比例很關(guān)鍵不是一個(gè)人完成全公司的活動(dòng)。Agent執(zhí)行系統(tǒng)的核心能力1、狀態(tài)聚焦與概率串行控制任磊達(dá)指出今年工程趨勢是無論DD工作流還是Cloud、CLO內(nèi)置命令都在反復(fù)明確Agent當(dāng)前在干什么、上下文具體關(guān)系。因?yàn)锳gent是概率性的長期流程概率串行疊加會(huì)導(dǎo)致失敗率指數(shù)級(jí)增長需要不斷提醒其目標(biāo)、步驟、上下文以聚焦背景。2、可靠Agent的四大能力王仿從企業(yè)ROI挑戰(zhàn)的角度提出可靠Agent必備的四大能力。一是狀態(tài)管理任務(wù)掛起、接口故障后的恢復(fù)重試機(jī)制。二是執(zhí)行結(jié)果校驗(yàn)接口返回結(jié)構(gòu)變化要能感知業(yè)務(wù)翻譯時(shí)理清返回結(jié)構(gòu)、核心字段、處理方式執(zhí)行時(shí)遵循校驗(yàn)。三是異?；謴?fù)超時(shí)回滾、任務(wù)分割與現(xiàn)場恢復(fù)。四是全過程可控可觀測日志記錄加看板展示讓人隨時(shí)知道發(fā)生了什么、怎么發(fā)生的、原因何在。3、工具契約與Runtime兜底張鑫總結(jié)獲取信任的關(guān)鍵是干活踏實(shí)且老板能看到。工具需要有明確契約入?yún)?、出參、參?shù)校驗(yàn)、使用條件定義清楚可靠的Runtime要支持重試回滾可觀測性讓人踏實(shí)數(shù)據(jù)則成為優(yōu)化流程和Agent能力的基礎(chǔ)。人類員工與Agent的性價(jià)比與邊界1、企業(yè)訴求的兩類場景王仿分析了企業(yè)對(duì)Agent的兩大訴求降本增效與樣本增效。落地場景分人力密集型客服審核等算替換人力的賬和知識(shí)密集型程序員等培養(yǎng)成本高。程序員兼具兩類特征所以成為首要目標(biāo)但未被完全替換。從增長角度看Agent可能有大局觀和串聯(lián)能力比如保險(xiǎn)公司案例里HR、培訓(xùn)、業(yè)務(wù)團(tuán)隊(duì)目標(biāo)割裂AI可以動(dòng)態(tài)感知市場變化和能力短板聯(lián)動(dòng)各部門目標(biāo)。2、專業(yè)性與判斷力的不可替代張鑫認(rèn)為Agent只會(huì)道歉無法負(fù)責(zé)人能提供的是判斷力Agent什么活都能干但缺邊界。Agent是增加人效的工具但人在其中的上下文切換消耗巨大。王仿強(qiáng)調(diào)要尊重人的專業(yè)性哪怕包材審核也有幾十個(gè)維度品牌做到極致的功夫難以替代。3、自主性與可控性的平衡任磊達(dá)指出編碼AI火的原因就是代碼可控、無概率性邊界設(shè)計(jì)就是把不可控變成可控再執(zhí)行。王仿提出按風(fēng)險(xiǎn)等級(jí)設(shè)定自主性邊界高風(fēng)險(xiǎn)需要嚴(yán)格校驗(yàn)審核、人兜底中風(fēng)險(xiǎn)人確認(rèn)AI產(chǎn)出低風(fēng)險(xiǎn)可以半自動(dòng)駕駛。具體分三個(gè)階段影子系統(tǒng)離線評(píng)估、人確認(rèn)模式、半自動(dòng)駕駛。4、權(quán)限的漸進(jìn)式開放張鑫區(qū)分了自主與可控并不矛盾可控范圍內(nèi)可以自主。企業(yè)落地要回答Agent在什么范圍內(nèi)工作超權(quán)限有嚴(yán)格控制。關(guān)鍵包括數(shù)據(jù)權(quán)限正確的人看正確的數(shù)據(jù)、影子系統(tǒng)驗(yàn)證、只讀等低風(fēng)險(xiǎn)權(quán)限漸進(jìn)放開。類比人類入職一開始只有只讀權(quán)限隨職位提升權(quán)限擴(kuò)大。Agent進(jìn)化需要外部知識(shí)庫指導(dǎo)正確行為配合可觀測告警高危操作。本體論構(gòu)建的實(shí)踐路徑1、從場景出發(fā)而非公司全局王仿明確反對(duì)從公司角度構(gòu)建全局本體論投入周期、時(shí)間、價(jià)值都難論證。應(yīng)該從業(yè)務(wù)場景、具體任務(wù)出發(fā)比如客服導(dǎo)購就做客服導(dǎo)購的本體論供應(yīng)商資質(zhì)審核就做對(duì)應(yīng)的本體論。脫離場景業(yè)務(wù)方不理解仍是技術(shù)視角。2、問題驅(qū)動(dòng)與領(lǐng)域建模張鑫認(rèn)同這個(gè)方向。先明確解決什么問題再構(gòu)建問題領(lǐng)域的模型定義工具數(shù)據(jù)關(guān)聯(lián)讓Agent高效解決問題。總結(jié)能力只有被工程體系承載才能進(jìn)入復(fù)雜場景這場討論圍繞Agent實(shí)踐本質(zhì)是在探討一種新的工程范式。未來不僅需要訓(xùn)練更強(qiáng)的模型也需要構(gòu)建讓模型更可靠的工作環(huán)境從測試到運(yùn)行時(shí)再到入庫。能力只有被工程體系承載才能真正進(jìn)入復(fù)雜場景。對(duì)正在落地Agent的團(tuán)隊(duì)來說Harness Engineering不是可選項(xiàng)而是把AI用起來的前提。常見問題FAQQAgent最大的可靠性挑戰(zhàn)是什么主要在模型之外包括Agent如何知道業(yè)務(wù)對(duì)象及其狀態(tài)、可靠數(shù)據(jù)來源、可執(zhí)行工具以及如何驗(yàn)證是否達(dá)到預(yù)期。這些問題不解決換更強(qiáng)模型也沒用。QHarness Engineering是干什么的用一個(gè)工程化的系統(tǒng)去承接和約束模型的不確定性包括上下文管理、系統(tǒng)集成、Skill調(diào)度、穩(wěn)定性保障、權(quán)限與可觀測讓AI在可控范圍內(nèi)做事。Q給Agent配工作環(huán)境要考慮什么跟給新員工配工位類似看得懂理解業(yè)務(wù)對(duì)象、做得到工具契約清晰、可被證明可觀測TDD、做不壞能回滾權(quán)限可控backup。Q可靠Agent必備哪些能力狀態(tài)管理、執(zhí)行結(jié)果校驗(yàn)、異常恢復(fù)超時(shí)回滾、任務(wù)分割、全過程可控可觀測四類能力。Q本體論應(yīng)該怎么建從業(yè)務(wù)場景和具體任務(wù)出發(fā)而不是從公司全局出發(fā)先明確解決什么問題再構(gòu)建問題領(lǐng)域的模型和工具數(shù)據(jù)關(guān)聯(lián)。以上內(nèi)容由 Ai好記 轉(zhuǎn)錄整理。Ai好記是一款支持音視頻轉(zhuǎn)圖文筆記的AI知識(shí)庫工具支持B站、小紅書、抖音、小宇宙等平臺(tái)鏈接及本地音視頻文件解析視頻轉(zhuǎn)文字后自動(dòng)生成精華速覽、思維導(dǎo)圖和結(jié)構(gòu)化圖文筆記幫助你把幾小時(shí)的視頻內(nèi)容變成可搜索、可復(fù)習(xí)的圖文筆記。