1. 從一條只有標(biāo)題的線索說起AI創(chuàng)業(yè)者做Agent到底在做什么第一次看到AI Frontier This AI entrepreneur is developing agent這個標(biāo)題時我手里其實只有一句話正文、關(guān)鍵詞、摘要全是空的。這種光桿標(biāo)題在信息流里特別常見很多人掃一眼就劃走了但做過一線開發(fā)的人會本能地停下來——因為AI創(chuàng)業(yè)者加正在開發(fā)Agent這兩個信息點湊在一起本身就指向了當(dāng)下最熱的一個技術(shù)方向AI Agent智能體。我先把這個標(biāo)題拆開看。AI Frontier大概率是一個欄目或者系列名定位是前沿觀察This AI entrepreneur說明主角是一位創(chuàng)業(yè)者不是大廠研究員也不是純學(xué)術(shù)背景的人is developing agent是進(jìn)行時意味著這是一個正在推進(jìn)中的項目而不是已經(jīng)成熟的產(chǎn)品。把這三塊拼起來讀者真正想知道的其實是三件事這個創(chuàng)業(yè)者在做什么樣的Agent、他為什么選這個方向、以及這件事對同樣在做Agent開發(fā)的人有什么參考價值。我自己從2023年開始陸續(xù)接觸Agent相關(guān)的項目從最早的簡單工具調(diào)用到后來的多Agent協(xié)作、記憶系統(tǒng)、評估體系踩過的坑不算少。所以這篇內(nèi)容我不打算寫成新聞通稿式的轉(zhuǎn)述而是借這個標(biāo)題把一個AI創(chuàng)業(yè)者開發(fā)Agent這件事背后真正值得聊的東西攤開來講——包括Agent的核心架構(gòu)怎么選、記憶怎么做、評估怎么搞、創(chuàng)業(yè)者在資源有限的情況下怎么做取舍。這些內(nèi)容對正在學(xué)Agent開發(fā)、準(zhǔn)備做Agent項目、或者單純想搞懂Agent和普通AI應(yīng)用區(qū)別的人都會有直接幫助。需要先說明一點由于原始輸入里沒有具體的項目細(xì)節(jié)下面涉及的技術(shù)方案、架構(gòu)選擇、實操步驟都是基于我作為一線從業(yè)者在類似場景下最可能采用的合理做法來補(bǔ)全的我會在關(guān)鍵處標(biāo)注哪些是常見實踐、哪些是我的個人經(jīng)驗。這樣你讀的時候能分清哪些是通用知識哪些是可以直接抄作業(yè)的部分。2. Agent和普通AI應(yīng)用的分水嶺為什么創(chuàng)業(yè)者都往這個方向擠2.1 從問答到辦事Agent到底改變了什么很多人第一次聽到Agent會把它理解成更聰明的聊天機(jī)器人。這個理解不算錯但漏掉了最關(guān)鍵的一點普通AI應(yīng)用的核心是生成內(nèi)容而Agent的核心是完成任務(wù)。舉個生活化的例子。你問一個普通AI幫我訂一張明天去上海的機(jī)票它大概率會給你一段文字告訴你訂票的一般流程、需要準(zhǔn)備什么信息。但如果你對一個Agent說同樣的話它會去調(diào)用訂票接口、查詢航班、比價、甚至幫你把訂單提交了最后回來告訴你已經(jīng)訂好了航班號是MUXXXX座位是XX。前者是告訴你怎么做后者是替你做完了。這個差別聽起來只是多了一步工具調(diào)用但工程上的復(fù)雜度完全不是一個量級。普通AI應(yīng)用本質(zhì)上是一個輸入-模型-輸出的管道而Agent是一個感知-決策-行動-反饋的循環(huán)。它需要判斷當(dāng)前該做什么、調(diào)用哪個工具、拿到結(jié)果后怎么處理、失敗了怎么重試、任務(wù)完成了怎么收尾。這一整套東西才是Agent真正的技術(shù)含量所在。那位AI創(chuàng)業(yè)者選擇做Agent而不是做一個套殼聊天應(yīng)用從商業(yè)邏輯上講是合理的聊天應(yīng)用的門檻已經(jīng)被大模型廠商自己壓得很低了而Agent因為要對接具體業(yè)務(wù)、要處理真實任務(wù)反而有更多的差異化空間和付費理由。2.2 Agent、Skill、Harness這幾個詞到底怎么區(qū)分熱詞里出現(xiàn)了harness和agent區(qū)別skill和agent的區(qū)別說明很多人在這幾個概念上是懵的。我用最直白的方式解釋一下。Agent是那個會自己拿主意的主體。它有自己的目標(biāo)能根據(jù)當(dāng)前情況決定下一步做什么。你可以把它想象成一個員工你給他一個任務(wù)他自己規(guī)劃怎么完成。Skill是Agent會的一項具體能力。比如查天氣是一個skill發(fā)郵件是一個skill讀PDF是一個skill。Agent本身不一定會這些它是通過調(diào)用skill來干活的。這就像員工會開車、會做表格、會談判這些都是他的技能。Harness這個詞相對冷門一些它指的是承載和驅(qū)動Agent運行的那套外殼框架。包括怎么把模型接進(jìn)來、怎么管理工具、怎么處理循環(huán)、怎么記錄日志。你可以把它理解成員工的工位和辦公系統(tǒng)——員工再能干也得有個地方坐著、有工具能用、有流程可走。這三者的關(guān)系是Harness提供運行環(huán)境Agent在里面做決策Skill是Agent可以調(diào)用的具體能力。搞不清這個層次寫代碼的時候就會亂——你會把本該屬于harness的循環(huán)邏輯寫進(jìn)agent里或者把本該是skill的工具調(diào)用硬編碼進(jìn)主流程最后代碼變成一團(tuán)漿糊。2.3 創(chuàng)業(yè)者視角下的Agent選型不是越復(fù)雜越好我見過不少剛?cè)胄械膱F(tuán)隊一上來就想做多Agent協(xié)作長期記憶自主規(guī)劃的全能系統(tǒng)結(jié)果三個月過去連一個能穩(wěn)定跑通的任務(wù)都沒有。那位AI創(chuàng)業(yè)者如果是單槍匹馬或者小團(tuán)隊我?guī)缀蹩梢钥隙ㄋ粫@么干。從資源約束出發(fā)一個務(wù)實的Agent項目起步階段通常是這樣取舍的維度激進(jìn)做法務(wù)實做法我的建議Agent數(shù)量多Agent協(xié)作單Agent多工具先單Agent跑通再說記憶長期記憶向量庫短期上下文簡單存儲任務(wù)不長就別上向量庫規(guī)劃自主任務(wù)分解固定流程有限分支流程明確的別讓模型瞎規(guī)劃評估完整評估體系人工抽檢關(guān)鍵case回歸先能跑再談評估這個表格不是絕對的但它反映了一個核心原則Agent的復(fù)雜度應(yīng)該由任務(wù)的實際需要決定而不是由技術(shù)炫技決定。一個訂票Agent不需要多Agent協(xié)作一個客服Agent也不需要自主規(guī)劃能力。把簡單任務(wù)做復(fù)雜是新手最容易犯的錯。3. 一個能跑起來的Agent骨架里到底裝了哪些東西3.1 主循環(huán)Agent的心跳在哪里Agent最核心的部分是它的主循環(huán)main loop。不管用什么框架這個循環(huán)的邏輯大同小異接收任務(wù)或用戶輸入把當(dāng)前狀態(tài)任務(wù)、歷史、可用工具交給模型模型輸出下一步動作調(diào)用某個工具或者給出最終答案如果是工具調(diào)用執(zhí)行工具把結(jié)果塞回狀態(tài)回到第2步直到模型給出最終答案或達(dá)到循環(huán)上限這個循環(huán)看起來簡單但魔鬼在細(xì)節(jié)里。我踩過最深的坑是循環(huán)沒有終止條件。早期我寫的一個Agent模型有時候會陷入調(diào)用工具-覺得結(jié)果不對-再調(diào)用同一個工具的死循環(huán)跑了幾十輪還在原地打轉(zhuǎn)token燒得飛快。后來我加了三道保險最大循環(huán)次數(shù)限制、相同工具連續(xù)調(diào)用檢測、以及超時中斷。這三樣?xùn)|西現(xiàn)在是我每個Agent項目的標(biāo)配。還有一個細(xì)節(jié)是狀態(tài)管理。循環(huán)每一輪都要把歷史塞給模型但歷史不能無限增長否則上下文會爆。常見的做法是保留最近N輪或者對早期歷史做摘要壓縮。我一般會保留完整的工具調(diào)用記錄因為模型需要知道之前調(diào)過什么但對模型的自然語言回復(fù)做精簡。3.2 工具設(shè)計Agent的手腳怎么接工具tool是Agent和外部世界交互的接口。設(shè)計工具的時候有幾個經(jīng)驗值得分享。第一工具的描述比工具本身更重要。模型是靠描述來決定調(diào)不調(diào)、怎么調(diào)的。我見過有人寫了個功能很全的工具但描述只有一句處理數(shù)據(jù)結(jié)果模型根本不知道該什么時候用它。好的工具描述應(yīng)該包含這個工具做什么、什么時候用、參數(shù)是什么含義、返回什么。這本質(zhì)上是在給模型寫使用說明書。第二工具粒度要合適。太粗的工具比如一個處理一切的工具模型用不好太細(xì)的工具比如把發(fā)郵件拆成填收件人填主題填正文又會讓模型調(diào)用很多次。我的經(jīng)驗是一個工具對應(yīng)一個完整的、有明確語義的動作比如發(fā)送郵件查詢訂單創(chuàng)建日程。第三工具要能優(yōu)雅地失敗。真實世界里接口會超時、會返回錯誤、會參數(shù)不對。工具執(zhí)行失敗時不要直接拋異常讓整個Agent崩掉而是要把錯誤信息作為結(jié)果返回給模型讓模型決定是重試、換工具還是放棄。這一點在創(chuàng)業(yè)項目里尤其重要因為你的Agent面對的是真實用戶和真實系統(tǒng)穩(wěn)定性就是生命線。3.3 記憶系統(tǒng)Agent的記性怎么練熱詞里有agent記憶說明這是大家普遍關(guān)心的點。Agent的記憶大致分三層短期記憶就是當(dāng)前對話的上下文這個靠模型的context window就能實現(xiàn)不需要額外工程。工作記憶是當(dāng)前任務(wù)相關(guān)的信息比如用戶之前提到的偏好、已經(jīng)查到的數(shù)據(jù)。這部分我通常用一個結(jié)構(gòu)化的狀態(tài)對象來存而不是全塞進(jìn)對話歷史里。因為對話歷史是線性的而任務(wù)狀態(tài)往往是結(jié)構(gòu)化的混在一起會讓模型難以準(zhǔn)確提取。長期記憶是跨會話的信息比如用戶的歷史偏好、常見問題的解決方案。這部分才需要向量數(shù)據(jù)庫。但我要潑一盆冷水大多數(shù)Agent項目根本用不到長期記憶。如果你的Agent是完成一次性任務(wù)的長期記憶就是過度設(shè)計。只有當(dāng)Agent需要記住用戶上次說過什么并且這個信息確實影響本次任務(wù)時長期記憶才有價值。我自己的做法是先不做長期記憶等真的有跨會話需求了再加。加的時候也不是把所有對話都存進(jìn)去而是只存那些被驗證過確實有用的信息比如用戶的明確偏好、任務(wù)的關(guān)鍵結(jié)論。存太多垃圾進(jìn)向量庫檢索出來的東西反而會干擾模型。4. 評估這件事為什么創(chuàng)業(yè)者最容易忽略卻最致命4.1 Agent評估和普通模型評估不是一回事熱詞里有agent evals這是個專業(yè)度比較高的點。普通模型評估看的是輸出對不對比如分類準(zhǔn)不準(zhǔn)、生成質(zhì)量高不高。但Agent評估看的是任務(wù)完成沒完成這是一個完全不同的維度。一個Agent可能每一步的模型輸出看起來都合理但最后任務(wù)沒完成。比如它查了航班、比了價、選了最便宜的但最后忘了提交訂單。你單獨看每一步都對但整體是失敗的。所以Agent評估必須以任務(wù)為單位而不是以單步輸出為單位。評估Agent的時候我一般會定義幾個層次任務(wù)成功率給定一批任務(wù)Agent能完整完成多少步驟效率完成任務(wù)平均用了多少步有沒有繞遠(yuǎn)路工具準(zhǔn)確率該調(diào)工具的時候調(diào)了沒調(diào)對工具了沒失敗恢復(fù)率遇到錯誤后能不能自己恢復(fù)這四個指標(biāo)里任務(wù)成功率是北極星其他三個是診斷用的。創(chuàng)業(yè)早期資源有限我建議先盯任務(wù)成功率人工跑一批真實任務(wù)看通過率是多少。這個數(shù)字比任何花哨的評估框架都實在。4.2 沒有標(biāo)注數(shù)據(jù)怎么做評估創(chuàng)業(yè)項目最現(xiàn)實的問題是沒有標(biāo)注數(shù)據(jù)。你不可能像大廠那樣雇一堆人標(biāo)注幾千條任務(wù)。那怎么辦我的經(jīng)驗是用真實任務(wù)做小樣本評估。具體做法是收集20到50個真實用戶會問的任務(wù)人工跑一遍記錄Agent的表現(xiàn)。這個量級不大但足夠發(fā)現(xiàn)80%的問題。等產(chǎn)品上線后把用戶實際使用中失敗的case收集起來慢慢積累成一個回歸測試集。這個測試集不需要很大但每次改代碼都要跑一遍確保沒有把之前修好的問題又改壞了。還有一個技巧是用模型評估模型。讓一個能力更強(qiáng)的模型來當(dāng)裁判判斷Agent的任務(wù)完成情況。這個方法成本低、速度快但要注意裁判模型也會有偏見所以關(guān)鍵case還是要人工復(fù)核。我一般用模型評估做初篩人工只復(fù)核那些模型判斷不確定的case。4.3 評估結(jié)果怎么指導(dǎo)開發(fā)評估不是為了得到一個分?jǐn)?shù)而是為了指導(dǎo)下一步改什么。我習(xí)慣把失敗的case分類工具問題工具本身有bug或者描述不清導(dǎo)致模型用錯規(guī)劃問題模型的任務(wù)分解不合理步驟順序錯了上下文問題模型沒拿到需要的信息或者被無關(guān)信息干擾邊界問題任務(wù)超出了Agent的能力范圍本來就不該接這四類問題的修法完全不同。工具問題改工具規(guī)劃問題改提示詞或加約束上下文問題改狀態(tài)管理邊界問題加拒答邏輯。如果不分類看到失敗就瞎改提示詞往往越改越亂。5. 從零到一一個Agent項目的實操推進(jìn)路線5.1 第一步把任務(wù)邊界劃清楚我見過太多項目死在什么都想做上。那位AI創(chuàng)業(yè)者如果正在開發(fā)Agent我猜他第一步要做的不是寫代碼而是想清楚這個Agent到底解決什么任務(wù)、不解決什么任務(wù)。具體做法是寫一份任務(wù)說明書包含Agent要完成的核心任務(wù)是什么、輸入是什么、輸出是什么、哪些情況應(yīng)該拒絕、哪些情況應(yīng)該轉(zhuǎn)人工。這份說明書不用很長但必須明確。我自己的習(xí)慣是把它寫成一段話然后拿給不懂技術(shù)的人看如果他能看懂并且覺得合理說明邊界劃清楚了。這一步的價值在于它決定了后面所有的技術(shù)選型。如果任務(wù)是流程固定的比如按步驟處理訂單那就不需要復(fù)雜的規(guī)劃能力如果任務(wù)是開放的比如幫用戶做研究那就需要更強(qiáng)的推理和工具組合能力。5.2 第二步搭一個最簡可跑的原型原型階段的目標(biāo)不是好用而是能跑通。我的做法是用最少的工具、最簡單的循環(huán)先把一個任務(wù)從頭到尾跑通。技術(shù)棧上如果是從零開始我會選一個成熟的Agent框架而不是自己造輪子?？蚣軒湍闾幚砹搜h(huán)、工具調(diào)用、狀態(tài)管理這些臟活讓你能專注在業(yè)務(wù)邏輯上。但要注意框架不是越多越好選一個主流的、文檔全的就行別同時用三四個框架那樣調(diào)試起來會瘋掉。原型階段我一般只做三件事定義兩三個核心工具、寫一個簡單的主循環(huán)、跑通一個真實任務(wù)。跑通之后再逐步加工具、加約束、加錯誤處理。這個順序很重要先跑通再加復(fù)雜度比一上來就搭大框架要快得多。5.3 第三步把提示詞當(dāng)成代碼來管理Agent的提示詞prompt不是隨便寫寫的它實際上是Agent的行為規(guī)范。我踩過的坑是提示詞改來改去最后自己都忘了哪版是哪版出了問題也不知道是哪次改動引入的。后來我學(xué)乖了把提示詞當(dāng)代碼管理用版本控制、每次改動寫清楚改了什么、為什么改、改完跑一遍回歸測試。提示詞里我會明確寫清楚Agent的角色是什么、可用工具列表、每個工具什么時候用、遇到錯誤怎么辦、什么情況下必須停下來問用戶。這些約束寫得越清楚Agent的行為越穩(wěn)定。還有一個經(jīng)驗是提示詞要短而準(zhǔn)。新手容易把提示詞寫成一篇論文恨不得把所有情況都寫進(jìn)去。但提示詞太長模型反而抓不住重點。我的做法是核心規(guī)則放在最前面細(xì)節(jié)用工具描述和狀態(tài)來承載而不是全塞進(jìn)系統(tǒng)提示詞里。5.4 第四步上線之后盯什么Agent上線不是終點而是另一個起點。上線后我重點盯三個東西失敗率。哪些任務(wù)失敗了失敗在哪個環(huán)節(jié)。這個數(shù)據(jù)是改進(jìn)的第一手材料。異常調(diào)用。有沒有工具被頻繁調(diào)用、有沒有循環(huán)卡住、有沒有token消耗異常。這些往往是bug的信號。用戶反饋。用戶說它沒聽懂它做錯了它卡住了這些反饋比任何指標(biāo)都直接。我會把用戶反饋和日志對起來看定位具體是哪個環(huán)節(jié)的問題。創(chuàng)業(yè)項目資源有限不可能做很重的監(jiān)控。我的建議是先把日志打全然后每天花十分鐘看一遍失敗case這個投入產(chǎn)出比是最高的。6. 那些文檔里不會寫的坑我踩過的Agent開發(fā)教訓(xùn)6.1 模型不是越強(qiáng)越好合適最重要剛開始做Agent的時候我總想用最強(qiáng)的模型覺得模型越強(qiáng)Agent越聰明。后來發(fā)現(xiàn)不是這么回事。強(qiáng)模型確實推理能力好但成本高、速度慢而且對于簡單任務(wù)強(qiáng)模型和中等模型的差別并不大。我的經(jīng)驗是按任務(wù)難度分層用模型。簡單的工具調(diào)用、格式轉(zhuǎn)換用便宜快的模型復(fù)雜的規(guī)劃、推理用強(qiáng)模型。一個Agent里混用多個模型是完全正常的關(guān)鍵是每個環(huán)節(jié)用對模型。這個策略在創(chuàng)業(yè)項目里尤其重要因為成本直接關(guān)系到能不能活下去。6.2 工具調(diào)用失敗是常態(tài)不是異常新手寫Agent往往假設(shè)工具調(diào)用會成功。但真實世界里接口會超時、會限流、會返回格式不對的數(shù)據(jù)。如果Agent沒有處理這些情況的能力一遇到失敗就崩那用戶體驗會非常差。我的做法是給每個工具調(diào)用都包一層錯誤處理超時了重試幾次、返回格式不對就報錯給模型、連續(xù)失敗就放棄并告訴用戶。這些邏輯不復(fù)雜但能極大提升Agent的穩(wěn)定性。記住一句話在Agent的世界里失敗是常態(tài)成功才是需要處理的特殊情況。6.3 上下文不是越多越好噪音會害死Agent我早期的一個錯誤是把能塞的上下文都塞給模型覺得信息越多模型判斷越準(zhǔn)。結(jié)果發(fā)現(xiàn)模型經(jīng)常被無關(guān)信息干擾做出奇怪的決策。后來我學(xué)會了只給模型當(dāng)前決策需要的信息。歷史對話做摘要、工具結(jié)果做精簡、狀態(tài)只保留關(guān)鍵字段。這個原則說起來簡單做起來需要不斷調(diào)試——你要判斷哪些信息是當(dāng)前決策必需的哪些是可能有用但會干擾的。我的判斷標(biāo)準(zhǔn)是如果這個信息不影響模型下一步的選擇就不給它。6.4 別讓Agent做它不擅長的事Agent再強(qiáng)也有它不擅長的領(lǐng)域。比如精確的數(shù)學(xué)計算、需要實時性的操作、涉及復(fù)雜規(guī)則判斷的任務(wù)這些交給傳統(tǒng)代碼或者專門的系統(tǒng)更靠譜。我見過有人非要用Agent做所有事結(jié)果一個簡單的日期計算都要繞一大圈。正確的做法是該用代碼的地方用代碼該用Agent的地方用Agent。Agent的價值在于處理那些規(guī)則不明確、需要靈活判斷的任務(wù)而不是替代所有程序邏輯。7. 給正在學(xué)Agent開發(fā)的人幾條實在建議熱詞里有agent開發(fā)學(xué)習(xí)路線agent開發(fā)教程ai agent for beginners說明很多人在找入門路徑。我結(jié)合自己的經(jīng)歷給幾條建議。第一先動手再深入。不要一上來就啃論文、看架構(gòu)圖先找一個框架跑通一個最簡單的Agent哪怕只是查天氣報天氣這種。跑通之后你自然會有問題帶著問題去學(xué)效率比空看文檔高十倍。第二從單Agent單工具開始。別一上來就搞多Agent、搞復(fù)雜記憶。一個Agent、一個工具、一個任務(wù)跑通了再加。這個順序能幫你建立正確的直覺。第三重視評估哪怕是最土的評估。很多人寫完Agent就憑感覺覺得還行但到底行不行得跑數(shù)據(jù)。哪怕只是手動跑20個case記錄成功率也比沒有評估強(qiáng)。第四多看別人的失敗案例。成功的案例往往有幸存者偏差失敗案例里的坑才是真金白銀。我自己進(jìn)步最快的階段就是集中看了一批別人踩坑的復(fù)盤。第五保持對成本的敏感。Agent的token消耗比普通應(yīng)用高得多因為每一輪循環(huán)都要把上下文重新塞給模型。創(chuàng)業(yè)項目尤其要注意一個設(shè)計不好的循環(huán)可能讓成本翻好幾倍。養(yǎng)成看token消耗的習(xí)慣能幫你發(fā)現(xiàn)很多設(shè)計問題。那位AI創(chuàng)業(yè)者正在開發(fā)的Agent我雖然不知道具體細(xì)節(jié)但從行業(yè)規(guī)律看他大概率也在經(jīng)歷上面這些取舍和踩坑。Agent這個方向現(xiàn)在很熱但熱不代表容易。真正能跑出來的人往往是那些把基本功做扎實、把細(xì)節(jié)摳到位的人而不是追概念追得最兇的人。