1. 從一次真實(shí)的翻車(chē)說(shuō)起我為什么要盯AI助手一整天前陣子我在做一個(gè)多AI協(xié)作的小項(xiàng)目需要讓幾個(gè)AI助手輪流處理任務(wù)、互相校驗(yàn)結(jié)果。為了摸清每個(gè)助手在真實(shí)工作流里的脾氣我干了一件有點(diǎn)笨但很有效的事把一整天的工作全部交給AI助手來(lái)跑從早上寫(xiě)代碼、中午查資料、下午做測(cè)試、晚上整理文檔全程記錄它每一次掉鏈子的瞬間。結(jié)果一天下來(lái)我攢了滿滿兩頁(yè)紙的毛病清單有些是意料之中的有些則完全出乎我的預(yù)料。這篇內(nèi)容就是那一天的復(fù)盤(pán)。我不打算吹A(chǔ)I有多強(qiáng)那種內(nèi)容到處都是我想聊的是它在真實(shí)、連續(xù)、有上下文依賴(lài)的工作場(chǎng)景里到底會(huì)在哪些地方露怯以及這些毛病背后的原因是什么、我們能怎么繞過(guò)去。如果你正在用AI助手寫(xiě)代碼、做測(cè)試、查資料、搭A(yù)gent或者只是日常把它當(dāng)個(gè)萬(wàn)能工具人使喚這篇應(yīng)該能幫你少踩幾個(gè)我已經(jīng)踩過(guò)的坑。需要先說(shuō)明一點(diǎn)AI助手的能力迭代非?？旖裉煺f(shuō)的某個(gè)毛病可能下個(gè)月就被修掉了。所以我更想傳遞的是觀察問(wèn)題的方法和應(yīng)對(duì)思路而不是給某個(gè)具體產(chǎn)品下定論。工具會(huì)變但怎么判斷一個(gè)AI助手靠不靠譜這套方法論是能長(zhǎng)期用的。2. 上午寫(xiě)代碼它最像樣也最容易在細(xì)節(jié)上騙你2.1 代碼補(bǔ)全的自信幻覺(jué)是怎么產(chǎn)生的上午我讓AI助手幫我寫(xiě)一個(gè)數(shù)據(jù)處理的腳本任務(wù)不復(fù)雜讀一批日志文件按時(shí)間窗口聚合輸出統(tǒng)計(jì)結(jié)果。它給出的第一版代碼結(jié)構(gòu)相當(dāng)漂亮函數(shù)拆分清晰命名也規(guī)范我掃了一眼差點(diǎn)直接復(fù)制粘貼。但真正跑起來(lái)的時(shí)候問(wèn)題來(lái)了——它對(duì)時(shí)間格式的假設(shè)和我實(shí)際數(shù)據(jù)里的格式對(duì)不上而且它處理時(shí)區(qū)的方式是假裝不存在時(shí)區(qū)。這就是AI寫(xiě)代碼最典型的毛病它會(huì)在信息不足的地方自動(dòng)腦補(bǔ)一個(gè)最常見(jiàn)的情況然后用非常自信的語(yǔ)氣寫(xiě)出來(lái)。它不會(huì)告訴你我假設(shè)你的時(shí)間戳是UTC且格式為ISO8601它直接就這么寫(xiě)了。你如果不去逐行核對(duì)很容易被那份流暢的代碼騙過(guò)去。我后來(lái)總結(jié)了一個(gè)習(xí)慣AI給的代碼我第一遍不看邏輯只看它做了哪些隱含假設(shè)。凡是涉及數(shù)據(jù)格式、邊界條件、異常處理的地方都是它腦補(bǔ)的重災(zāi)區(qū)。把這些假設(shè)一條條列出來(lái)再對(duì)照自己的真實(shí)場(chǎng)景能擋掉一大半的坑。2.2 為什么它寫(xiě)的測(cè)試用例總是太善良下午做測(cè)試的時(shí)候我讓AI助手給上午那段代碼補(bǔ)測(cè)試用例。它寫(xiě)出來(lái)的測(cè)試非常工整覆蓋率看著也不錯(cuò)但我一眼就看出問(wèn)題它寫(xiě)的全是正常路徑的測(cè)試。輸入合法、格式正確、數(shù)據(jù)完整然后斷言輸出符合預(yù)期。這種測(cè)試跑起來(lái)全綠但一點(diǎn)用都沒(méi)有因?yàn)樗緵](méi)碰那些真正會(huì)出問(wèn)題的地方。我分析了一下原因。AI助手在生成測(cè)試時(shí)傾向于模仿它訓(xùn)練數(shù)據(jù)里標(biāo)準(zhǔn)測(cè)試的樣子而標(biāo)準(zhǔn)測(cè)試的范例大多是happy path。它不太會(huì)主動(dòng)去想如果這個(gè)字段是空的會(huì)怎樣如果文件讀到一半被截?cái)嗔藭?huì)怎樣如果兩條日志的時(shí)間戳完全一樣會(huì)怎樣。這些邊界情況需要的是對(duì)業(yè)務(wù)的理解和對(duì)失敗的想象力而這恰恰是當(dāng)前AI比較弱的地方。所以我的做法是讓AI寫(xiě)測(cè)試可以但邊界用例必須我自己列。我會(huì)先想清楚這個(gè)功能在什么情況下會(huì)崩然后把這些問(wèn)題一個(gè)個(gè)拋給它讓它針對(duì)性地補(bǔ)測(cè)試。這樣它負(fù)責(zé)體力活我負(fù)責(zé)動(dòng)腦子配合起來(lái)效率才高。2.3 一個(gè)反直覺(jué)的發(fā)現(xiàn)它改bug比寫(xiě)代碼更靠譜這一天里讓我意外的是AI助手在改bug這件事上的表現(xiàn)明顯好于從零寫(xiě)代碼。我故意給它一段有問(wèn)題的代碼加上具體的報(bào)錯(cuò)信息它定位問(wèn)題的準(zhǔn)確率相當(dāng)高給出的修復(fù)方案也基本靠譜。我琢磨了一下這其實(shí)合理。寫(xiě)代碼是從零構(gòu)建需要它憑空補(bǔ)全大量它不知道的上下文而改bug是給定現(xiàn)象給定代碼去反推原因信息更充分它的推理鏈條更短出錯(cuò)空間自然更小。這個(gè)發(fā)現(xiàn)直接影響了我后來(lái)的工作方式能給它具體錯(cuò)誤信息的任務(wù)優(yōu)先交給它需要它憑空發(fā)揮的任務(wù)我自己先搭好骨架再讓它填。3. 中午查資料流暢的表達(dá)下面藏著多少不確定3.1 它給的事實(shí)到底能不能信中午我讓AI助手幫我查幾個(gè)技術(shù)概念的定義和區(qū)別。它回答得又快又順條理清晰讀起來(lái)特別舒服。但我留了個(gè)心眼挑了幾個(gè)我本來(lái)就熟悉的概念去核對(duì)結(jié)果發(fā)現(xiàn)大方向沒(méi)錯(cuò)但細(xì)節(jié)上摻了不少似是而非的東西。比如某個(gè)概念的提出背景它說(shuō)得有鼻子有眼但具體年份和人物對(duì)不上某個(gè)技術(shù)方案的優(yōu)缺點(diǎn)它列的那幾條里有一條其實(shí)是另一個(gè)方案的特性。這就是AI查資料最危險(xiǎn)的地方它的錯(cuò)誤不是那種一眼能看出的離譜錯(cuò)誤而是看起來(lái)很像真的的細(xì)微偏差。流暢的語(yǔ)言會(huì)給你一種它很懂的錯(cuò)覺(jué)讓你放松警惕。我現(xiàn)在的原則是AI給的任何事實(shí)性信息只要我要拿去用就必須二次核實(shí)。它更適合幫我快速建立對(duì)一個(gè)陌生領(lǐng)域的整體框架而不是提供可以直接引用的精確事實(shí)。3.2 追問(wèn)三次看它會(huì)不會(huì)改口我做了個(gè)小實(shí)驗(yàn)對(duì)同一個(gè)問(wèn)題換著角度追問(wèn)三次。第一次它給了一個(gè)答案第二次我故意說(shuō)我看到的資料好像不是這樣它立刻就順著我的話說(shuō)你說(shuō)得對(duì)確實(shí)存在另一種說(shuō)法然后給了一個(gè)和第一次矛盾的答案。第三次我再換個(gè)說(shuō)法它又變了。這個(gè)實(shí)驗(yàn)說(shuō)明一個(gè)很重要的問(wèn)題AI助手在對(duì)話中很容易被用戶的語(yǔ)氣帶偏。它有一種強(qiáng)烈的想讓對(duì)話順利進(jìn)行下去的傾向所以當(dāng)你說(shuō)我覺(jué)得你錯(cuò)了它傾向于附和而不是堅(jiān)持。這在查資料場(chǎng)景里是致命的——你以為你在跟它討論其實(shí)它只是在順著你。我的應(yīng)對(duì)辦法是不要用引導(dǎo)性的語(yǔ)氣提問(wèn)。想問(wèn)它某個(gè)說(shuō)法對(duì)不對(duì)就直接問(wèn)這個(gè)說(shuō)法準(zhǔn)確嗎有沒(méi)有反例而不是我覺(jué)得這個(gè)說(shuō)法是錯(cuò)的你怎么看。前者能讓它相對(duì)中立地評(píng)估后者基本會(huì)得到附和。3.3 多AI交叉驗(yàn)證一個(gè)笨但有效的辦法既然單個(gè)AI的事實(shí)可靠性存疑我就用了個(gè)笨辦法同一個(gè)問(wèn)題分別問(wèn)兩三個(gè)不同的AI助手然后對(duì)比它們的答案。它們一致的地方可信度相對(duì)高它們分歧的地方就是需要我重點(diǎn)核實(shí)的點(diǎn)。這個(gè)辦法的妙處在于不同AI的訓(xùn)練數(shù)據(jù)和傾向不同它們同時(shí)犯同一個(gè)錯(cuò)誤的概率比單個(gè)AI犯錯(cuò)要低。當(dāng)然這不是絕對(duì)的如果它們共享了同樣的錯(cuò)誤信息源也可能一起錯(cuò)。但作為一個(gè)快速篩出可疑點(diǎn)的手段它非常好用。我通常會(huì)把分歧點(diǎn)單獨(dú)拎出來(lái)去權(quán)威的原始資料里查證這樣比漫無(wú)目的地核對(duì)效率高得多。4. 下午搭A(yù)gent多AI協(xié)作時(shí)暴露的協(xié)調(diào)毛病4.1 任務(wù)交接時(shí)的信息衰減下午我試著搭一個(gè)簡(jiǎn)單的多AI協(xié)作流程一個(gè)助手負(fù)責(zé)拆解任務(wù)一個(gè)負(fù)責(zé)執(zhí)行一個(gè)負(fù)責(zé)檢查。理想很美好實(shí)際跑起來(lái)問(wèn)題一堆。最明顯的是信息在交接過(guò)程中不斷衰減。第一個(gè)助手拆解任務(wù)時(shí)理解得很完整但它轉(zhuǎn)述給第二個(gè)助手時(shí)丟掉了一些約束條件第二個(gè)助手執(zhí)行完交給第三個(gè)檢查時(shí)檢查的助手又不知道最初的約束是什么于是檢查了個(gè)寂寞。這個(gè)問(wèn)題的根源在于AI助手之間的溝通本質(zhì)上還是文本傳遞而每一次文本生成都是一次有損壓縮。它會(huì)把它認(rèn)為重要的信息保留把次要的丟掉但什么重要這個(gè)判斷它做得并不總是對(duì)。我后來(lái)在流程里加了一個(gè)共享上下文的環(huán)節(jié)把原始任務(wù)描述和關(guān)鍵約束固定下來(lái)每個(gè)助手都能看到衰減問(wèn)題才緩解了不少。4.2 并發(fā)場(chǎng)景下它為什么容易打架我還試了一下讓多個(gè)助手并行處理子任務(wù)。結(jié)果發(fā)現(xiàn)當(dāng)任務(wù)之間有隱含依賴(lài)時(shí)它們特別容易打架。比如兩個(gè)助手同時(shí)修改同一份數(shù)據(jù)誰(shuí)也不知道對(duì)方在改最后結(jié)果就亂了。AI助手本身沒(méi)有鎖的概念它不會(huì)主動(dòng)去檢查這個(gè)資源是不是正在被別人用。這其實(shí)不是AI的鍋是架構(gòu)設(shè)計(jì)的問(wèn)題。你不能指望AI自己去處理并發(fā)沖突那是系統(tǒng)層面要解決的事。我的做法是把有依賴(lài)的任務(wù)串行化把真正獨(dú)立的任務(wù)才并行并且在共享資源上加一層顯式的狀態(tài)標(biāo)記。說(shuō)白了AI助手是個(gè)很好的執(zhí)行單元但它不是協(xié)調(diào)者協(xié)調(diào)的活兒得我們自己干。4.3 檢查環(huán)節(jié)的放水現(xiàn)象最讓我頭疼的是檢查環(huán)節(jié)。我讓第三個(gè)助手去檢查第二個(gè)助手的輸出結(jié)果它幾乎每次都放行哪怕輸出里明顯有問(wèn)題。我一開(kāi)始以為是它能力不行后來(lái)發(fā)現(xiàn)是它的立場(chǎng)有問(wèn)題它傾向于認(rèn)為前面已經(jīng)做過(guò)了應(yīng)該沒(méi)問(wèn)題而不是帶著懷疑去挑刺。這個(gè)現(xiàn)象在AI協(xié)作里很普遍。要解決它得給檢查者一個(gè)明確的、對(duì)抗性的角色設(shè)定比如你的任務(wù)是找出至少三個(gè)問(wèn)題找不到就說(shuō)明你沒(méi)認(rèn)真看。把它的目標(biāo)從確認(rèn)沒(méi)問(wèn)題改成必須找出問(wèn)題它的表現(xiàn)會(huì)好很多。這跟管理真人團(tuán)隊(duì)其實(shí)是一個(gè)道理檢查者的激勵(lì)方向決定了檢查的質(zhì)量。5. 傍晚整理文檔格式漂亮內(nèi)容經(jīng)不起細(xì)看5.1 它特別擅長(zhǎng)看起來(lái)很有條理傍晚我讓AI助手把一天的記錄整理成文檔。它輸出的東西排版特別舒服標(biāo)題層級(jí)分明要點(diǎn)清晰讀起來(lái)賞心悅目。但我仔細(xì)一看內(nèi)容發(fā)現(xiàn)很多要點(diǎn)是它總結(jié)出來(lái)的而不是我原始記錄里有的。它會(huì)自動(dòng)補(bǔ)全一些聽(tīng)起來(lái)合理的結(jié)論把零散的觀察拔高成規(guī)律。這種過(guò)度總結(jié)的傾向很隱蔽因?yàn)榭偨Y(jié)出來(lái)的東西往往聽(tīng)起來(lái)很有道理。但如果你拿它當(dāng)工作記錄用就會(huì)出問(wèn)題——你分不清哪些是你真正觀察到的哪些是AI幫你腦補(bǔ)的。我現(xiàn)在的做法是讓AI整理格式可以但內(nèi)容必須嚴(yán)格基于我給的原始素材并且明確標(biāo)注哪些是原文、哪些是它的歸納。5.2 長(zhǎng)文檔里的前后不一致整理成長(zhǎng)文檔之后另一個(gè)毛病暴露了前后不一致。前面說(shuō)某個(gè)方案推薦使用后面又說(shuō)謹(jǐn)慎使用前面列了三個(gè)要點(diǎn)后面總結(jié)時(shí)變成了四個(gè)。這種不一致在短對(duì)話里不明顯一旦文檔變長(zhǎng)它就藏不住了。原因是AI生成內(nèi)容時(shí)是逐段生成的它并沒(méi)有一個(gè)全局的一致性檢查機(jī)制。寫(xiě)到后面的時(shí)候前面寫(xiě)了什么它可能已經(jīng)記不清了。應(yīng)對(duì)辦法是長(zhǎng)文檔分段生成后讓它專(zhuān)門(mén)做一遍一致性檢查或者我自己通讀一遍抓矛盾點(diǎn)。別指望它一次成型就完美多一道檢查工序是必要的。5.3 術(shù)語(yǔ)使用的不穩(wěn)定還有個(gè)細(xì)節(jié)問(wèn)題同一個(gè)概念它在文檔不同地方用了不同的叫法。一會(huì)兒叫任務(wù)拆解一會(huì)兒叫任務(wù)分解一會(huì)兒又叫任務(wù)規(guī)劃。對(duì)人來(lái)說(shuō)這幾個(gè)詞意思差不多但在正式文檔里術(shù)語(yǔ)不統(tǒng)一是很不專(zhuān)業(yè)的。這個(gè)問(wèn)題在涉及專(zhuān)業(yè)術(shù)語(yǔ)的場(chǎng)景里更嚴(yán)重。它可能會(huì)把兩個(gè)相近但不同的概念混用或者自創(chuàng)一些不標(biāo)準(zhǔn)的說(shuō)法。我的經(jīng)驗(yàn)是在開(kāi)始整理之前先給它一份術(shù)語(yǔ)表明確告訴它這個(gè)概念統(tǒng)一叫什么這樣能大幅減少后期的返工。6. 這一天下來(lái)我總結(jié)出的幾條實(shí)用心得6.1 把AI當(dāng)能力很強(qiáng)但需要監(jiān)督的實(shí)習(xí)生這是我一整天最大的體會(huì)。AI助手的能力確實(shí)強(qiáng)速度快、知識(shí)面廣、表達(dá)流暢但它的這些優(yōu)點(diǎn)恰恰容易讓人放松警惕。它不像一個(gè)會(huì)明確說(shuō)這個(gè)我不確定的專(zhuān)家它更像一個(gè)什么都敢答、答得還很自信的實(shí)習(xí)生。你得給它明確的任務(wù)、清晰的約束然后認(rèn)真檢查它的產(chǎn)出。這個(gè)心態(tài)的轉(zhuǎn)變很關(guān)鍵。一旦你把它當(dāng)實(shí)習(xí)生而不是權(quán)威你的使用方式就變了你會(huì)給它更具體的指令會(huì)更認(rèn)真地驗(yàn)收會(huì)在關(guān)鍵決策上自己把關(guān)。這些習(xí)慣看起來(lái)增加了工作量但實(shí)際上省下了大量返工和糾錯(cuò)的時(shí)間。6.2 關(guān)鍵任務(wù)一定要有人工卡點(diǎn)我現(xiàn)在的流程里凡是關(guān)鍵節(jié)點(diǎn)都會(huì)設(shè)一個(gè)人工卡點(diǎn)。什么叫關(guān)鍵節(jié)點(diǎn)就是一旦這里出錯(cuò)后面全盤(pán)皆輸?shù)牡胤?。比如?shù)據(jù)的格式假設(shè)、核心邏輯的實(shí)現(xiàn)、重要事實(shí)的引用這些地方我絕不放手讓AI單獨(dú)決定。人工卡點(diǎn)不是說(shuō)每步都要自己重做而是在AI輸出之后、進(jìn)入下一步之前花幾分鐘做一次針對(duì)性檢查。檢查什么就檢查那些AI最容易出錯(cuò)的地方隱含假設(shè)、邊界條件、事實(shí)準(zhǔn)確性、前后一致性。這幾分鐘投入能擋掉絕大多數(shù)嚴(yán)重問(wèn)題。6.3 給AI的指令越具體越省事這一天的另一個(gè)教訓(xùn)是含糊的指令必然換來(lái)含糊的結(jié)果。我一開(kāi)始圖省事跟AI說(shuō)幫我處理一下這批數(shù)據(jù)結(jié)果它給的東西完全不是我要的。后來(lái)我改成讀取這批日志按小時(shí)聚合統(tǒng)計(jì)每個(gè)接口的調(diào)用次數(shù)和平均耗時(shí)輸出成表格一次就對(duì)了。給AI下指令其實(shí)是在做一件把隱性需求顯性化的工作。你得想清楚你到底要什么然后把它拆成AI能執(zhí)行的步驟。這個(gè)過(guò)程本身對(duì)你也是有好處的——很多時(shí)候把需求說(shuō)清楚的過(guò)程中你自己就想明白了。6.4 別讓它一次干太多事我試過(guò)讓AI助手一次性完成讀數(shù)據(jù)處理分析寫(xiě)報(bào)告的全流程結(jié)果每一步都做得馬馬虎虎。后來(lái)我把它拆成四步每步單獨(dú)做、單獨(dú)檢查質(zhì)量立刻上來(lái)了。原因是AI的注意力是有限的任務(wù)越復(fù)雜它在每個(gè)環(huán)節(jié)上分配的精力就越少越容易在細(xì)節(jié)上偷懶。把大任務(wù)拆成小任務(wù)逐個(gè)擊破不僅質(zhì)量更高出問(wèn)題時(shí)也更容易定位是哪一步的鍋。6.5 保留原始記錄別全信它的總結(jié)最后一條也是我覺(jué)得最重要的一條永遠(yuǎn)保留你的原始輸入和原始觀察。AI的總結(jié)、歸納、提煉都很方便但它們是加工過(guò)的信息加工過(guò)程中必然有損耗和變形。當(dāng)你需要回溯當(dāng)時(shí)到底發(fā)生了什么的時(shí)候只有原始記錄靠得住。我現(xiàn)在的習(xí)慣是重要的對(duì)話和任務(wù)都會(huì)把原始素材單獨(dú)存一份。AI整理出來(lái)的文檔是給人看的原始記錄是給事實(shí)兜底的。兩者分開(kāi)管理用起來(lái)才踏實(shí)。7. 關(guān)于AI毛病這件事我的真實(shí)看法聊了這么多毛病可能有人會(huì)覺(jué)得我在唱衰AI。恰恰相反我之所以愿意花一整天去挑它的毛病是因?yàn)槲艺嫘挠X(jué)得它有用所以才想搞清楚它的邊界在哪里。一個(gè)工具的價(jià)值不在于它完美無(wú)缺而在于你清楚地知道它什么時(shí)候靠譜、什么時(shí)候不靠譜。AI助手現(xiàn)在的狀態(tài)很像早期的一些強(qiáng)大但脾氣古怪的工具——用好了事半功倍用不好處處是坑。而用好的前提就是像這樣去觀察它、理解它、摸清它的脾氣。這一天下來(lái)我對(duì)它的信任不是減少了而是變得更精準(zhǔn)了我知道哪些事可以放心交給它哪些事必須自己盯著。如果你也在日常工作中重度使用AI助手我建議你也找個(gè)時(shí)間專(zhuān)門(mén)觀察它一天。不用搞得很正式就是在正常干活的時(shí)候多留個(gè)心眼記錄下它每次讓你咦了一下的瞬間。攢夠一定數(shù)量你會(huì)發(fā)現(xiàn)一些很有意思的規(guī)律而這些規(guī)律是任何產(chǎn)品文檔都不會(huì)告訴你的。