當(dāng)你的 Agent 在測(cè)試集上表現(xiàn)不穩(wěn)定時(shí)很多團(tuán)隊(duì)的第一反應(yīng)是換底座模型比如從開(kāi)源 7B 換成更大的 70B或者從 GPT-4o 換成“當(dāng)前最強(qiáng)”的模型。結(jié)果常常是有提升但幅度不大而且換了供應(yīng)商之后原來(lái)的工具調(diào)用方式可能又要重寫(xiě)一遍。另一個(gè)常見(jiàn)反應(yīng)是微調(diào)模型。但微調(diào)成本高、數(shù)據(jù)難準(zhǔn)備而且很多 Agent 場(chǎng)景里模型其實(shí)沒(méi)有“知識(shí)缺陷”真正的問(wèn)題出在它不知道該在什么時(shí)機(jī)調(diào)用工具、工具參數(shù)怎么填、調(diào)用失敗后如何恢復(fù)、結(jié)果不滿 意時(shí)應(yīng)該繼續(xù)檢索還是直接作答。這些問(wèn)題不發(fā)生在模型參數(shù)內(nèi)部而發(fā)生在模型和外部環(huán)境之間的那一層代碼與配置里。這一層現(xiàn)在被越來(lái)越多開(kāi)發(fā)者稱為 LLM Harness。最近在 Hacker News 上出現(xiàn)了一個(gè)很能概括這個(gè)方向的標(biāo)題Auto-train the harness, not the LLM. cross-model, cross-benchmark gains。大意是自動(dòng)優(yōu)化外層 Harness而不是訓(xùn)練 LLM 本身并且把這種優(yōu)化帶來(lái)的收益遷移到多個(gè)模型和多個(gè)評(píng)測(cè)基準(zhǔn)上。這個(gè)觀點(diǎn)聽(tīng)起來(lái)有些反直覺(jué)但放在 Agent 應(yīng)用大量落地的背景下它比“繼續(xù)卷底座模型”更貼近工程現(xiàn)實(shí)。這篇文章不是為了介紹某個(gè)具體倉(cāng)庫(kù)而是想把這個(gè)思路拆開(kāi)什么是 Harness、為什么要自動(dòng)訓(xùn)練 Harness、怎么用最小工程驗(yàn)證它是否真的有效。1. 為什么說(shuō) Agent 的瓶頸可能不在模型而在 Harness先看一個(gè)高頻場(chǎng)景。你給 LLM 接上了搜索工具和計(jì)算器業(yè)務(wù)流程大概是系統(tǒng)提示詞告訴模型“不確定就搜索”工具描述里寫(xiě)清楚搜索接口能做什么模型返回一個(gè)結(jié)構(gòu)化工具調(diào)用你的代碼去執(zhí)行函數(shù)再把結(jié)果拼回上下文讓模型繼續(xù)推理。聽(tīng)上去很順實(shí)際跑起來(lái)卻經(jīng)常出現(xiàn)三類問(wèn)題第一模型該搜索的時(shí)候不搜索不該搜索的時(shí)候反而搜索。這不是模型“笨”而是提示詞里沒(méi)有定義清楚判斷條件工具描述也沒(méi)有告訴模型什么樣的問(wèn)題屬于“需要實(shí)時(shí)信息”。第二工具結(jié)果回填格式混亂。模型可能返回一個(gè)很長(zhǎng)的網(wǎng)頁(yè)摘要上下文被撐爆或者返回了 JSON 數(shù)組但你的解析器只處理了對(duì)象。這些格式問(wèn)題本質(zhì)上由 Harness 環(huán)節(jié)的人為規(guī)定造成。第三Agent 陷入死循環(huán)。模型反復(fù)調(diào)用同一個(gè)工具拿到相似結(jié)果然后繼續(xù)調(diào)用。如果循環(huán)次數(shù)、停 止條件、結(jié)果去重沒(méi)有兜底再?gòu)?qiáng)的模型也會(huì)在真實(shí)環(huán)境里打轉(zhuǎn)。如果你把這些問(wèn)題歸因于“模型能力不夠”就會(huì)走上換模型或微調(diào)的路。但稍微復(fù)盤(pán)一下就會(huì)承認(rèn)模型大多是按照它看到的那套系統(tǒng)提示、工具定義、消息歷史去決策的。模型像一個(gè)經(jīng)驗(yàn)豐富但完全聽(tīng)信流程的員工真正決定工作質(zhì)量的是他手里的操作手冊(cè)和上級(jí)給的授權(quán)邊界。這個(gè)操作手冊(cè)和授權(quán)邊界就是 Harness。Harness 不是某個(gè)大模型廠商提出的專有概念。只要你在做 Agent、寫(xiě) RAG、做工具調(diào)用其實(shí)已經(jīng)不知不覺(jué)寫(xiě)了大量 Harness 代碼。問(wèn)題在于過(guò)去我們把這些代碼當(dāng)成“調(diào)用 API 的臨時(shí)膠水”沒(méi)有意識(shí)到它們是可以系統(tǒng)設(shè)計(jì)的、擁有獨(dú)立版本、需要評(píng)測(cè)和優(yōu)化的核心部件。從很多公開(kāi)討論來(lái)看過(guò)去半年“Harness 工程”這個(gè)詞出現(xiàn)的頻率明顯升高。圍繞 DeepSeek、Codex 等模型的封裝工具也開(kāi)始出現(xiàn)。大家開(kāi)始默認(rèn)一個(gè)前提當(dāng)模型能力差距縮小到一定程度Agent 效果的上限不取決于你選哪個(gè)底座模型而取決于你在這層外圍工程上做得有多細(xì)。2. 什么是 LLM Harness模型、環(huán)境與任務(wù)之間的膠水層要理解 Auto-train Harness先得把 Harness 的邊界畫(huà)清楚。LLM Harness 可以理解為為了讓 LLM 完成真實(shí)任務(wù)而在模型之外增加的提示模板、工具定義、循環(huán)控制、上下文管理、結(jié)果校驗(yàn)與安全邊界的總稱。它至少包含四塊內(nèi)容。第一塊是認(rèn)知接口。也就是模型“看到”什么。系統(tǒng)提示詞、用戶問(wèn)題的組織方式、工具名稱和描述、Few-shot 示例、輸出格式約束都屬于認(rèn)知接口。模型不會(huì)直接看到你的內(nèi)部工具它只能看到你給它描述過(guò)的工具。因此工具描述寫(xiě)得好不好直接決定模型會(huì)不會(huì)調(diào)用正確的工具。很多團(tuán)隊(duì)只把工具描述當(dāng)作文檔隨手寫(xiě)一句“查詢訂單狀態(tài) API”模型在復(fù)雜語(yǔ)境里自然容易誤用。第二塊是執(zhí)行循環(huán)。LLM 本身沒(méi)有手它不能真正執(zhí)行搜索、不能寫(xiě)數(shù)據(jù)庫(kù)、不能發(fā)送 HTTP 請(qǐng)求。模型能做的只是輸出一個(gè)結(jié)構(gòu)化的工具調(diào)用請(qǐng)求。誰(shuí)來(lái)執(zhí)行這個(gè)請(qǐng)求誰(shuí)來(lái)把執(zhí)行結(jié)果放回消息歷史誰(shuí)來(lái)決定是繼續(xù)讓模型推理還是終止這些是 Harness 的運(yùn)行時(shí)控制部分。ReAct 模式、Tool Calling 循環(huán)、LangChain Agent 里的執(zhí)行器、各類 Agent 框架中的 Loop本質(zhì)都屬于這一層。第三塊是穩(wěn)定性機(jī)制。真實(shí)環(huán)境是不穩(wěn)定的。工具可能超時(shí)第三方 API 可能返回臟數(shù)據(jù)模型可能連續(xù)多次輸出無(wú)效 JSON甚至可能在一次回復(fù)中同時(shí)給出最終答案和工具調(diào)用。Harness 需要處理這些異常重試、截?cái)?、錯(cuò)誤提示、回退策略、最大輪次限制。沒(méi)有這層機(jī)制模型即使知道答案也可能會(huì)被一次工具異常帶偏。第四塊是安全和數(shù)據(jù)邊界。一個(gè) Agent 能訪問(wèn)哪些工具、每個(gè)工具允許哪些參數(shù)、調(diào)用前是否需要審批、日志里能不能出現(xiàn)敏感字段這些通常不會(huì)被模型自身感知而是由 Harness 在調(diào)用執(zhí)行前強(qiáng)制執(zhí)行。越是進(jìn)入生產(chǎn)環(huán)境這部分的分量越重。把模型和外層 Harness 分開(kāi)看會(huì)發(fā)現(xiàn)它們想解決的問(wèn)題不同。層面主要問(wèn)題改進(jìn)方式成本類型LLM 參數(shù)知識(shí)、推理、指令遵循預(yù)訓(xùn)練、微調(diào)、RLHF算力和數(shù)據(jù)成本高Harness工具調(diào)用、流程控制、穩(wěn)定性提示詞優(yōu)化、循環(huán)策略、代碼邏輯開(kāi)發(fā)和評(píng)測(cè)成本高評(píng)測(cè)體系改進(jìn)是否真實(shí)存在基準(zhǔn)集、交叉驗(yàn)證、回歸測(cè)試評(píng)測(cè)基建成本Harness 經(jīng)常被誤認(rèn)為只是“提示詞工程”其實(shí)提示詞只是認(rèn)知接口的一部分。更重要的是Harness 是可以寫(xiě)代碼、做控制流、跑自動(dòng)化評(píng)測(cè)的系統(tǒng)。正因?yàn)樗窍到y(tǒng)所以可以在不改變模型權(quán)重的情況下被優(yōu)化自動(dòng)化的優(yōu)化就變得有可能性。這就是 Auto-train Harness 的核心前提。3. Auto-train Harness 的思路調(diào)的不是模型參數(shù)而是決策策略“Auto-train”這個(gè)詞聽(tīng)起來(lái)很大它未必意味著你要做 PyTorch 訓(xùn)練。在 Agent 場(chǎng)景里它更接近一種搜索或自動(dòng)調(diào)優(yōu)過(guò)程把 Harness 的關(guān)鍵變量從人工配置變成可枚舉、可變異的參數(shù)空間然后通過(guò)自動(dòng)評(píng)測(cè)尋找更優(yōu)配置。傳統(tǒng)手工調(diào) Harness 是幾天前最常見(jiàn)的做法。一個(gè)人對(duì)著系統(tǒng)提示詞改三版把工具描述從“搜索網(wǎng)頁(yè)”改成“當(dāng)用戶詢問(wèn)最新新聞時(shí)使用此工具獲取搜索結(jié)果”再跑一遍評(píng)測(cè)集看準(zhǔn)確率有沒(méi)有漲。這種方式的問(wèn)題在于評(píng)測(cè)集的噪聲經(jīng)常比提示詞差異帶來(lái)的收益還大人工很難判斷一個(gè)改動(dòng)是真正有效還是碰巧有效。自動(dòng)優(yōu)化至少能保證候選配置都跑在同一個(gè)評(píng)測(cè)集上打分一致最后用規(guī)則選出表現(xiàn)最好的配置而不是靠感覺(jué)。如果要自動(dòng)訓(xùn)練的變量只有提示詞那它其實(shí)還是提示詞搜索。可以把優(yōu)化空間擴(kuò)大一些系統(tǒng)提示詞與工具描述換措辭、換結(jié)構(gòu)、增加邊界條件說(shuō)明。工具順序與可見(jiàn)性模型不一定要看到全部工具按任務(wù)路由到不同工具子集可能更好。循環(huán)控制最大迭代次數(shù)、提前終止條件、連續(xù)相同工具結(jié)果時(shí)是否中斷。輸出解析與校驗(yàn)要求模型先輸出 JSON 再輸出解釋或者反過(guò)來(lái)。模型路由策略簡(jiǎn)單任務(wù)用便宜小模型復(fù)雜任務(wù)才交給大模型。Few-shot 示例選擇從已完成任務(wù)中挑相似樣例放入上下文。這些變量共同決定了一個(gè) Agent 的實(shí)際行為邊界。而且它們大多不綁定某個(gè)具體模型。換句話說(shuō)一套合理的 Harness 配置在換一個(gè)底座模型之后大概率仍然有效。這正是“cross-model”收益能成立的根本原因如果你的優(yōu)化只針對(duì)某個(gè)模型的表達(dá)能力那它很難遷移如果你的優(yōu)化改善了工具描述結(jié)構(gòu)、循環(huán)控制這一層通用機(jī)制它就能在多個(gè)模型上同時(shí)帶來(lái)增益。Cross-benchmark 的道理同樣如此。不同基準(zhǔn)會(huì)考察不同能力比如有些考察多跳推理有些考察工具調(diào)用準(zhǔn)確性有些考察最終答案是否簡(jiǎn)潔。如果一個(gè) Harness 變體只在某個(gè)基準(zhǔn)上提升可能是過(guò)擬合到該基準(zhǔn)的數(shù)據(jù)風(fēng)格只有多個(gè)基準(zhǔn)同時(shí)提升才能說(shuō)明它優(yōu)化的是比較通用的行為。3.1 Auto-train 與微調(diào)的區(qū)別很多人會(huì)問(wèn)Auto-train Harness 是不是一種微調(diào)并不是。對(duì)比維度微調(diào) LLMAuto-train Harness對(duì)象模型權(quán)重配置、提示詞、循環(huán)策略成本GPU、訓(xùn)練框架、數(shù)據(jù)標(biāo)注評(píng)測(cè)任務(wù)、API 調(diào)用、搜索算法遷移性一般只對(duì)當(dāng)前模型有效跨模型遷移可能性更高迭代速度小時(shí)到天分鐘到小時(shí)風(fēng)險(xiǎn)可能改變模型通用能力主要影響 Agent 行為邊界這兩者不互斥。如果場(chǎng)景高度垂直微調(diào)仍然有價(jià)值。但如果只是想讓 Agent 更會(huì)調(diào)用工具、更少陷入循環(huán)、更穩(wěn)定地輸出結(jié)果先花時(shí)間優(yōu)化 Harness 的性價(jià)比通常更高。Show HN 標(biāo)題里“not the LLM”的重點(diǎn)應(yīng)該理解為優(yōu)化重心轉(zhuǎn)移而不是否定所有的模型訓(xùn)練。4. Cross-Model、Cross-Benchmark 究竟該怎么驗(yàn)證很多團(tuán)隊(duì)做過(guò)類似的事給提示詞加一句“請(qǐng)一步步思考”然后在自己的評(píng)測(cè)集上看到分?jǐn)?shù)漲了就說(shuō) prompt engineering 有效。但如果把同一套提示詞換一個(gè)模型效果可能反而下降。這說(shuō)明這個(gè)改進(jìn)只對(duì)單個(gè)模型有效屬于某種模型偏好耦合不是真正的 Harness 改進(jìn)。要驗(yàn)證一個(gè) Auto-train Harness 方案是否真的帶來(lái)了跨模型、跨基準(zhǔn)增益需要一個(gè)相對(duì)嚴(yán)謹(jǐn)?shù)脑u(píng)估矩陣。至少應(yīng)該包含三個(gè)模型和兩個(gè)以上評(píng)測(cè)基準(zhǔn)。比如三個(gè)模型分別來(lái)自不同機(jī)構(gòu)評(píng)測(cè)基準(zhǔn)分別覆蓋工具調(diào)用、多輪對(duì)話、信息檢索或代碼生成。優(yōu)化的 Harness 在開(kāi)發(fā)集上搜索時(shí)就應(yīng)當(dāng)在多個(gè)模型上同時(shí)評(píng)估選取平均表現(xiàn)更好的配置而不是只盯著主力模型。把數(shù)據(jù)分成開(kāi)發(fā)集和測(cè)試集也很重要。開(kāi)發(fā)集用來(lái)搜索和選擇 Harness 配置測(cè)試集在最終配置選定后只跑一次。如果開(kāi)發(fā)集和測(cè)試集來(lái)自同一個(gè)基準(zhǔn)可能存在風(fēng)格相似導(dǎo)致的過(guò)擬合所以更穩(wěn) 妥的做法是額外準(zhǔn)備一個(gè) Held-out Benchmark也就是模型和 Harness 都沒(méi)有見(jiàn)過(guò)的新評(píng)測(cè)基準(zhǔn)。只有最終配置在 Held-out Benchmark 上也保持優(yōu)勢(shì)時(shí)才有底氣說(shuō)“提升是真的”。一句話跨模型驗(yàn)證是為了防止改進(jìn)只對(duì)自己用的模型有效跨基準(zhǔn)驗(yàn)證是為了防止改進(jìn)只對(duì)某一個(gè)評(píng)測(cè)集有效。Show HN 標(biāo)題中提到的“gains”如果缺少這種矩陣驗(yàn)證仍然只能視為一種初步觀察。5. 最小實(shí)現(xiàn)一個(gè)可落地的 Harness 自動(dòng)優(yōu)化雛形下面用一個(gè)與具體廠商無(wú)關(guān)的 Python 示例來(lái)演示 Auto-train Harness 的完整鏈路。這里不依賴某一家模型 SDK而是把模型調(diào)用抽象成call_llm()。實(shí)際項(xiàng)目中根據(jù)你用的模型服務(wù)換成對(duì)應(yīng)客戶端即可。5.1 定義一份 Harness 配置先看 Harness 配置示例。它描述的是Agent 的系統(tǒng)提示詞、可選工具列表、循環(huán)控制參數(shù)。學(xué)習(xí)這類思路時(shí)盡量把配置與代碼分離因?yàn)?Harness 本身會(huì)被反復(fù)修改。{ harness_name: react_tool_agent_v1, system_prompt: You are a helpful research agent. If the question asks about real-time facts, call web_search before answering., tools: [ { name: web_search, description: Search the web for keywords and return relevant snippets., parameters: { type: object, properties: { keywords: { type: string, description: search keywords } }, required: [keywords] } }, { name: calculator, description: Evaluate a arithmetic expression., parameters: { type: object, properties: { expression: { type: string, description: A mathematical expression, for example 3 * (7 2) } }, required: [expression] } } ], loop: { max_rounds: 5, stop_when: no_tool_call } }這份配置的核心價(jià)值在于把 Harness 關(guān)心的東西集中到一個(gè)文件里。修改工具描述、調(diào)整系統(tǒng)提示詞、限制最大輪次都通過(guò)配置完成不需要改 Agent 主邏輯。5.2 寫(xiě)一個(gè)最小評(píng)測(cè)循環(huán)下面代碼的目標(biāo)是給定一份 Harness 配置和一個(gè)模型在一個(gè)簡(jiǎn)單評(píng)測(cè)集上返回準(zhǔn)確率和 token 成本。代碼演示的是核心思路并不負(fù)責(zé)處理所有真實(shí) SDK 差異。# harness/evaluator.py import json def to_openai_tool(tool_meta): return { type: function, function: { name: tool_meta[name], description: tool_meta[description], parameters: tool_meta.get( parameters, {type: object, properties: {}} ), }, } def execute_tool(name, args_json, example): 模擬執(zhí)行工具。實(shí)際項(xiàng)目需要替換為真實(shí)搜索或計(jì)算邏輯。 args json.loads(args_json) if name calculator: expression args.get(expression, ) try: result eval(expression, {__builtins__: {}}, {}) except Exception: result calculation_error return fresult{result} if name web_search: # 在演示里我們用 example 中預(yù)置的 context 代替真實(shí)網(wǎng)頁(yè)結(jié)果。 context example.get(context, ) return ffound:{context[:300]} return unknown_tool def judge_answer(answer, expected): 演示用判斷真實(shí)場(chǎng)景建議引入獨(dú)立的答案評(píng)估 prompt 或精確匹配。 return float(expected.strip().lower() in answer.lower()) def run_single(harness_cfg, model_name, example): messages [ {role: system, content: harness_cfg[system_prompt]}, {role: user, content: example[question]}, ] max_rounds harness_cfg[loop][max_rounds] tools [to_openai_tool(t) for t in harness_cfg[tools]] for _ in range(max_rounds): resp call_llm(model_namemodel_name, messagesmessages, toolstools) assistant resp.choices[0].message messages.append(assistant) tool_calls assistant.tool_calls or [] if not tool_calls: answer assistant.content or return judge_answer(answer, example[expected]), resp.usage.total_tokens for call in tool_calls: result execute_tool(call.function.name, call.function.arguments, example) messages.append( { role: tool, tool_call_id: call.id, content: result, } ) return 0.0, 0 def evaluate_candidate(harness_cfg, model_name, examples): total 0 correct 0 total_tokens 0 for example in examples: score, token_cost run_single(harness_cfg, model_name, example) correct score total_tokens token_cost total 1 return { accuracy: correct / max(total, 1), avg_cost: total_tokens / max(total, 1), }這里真正的核心不是代碼本身而是它建立了一個(gè)評(píng)測(cè)入口同一份 Harness 配置同一個(gè)模型同一批例子跑出的分?jǐn)?shù)才能互相比較。call_llm()在示例中沒(méi)有定義因?yàn)樗皇悄Ｐ凸?yīng)商 SDK 的一層薄封裝。真實(shí)開(kāi)發(fā)時(shí)用 OpenAI、Anthropic、本地部署的 DeepSeek、Qwen 等任意服務(wù)替換均可。5.3 實(shí)現(xiàn)自動(dòng)搜索隨機(jī)搜索已經(jīng)能證明問(wèn)題自動(dòng)優(yōu)化的算法可以從很簡(jiǎn)單的隨機(jī)搜索開(kāi)始。雖然聽(tīng)起來(lái)不高級(jí)但它能幫助你快速驗(yàn)證流水線是否通暢也能作為后續(xù)貝葉斯優(yōu)化、進(jìn)化算法的基線。# harness/optimizer.py import copy import random def random_search(base_config, eval_models, dev_set, rounds10): prompt_pool [ You are a helpful agent. Only call tools when necessary., You are a research agent. If you are not fully certain, search first., You are an assistant. Answer directly if you know; otherwise call tools., ] max_rounds_pool [3, 5, 8] best_cfg None best_score -1.0 for i in range(rounds): candidate copy.deepcopy(base_config) candidate[system_prompt] random.choice(prompt_pool) candidate[loop][max_rounds] random.choice(max_rounds_pool) # 調(diào)整工具展示順序。順序本身會(huì)影響模型先嘗試哪個(gè)工具。 random.shuffle(candidate[tools]) # 在多個(gè)模型上同時(shí)評(píng)估避免只對(duì)單個(gè)模型有效。 acc_list [] for model_name in eval_models: metric evaluate_candidate(candidate, model_name, dev_set) acc_list.append(metric[accuracy]) avg_acc sum(acc_list) / len(acc_list) print(f[round {i}] avg_acc{avg_acc:.3f} acc_list{acc_list}) if avg_acc best_score: best_score avg_acc best_cfg candidate return best_cfg, best_score5.4 最終配置的跨基準(zhǔn)驗(yàn)證選出最優(yōu)配置后不能立刻上線還需要在 Held-out Benchmark 上驗(yàn)證。這段代碼會(huì)把最終配置在先前沒(méi)有優(yōu)化過(guò)的評(píng)測(cè)集上運(yùn)行一遍觀察它是否還保持優(yōu)勢(shì)。def validate_on_heldout(final_cfg, eval_models, heldout_examples): print(--- held-out validation ---) for model_name in eval_models: metric evaluate_candidate(final_cfg, model_name, heldout_examples) print( f{model_name}: faccuracy{metric[accuracy]:.3f}, favg_cost{metric[avg_cost]:.2f} )到這里我們已經(jīng)有了一條完整的 Auto-train Harness 雛形鏈路配置化 Harness、可重復(fù)評(píng)測(cè)、多模型打分、自動(dòng)搜索、最后跨基準(zhǔn)驗(yàn)證。算法可以從隨機(jī)搜索變成更復(fù)雜的方法但這條鏈路本身不會(huì)變。6. 運(yùn)行思路與效果驗(yàn)證怎樣算一次優(yōu)化真正成功運(yùn)行上述腳本時(shí)你不需要一開(kāi)始就用大規(guī)模評(píng)測(cè)集。可以先準(zhǔn)備 50 到 100 條代表性樣例再選擇兩到三個(gè)模型跑 10 到 20 輪搜索。重點(diǎn)不是跑出多高的分?jǐn)?shù)而是確認(rèn)優(yōu)化鏈路能穩(wěn)定運(yùn)行。預(yù)期你會(huì)看到類似下面的輸出示意。這里的數(shù)字只是為了展示格式不是真實(shí)評(píng)測(cè)結(jié)果。[round 0] avg_acc0.451 acc_list[0.47, 0.44, 0.45] [round 1] avg_acc0.438 acc_list[0.45, 0.43, 0.44] [round 2] avg_acc0.472 acc_list[0.50, 0.46, 0.46] [round 3] avg_acc0.466 acc_list[0.51, 0.43, 0.46] ... best_score0.491 acc_list[0.52, 0.48, 0.48]判斷成功的標(biāo)準(zhǔn)不是只挑 acc_list 中某個(gè)模型最高的那輪而是看平均分是否穩(wěn)定高于基線。如果候選配置在模型 A 上大幅提升在模型 B 上明顯下降那這種方案很可能是在迎合模型 A 的表達(dá)偏好并不算跨模型收益。當(dāng)最終配置進(jìn)入 Held-out Benchmark 時(shí)你還需要關(guān)注當(dāng)時(shí)在開(kāi)發(fā)集上的優(yōu)勢(shì)是否還在。如果開(kāi)發(fā)集提升明顯Held-out 卻完全無(wú)效說(shuō)明優(yōu)化過(guò)程過(guò)擬合了開(kāi)發(fā)集的題目風(fēng)格。運(yùn)行失敗時(shí)第一步不要急著看模型 API 報(bào)錯(cuò)先檢查評(píng)測(cè)輸入流水線樣例有沒(méi)有正常加載、工具執(zhí)行函數(shù)是否可用、call_llm()返回格式是不是符合預(yù)期。很多“模型表現(xiàn)差”的結(jié)論最后都來(lái)自評(píng)測(cè)腳本 bug而不是模型問(wèn)題。建立一條干凈可復(fù)現(xiàn)的評(píng)測(cè)基線比任何優(yōu)化算法都重要。7. Harness 自動(dòng)優(yōu)化的常見(jiàn)問(wèn)題與排查思路問(wèn)題現(xiàn)象可能原因排查方式解決方案每次搜索分?jǐn)?shù)波動(dòng)很大評(píng)測(cè)樣例太少模型采樣有隨機(jī)性增加樣例量或同題多次采樣取平均固定溫度或用多次運(yùn)行中位數(shù)代替單次分?jǐn)?shù)模型 A 提升但模型 B 下降優(yōu)化到了模型 A 的特殊表達(dá)偏好查看候選配置在模型 A/B 上的詳細(xì) log將優(yōu)化目標(biāo)改成多模型平均分或加入約束懲罰最大下降幅度開(kāi)發(fā)集漲了Held-out Benchmark 不漲Harness 過(guò)擬合了開(kāi)發(fā)集風(fēng)格檢查兩項(xiàng)評(píng)測(cè)集分布差異增加不同任務(wù)類型的評(píng)測(cè)集減少開(kāi)發(fā)集與測(cè)試集重疊Token 成本明顯上升循環(huán)次數(shù)變多上下文里重復(fù)內(nèi)容增加打印每輪消息數(shù)量和 token 用量增加提前終止條件對(duì)相似工具結(jié)果做去重Harness 優(yōu)化后輸出不如手寫(xiě)版本自動(dòng)搜索沒(méi)有覆蓋關(guān)鍵變量檢查候選配置的差異程度擴(kuò)大參數(shù)空間允許對(duì)工具描述做改寫(xiě)上線后效果與評(píng)測(cè)不一致線上環(huán)境分布和評(píng)測(cè)集不同記錄線上輸入與工具調(diào)用日志持續(xù)回流線上樣本定期增量評(píng)測(cè)自動(dòng)搜索最大的坑并不是算法選得不好而是評(píng)測(cè)集與真實(shí)任務(wù)不匹配。如果你拿一組答案很簡(jiǎn)短的單輪問(wèn)答去做 Harness 搜索選出來(lái)的配置可能特別喜歡“直接回答”而不是“調(diào)用工具”。一旦上線面對(duì)需要多輪工具調(diào)用的真實(shí)問(wèn)題效果自然下降。因此開(kāi)發(fā)集需要覆蓋足夠多的真實(shí)形態(tài)至少包含需要調(diào)用工具、不需要調(diào)用工具、工具調(diào)用失敗后重試等典型分支。常見(jiàn)問(wèn)題里還有一個(gè)隱蔽點(diǎn)模型服務(wù)版本的波動(dòng)。同一個(gè)模型名稱背后供應(yīng)商可能悄然更新版本。今天跑出 0.50 分明天同樣是 0.46不一定是你的 Harness 變差而是模型行為漂移。團(tuán)隊(duì)內(nèi)部要把模型版本固定為可見(jiàn)字段才能區(qū)分變化來(lái)自模型還是來(lái)自 Harness。8. 工程化落地建議把 Harness 當(dāng)成獨(dú)立項(xiàng)目來(lái)管理Harness 工程化可以在團(tuán)隊(duì)里落地為幾個(gè)清晰動(dòng)作。第一個(gè)動(dòng)作是配置與代碼分離。不要把系統(tǒng)提示詞硬編碼在 agent 源碼里尤其是不要散落在多個(gè) service 文件中。統(tǒng)一維護(hù)一份 Harness 配置包含提示詞、工具描述、路由規(guī)則和循環(huán)參數(shù)。這樣后續(xù)優(yōu)化可以在配置層面做實(shí)驗(yàn)而不用頻繁提交業(yè)務(wù)代碼。第二個(gè)動(dòng)作是建立評(píng)估矩陣。至少要有一個(gè)腳本可以輸入候選配置、指定模型列表和評(píng)測(cè)集名稱輸出性能與成本表格。沒(méi)有這個(gè)矩陣任何關(guān)于“Harness 是否改進(jìn)”的討論都容易淪為空談。矩陣?yán)锝ㄗh同時(shí)記錄模型名稱與版本、評(píng)測(cè)集版本、Harness 配置 hash、運(yùn)行時(shí)間和總 token 成本。第三個(gè)動(dòng)作是搜索與人工 review 結(jié)合。自動(dòng)優(yōu)化可以發(fā)現(xiàn)人想不到的提示詞寫(xiě)法但它發(fā)現(xiàn)問(wèn)題的方式是分?jǐn)?shù)驅(qū)動(dòng)。分?jǐn)?shù)高不代表安全不代表符合產(chǎn)品規(guī)則。上線前必須人工 review 自動(dòng)選出的配置確認(rèn)工具權(quán)限邊界沒(méi)有被擴(kuò)大確認(rèn)模型在敏感問(wèn)題上仍能正確拒絕。第四個(gè)動(dòng)作是嚴(yán)格控制工具權(quán)限。無(wú)論 Auto-train Harness 實(shí)驗(yàn)結(jié)果多好生產(chǎn)環(huán)境的工具調(diào)用都必須遵守最小權(quán)限原則。搜索工具只能訪問(wèn)白名單地址數(shù)據(jù)庫(kù)工具只能執(zhí)行只讀查詢或經(jīng)過(guò)審批的寫(xiě)操作涉及用戶隱私的字段在日志中脫敏。Harness 優(yōu)化能做的是讓模型更準(zhǔn)確地調(diào)用工具但無(wú)法替代權(quán)限系統(tǒng)本身。第五個(gè)動(dòng)作是回歸測(cè)試。當(dāng)你的核心模型從 GPT 換成 DeepSeek、Qwen 或其它模型時(shí)所有經(jīng)過(guò)優(yōu)化的 Harness 配置都要重新跑一遍小規(guī)?；貧w測(cè)試。跨模型遷移是一種期望但每種模型對(duì)提示詞的敏感點(diǎn)不同不能默認(rèn)遷移一定成立。9. 結(jié)語(yǔ)先把評(píng)估矩陣搭起來(lái)再談是否 Auto-trainAuto-train the harness, not the LLM真正想表達(dá)的是Harness 不再應(yīng)該被當(dāng)作模型調(diào)用之外的附屬品而應(yīng)該被當(dāng)作一個(gè)可以被設(shè)計(jì)、評(píng)測(cè)與搜索優(yōu)化的系統(tǒng)。模型負(fù)責(zé)輸出智能Harness 負(fù)責(zé)把智能安全穩(wěn)定地轉(zhuǎn)化為行動(dòng)。如果你現(xiàn)在正在做 Agent 開(kāi)發(fā)可以暫時(shí)不引入復(fù)雜的自動(dòng)優(yōu)化算法先做三件事把 Harness 配置化建立一份包含多個(gè)模型的小評(píng)測(cè)集跑出一個(gè)穩(wěn)定的 baseline。當(dāng)你發(fā)現(xiàn)手工調(diào)整提示詞已經(jīng)難以穩(wěn)定提升時(shí)再把隨機(jī)搜索或更高級(jí)的優(yōu)化算法接到這條鏈路上。到那時(shí)你會(huì)更理解“Auto-train Harness”的價(jià)值它不承諾某個(gè)魔法提示詞它只提供一種系統(tǒng)化的方式讓你在模型不變的前提下找到更好的外圍策略。建議先收藏這篇文章并在下一次 Agent 調(diào)試時(shí)嘗試把問(wèn)題歸因從“模型不行”改寫(xiě)成“Harness 哪里還不夠穩(wěn)”你會(huì)發(fā)現(xiàn)調(diào)試思路開(kāi)闊很多。