：將評估基線持久化為 JSON——Saved Baselines 保存、重載與異步往返指南)
agno Cookbook 實戰(zhàn)將評估基線持久化為 JSON——Saved Baselines 保存、重載與異步往返指南【免費下載鏈接】agnoBuild, run, and manage agent platforms.項目地址: https://gitcode.com/GitHub_Trending/ag/agno本篇圍繞 agno 倉庫cookbook/environments/_13_saved_baselines/示例目錄及其測試日志 TEST_LOG.md 展開講解如何把一次 rollout 評估的完整結(jié)果含每次嘗試的轉(zhuǎn)錄、評分與指紋保存為純 JSON 基線并在新進程中重載驗證其摘要與指紋的往返一致性。讀完本文你能掌握result.save()/EnvironmentRunResult.load()及其異步孿生asave()/aload()的用法、JSON 工件的內(nèi)部結(jié)構(gòu)以及基線校準(zhǔn)避免任務(wù)飽和的實操經(jīng)驗。Saved Baselines 要解決什么問題agno 的cookbook/environments/系列圍繞Environment/Task/run_rollouts構(gòu)建可重復(fù)的評估流程對每個任務(wù)運行 K 次嘗試用CodeScorer等打分器逐次評分產(chǎn)出EnvironmentRunResult?；€baseline正是這樣一個結(jié)果對象——它攜帶特定環(huán)境和策略下的完整證據(jù)。cookbook/environments/_13_saved_baselines/README.md 明確了兩點使用前提適用場景當(dāng)基線運行與候選candidate運行無法在同一個進程中完成或者 CI 需要一個經(jīng)過人工審閱的參考工件reference artifact時就用 Saved Baselines 把第一次運行的結(jié)果落盤供后續(xù)運行逐任務(wù)對比邊界警示基線是來自某個特定環(huán)境與策略的證據(jù)并不是對未來任務(wù)或提示詞修改依然保持可比較性的承諾。README 同時強調(diào)保存的工件包含完整的提示詞與響應(yīng)應(yīng)按敏感評估數(shù)據(jù)對待store it with the same care as the evaluated prompts。三個示例腳本分別是腳本職責(zé)basic.py運行環(huán)境并把結(jié)果保存為基線reload_baseline.py重載工件并驗證其summary()往返一致async_save_load.py在事件循環(huán)內(nèi)使用arun_rollouts/asave/aload運行環(huán)境與執(zhí)行方式三個示例都依賴OPENAI_API_KEY并且統(tǒng)一通過OpenAIResponses使用gpt-5.5agent Agent( modelOpenAIResponses(idgpt-5.5, reasoning_effortlow), output_schemaAnswer, # class Answer(BaseModel): value: int )從倉庫根目錄執(zhí)行python cookbook/environments/_13_saved_baselines/basic.py python cookbook/environments/_13_saved_baselines/reload_baseline.py python cookbook/environments/_13_saved_baselines/async_save_load.py測試日志記錄這些示例于 2026-07-20 以O(shè)penAIResponses(idgpt-5.5, reasoning_effortlow)完成驗證。示例一basic.py —— 把一次完整 rollout 存為基線basic.py 的核心結(jié)構(gòu)agent Agent( modelOpenAIResponses(idgpt-5.5, reasoning_effortlow), output_schemaAnswer, ) env Environment( namesaved-baseline-basic, agentagent, tasks( Task(idproduct-a, inputCompute 2718281828459045 times 1618033988749895. ..., expected20944939), Task(idproduct-d, inputCompute 2236067977499789 times 2449489742783178. ..., expected76998482), ), scorerCodeScorer(exact_value), ) baseline_path Path(__file__).parent / data / generated / baseline.json if __name__ __main__: result run_rollouts(env, k6) print(result) baseline_path.parent.mkdir(parentsTrue, exist_okTrue) result.save(baseline_path) print(fsaved {result.n_attempts} attempts to {baseline_path})關(guān)鍵點任務(wù)是大整數(shù)乘法 數(shù)字和 取模的確定性數(shù)學(xué)題expected固定因此CodeScorer(exact_value)用run.content.value expected做精確判定run_rollouts(env, k6)對 2 個任務(wù)各跑 6 次共產(chǎn)生 12 次嘗試result.save(baseline_path)把整個結(jié)果寫成 JSON 工件落在示例目錄下的data/generated/baseline.json。TEST_LOG.md 對該腳本的驗證結(jié)論Status: PASS。一次實時運行的 12 次嘗試結(jié)果被存為純 JSON 基線Resultproduct-a通過 3/60.50product-d通過 3/60.50全部 12 次嘗試都寫入了生成的基線工件Calibration校準(zhǔn)最初的任務(wù)集是product-a、product-bk4兩行都在 4/4 飽和saturated。為了讓基線具備區(qū)分度把product-b替換為product-d并把 k 從 4 提升到 6之后才記錄了本次 PASS。這段校準(zhǔn)說明是本目錄最有實操價值的經(jīng)驗任務(wù)太簡單、通過率 100% 的飽和基線沒有對比價值換題與加大采樣次數(shù) k 是標(biāo)準(zhǔn)手段run_rollouts的默認(rèn) k 為 8見 runner.py 中arun_rollouts(env, *, k: int 8, ...)的簽名。示例二reload_baseline.py —— 重載并驗證摘要往返一致reload_baseline.py 在保存之后立即做存-取往返校驗result run_rollouts(env, k4) print(result) baseline_path.parent.mkdir(parentsTrue, exist_okTrue) result.save(baseline_path) loaded EnvironmentRunResult.load(baseline_path) assert loaded.summary() result.summary() print(freloaded pass rate: {loaded.pass_rate}) print(ffingerprints preserved: {loaded.env_fingerprint result.env_fingerprint})這里斷言的是完整summary()結(jié)果相等而不只是單個通過率。summary()返回的是源碼注釋中明確標(biāo)注CI 契約、鍵已凍結(jié)The CI contract; these keys are frozen的字典包含env、k、n_tasks、n_attempts、n_scored、n_unscored、pass_rate、mean_value、env_fingerprint、policy_fingerprint、stopped_early以及逐任務(wù)的id / pass_rate / mean_value / n_unscored / learning_zone實現(xiàn)見 runner.py 的EnvironmentRunResult.summary。測試日志中該腳本的結(jié)果Status: PASS。保存并重載基線后其完整summary()與活對象一致Resultproduct-a通過 2/40.50product-c通過 4/41.00聚合通過率 0.75兩個指紋env 與 policy都完整通過了往返。指紋之所以重要后續(xù)跨進程對比時EnvironmentRunResult.diff()會先校驗env_fingerprint是否匹配不匹配直接拋MismatchErrorthese results are not from the same environment見 runner.py。也就是說重載后的基線能否參與逐任務(wù)對比取決于指紋在 JSON 往返后是否原樣保留——這正是 reload 示例斷言兩行輸出pass rate 與 fingerprints preserved的原因。示例三async_save_load.py —— 異步孿生在同一事件循環(huán)內(nèi)當(dāng)宿主應(yīng)用已經(jīng)擁有事件循環(huán)時應(yīng)使用異步孿生。async_save_load.py 的完整主流程async def main(): result await arun_rollouts(env, k4) print(result) baseline_path.parent.mkdir(parentsTrue, exist_okTrue) await result.asave(baseline_path) loaded await EnvironmentRunResult.aload(baseline_path) assert loaded.summary() result.summary() print(fasync round trip preserved {loaded.n_attempts} attempts) if __name__ __main__: asyncio.run(main())從 runner.py 的實現(xiàn)看asave與aload都是asyncio.to_thread包裝的同步版本async def asave(self, path: Union[str, Path]) - None: Async twin of save. await asyncio.to_thread(self.save, path) classmethod async def aload(cls, path: Union[str, Path]) - EnvironmentRunResult: Async twin of load. return await asyncio.to_thread(cls.load, path)即 IO 被移出事件循環(huán)語義與同步路徑完全一致。測試日志對該腳本的驗證結(jié)論Status: PASS。在同一個事件循環(huán)內(nèi)使用了arun_rollouts、asave、aloadResultproduct-a通過 3/40.75product-b通過 4/41.00異步往返保留了全部 8 次嘗試和完整摘要。源碼縱深JSON 工件里到底存了什么save()在 runner.py 中構(gòu)建的 payload 結(jié)構(gòu)format_version 1{ format_version: 1, env_name, k, env_fingerprint, policy_fingerprint, duration_seconds, stopped_early, task_results: [ { task: { id, input, expected, metadata }, attempts: [ { run: RunOutput.to_dict() 的完整轉(zhuǎn)錄 | null, score: { value, passed, reason, detail } | null, stop_reason, duration_seconds, error, tool_call_limit_hit, error_type }, ... ] }, ... ] }源碼中有兩處值得注意的工程細(xì)節(jié)先序列化、后開文件save()先json.dumps再open(path, w)因為open(w)會立即截斷目標(biāo)文件——如果 dumps 在截斷之后才失敗就會摧毀diff()所需的現(xiàn)有基線。序列化失敗會拋出帶定位信息的TypeError指明是哪一個任務(wù)的expected或metadata字段不可 JSON 序列化_name_unserializablerunner.py。加載時的版本校驗load()讀取format_version與當(dāng)前構(gòu)建支持的版本不符時拋出ValueError(unsupported format_version ...)runner.py。這為工件格式的未來演進留了顯式失敗點而不是靜默讀錯。load()還會重建出與活對象同構(gòu)的Task、AttemptResult含RunOutput.from_dict恢復(fù)轉(zhuǎn)錄、StopReason枚舉還原、Score還原因此重載對象可以直接參與summary()、diff()、print_report()等后續(xù)操作。測試日志全景三個腳本的驗證結(jié)論按 TEST_LOG.md 的原始記錄匯總測試模型均為OpenAIResponses(idgpt-5.5, reasoning_effortlow)腳本狀態(tài)任務(wù)通過率關(guān)鍵驗證點basic.pyPASSproduct-a3/6 (0.50)、product-d3/6 (0.50)12 次嘗試全部寫入 JSON 工件此前 k4 時任務(wù) 4/4 飽和替換product-b為product-d并升 k 至 6reload_baseline.pyPASSproduct-a2/4 (0.50)、product-c4/4 (1.00)聚合 0.75完整summary()與活對象一致兩個指紋往返保留async_save_load.pyPASSproduct-a3/4 (0.75)、product-b4/4 (1.00)異步往返保留全部 8 次嘗試與完整摘要值得注意basic.py的校準(zhǔn)記錄揭示了一個迭代過程飽和基線兩行 4/4被識別為不合格通過換題product-b→product-d和增大 k4 → 6恢復(fù)區(qū)分度后才記錄 PASS。這與TaskResult.in_learning_zone屬性部分通過且部分失敗的 scored 嘗試runner.py背后的理念一致既有失敗又有成功的任務(wù)行才有對比與學(xué)習(xí)價值。限制與后續(xù)步驟可比性前提基線只對env_fingerprint相同的結(jié)果有效。diff()在指紋分叉時拋MismatchErrorpolicy_fingerprint變化如換模型、改指令本身不阻止對比但會體現(xiàn)在EnvironmentDiff.policy_changed標(biāo)記上。敏感數(shù)據(jù)工件含完整提示詞與響應(yīng)轉(zhuǎn)錄README 明確要求按敏感評估數(shù)據(jù)處理落盤位置示例中為data/generated/下的 JSON應(yīng)納入相應(yīng)的訪問控制。下一步得到可重載的基線工件后繼續(xù) cookbook/environments/_14_environment_diff/ 對兼容結(jié)果做逐任務(wù)對比summary()的輸出則是 CI 作業(yè)可直接消費的契約格式?！久赓M下載鏈接】agnoBuild, run, and manage agent platforms.項目地址: https://gitcode.com/GitHub_Trending/ag/agno創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 agno Cookbook 實戰(zhàn)：將評估基線持久化為 JSON——Saved Baselines 保存、重載與異步往返指南
agno Cookbook 實戰(zhàn)將評估基線持久化為 JSON——Saved Baselines 保存、重載與異步往返指南【免費下載鏈接】agnoBuild, run, and manage agent platforms.項目地址: https://gitcode.com/GitHub_Trending/ag/agno本篇圍繞 agno 倉庫cookbook/environments/_13_saved_baselines/示例目錄及其測試日志 TEST_LOG.md 展開講解如何把一次 rollout 評估的完整結(jié)果含每次嘗試的轉(zhuǎn)錄、評分與指紋保存為純 JSON 基線并在新進程中重載驗證其摘要與指紋的往返一致性。讀完本文你能掌握result.save()/EnvironmentRunResult.load()及其異步孿生asave()/aload()的用法、JSON 工件的內(nèi)部結(jié)構(gòu)以及基線校準(zhǔn)避免任務(wù)飽和的實操經(jīng)驗。Saved Baselines 要解決什么問題agno 的cookbook/environments/系列圍繞Environment/Task/run_rollouts構(gòu)建可重復(fù)的評估流程對每個任務(wù)運行 K 次嘗試用CodeScorer等打分器逐次評分產(chǎn)出EnvironmentRunResult?；€baseline正是這樣一個結(jié)果對象——它攜帶特定環(huán)境和策略下的完整證據(jù)。cookbook/environments/_13_saved_baselines/README.md 明確了兩點使用前提適用場景當(dāng)基線運行與候選candidate運行無法在同一個進程中完成或者 CI 需要一個經(jīng)過人工審閱的參考工件reference artifact時就用 Saved Baselines 把第一次運行的結(jié)果落盤供后續(xù)運行逐任務(wù)對比邊界警示基線是來自某個特定環(huán)境與策略的證據(jù)并不是對未來任務(wù)或提示詞修改依然保持可比較性的承諾。README 同時強調(diào)保存的工件包含完整的提示詞與響應(yīng)應(yīng)按敏感評估數(shù)據(jù)對待store it with the same care as the evaluated prompts。三個示例腳本分別是腳本職責(zé)basic.py運行環(huán)境并把結(jié)果保存為基線reload_baseline.py重載工件并驗證其summary()往返一致async_save_load.py在事件循環(huán)內(nèi)使用arun_rollouts/asave/aload運行環(huán)境與執(zhí)行方式三個示例都依賴OPENAI_API_KEY并且統(tǒng)一通過OpenAIResponses使用gpt-5.5agent Agent( modelOpenAIResponses(idgpt-5.5, reasoning_effortlow), output_schemaAnswer, # class Answer(BaseModel): value: int )從倉庫根目錄執(zhí)行python cookbook/environments/_13_saved_baselines/basic.py python cookbook/environments/_13_saved_baselines/reload_baseline.py python cookbook/environments/_13_saved_baselines/async_save_load.py測試日志記錄這些示例于 2026-07-20 以O(shè)penAIResponses(idgpt-5.5, reasoning_effortlow)完成驗證。示例一basic.py —— 把一次完整 rollout 存為基線basic.py 的核心結(jié)構(gòu)agent Agent( modelOpenAIResponses(idgpt-5.5, reasoning_effortlow), output_schemaAnswer, ) env Environment( namesaved-baseline-basic, agentagent, tasks( Task(idproduct-a, inputCompute 2718281828459045 times 1618033988749895. ..., expected20944939), Task(idproduct-d, inputCompute 2236067977499789 times 2449489742783178. ..., expected76998482), ), scorerCodeScorer(exact_value), ) baseline_path Path(__file__).parent / data / generated / baseline.json if __name__ __main__: result run_rollouts(env, k6) print(result) baseline_path.parent.mkdir(parentsTrue, exist_okTrue) result.save(baseline_path) print(fsaved {result.n_attempts} attempts to {baseline_path})關(guān)鍵點任務(wù)是大整數(shù)乘法 數(shù)字和 取模的確定性數(shù)學(xué)題expected固定因此CodeScorer(exact_value)用run.content.value expected做精確判定run_rollouts(env, k6)對 2 個任務(wù)各跑 6 次共產(chǎn)生 12 次嘗試result.save(baseline_path)把整個結(jié)果寫成 JSON 工件落在示例目錄下的data/generated/baseline.json。TEST_LOG.md 對該腳本的驗證結(jié)論Status: PASS。一次實時運行的 12 次嘗試結(jié)果被存為純 JSON 基線Resultproduct-a通過 3/60.50product-d通過 3/60.50全部 12 次嘗試都寫入了生成的基線工件Calibration校準(zhǔn)最初的任務(wù)集是product-a、product-bk4兩行都在 4/4 飽和saturated。為了讓基線具備區(qū)分度把product-b替換為product-d并把 k 從 4 提升到 6之后才記錄了本次 PASS。這段校準(zhǔn)說明是本目錄最有實操價值的經(jīng)驗任務(wù)太簡單、通過率 100% 的飽和基線沒有對比價值換題與加大采樣次數(shù) k 是標(biāo)準(zhǔn)手段run_rollouts的默認(rèn) k 為 8見 runner.py 中arun_rollouts(env, *, k: int 8, ...)的簽名。示例二reload_baseline.py —— 重載并驗證摘要往返一致reload_baseline.py 在保存之后立即做存-取往返校驗result run_rollouts(env, k4) print(result) baseline_path.parent.mkdir(parentsTrue, exist_okTrue) result.save(baseline_path) loaded EnvironmentRunResult.load(baseline_path) assert loaded.summary() result.summary() print(freloaded pass rate: {loaded.pass_rate}) print(ffingerprints preserved: {loaded.env_fingerprint result.env_fingerprint})這里斷言的是完整summary()結(jié)果相等而不只是單個通過率。summary()返回的是源碼注釋中明確標(biāo)注CI 契約、鍵已凍結(jié)The CI contract; these keys are frozen的字典包含env、k、n_tasks、n_attempts、n_scored、n_unscored、pass_rate、mean_value、env_fingerprint、policy_fingerprint、stopped_early以及逐任務(wù)的id / pass_rate / mean_value / n_unscored / learning_zone實現(xiàn)見 runner.py 的EnvironmentRunResult.summary。測試日志中該腳本的結(jié)果Status: PASS。保存并重載基線后其完整summary()與活對象一致Resultproduct-a通過 2/40.50product-c通過 4/41.00聚合通過率 0.75兩個指紋env 與 policy都完整通過了往返。指紋之所以重要后續(xù)跨進程對比時EnvironmentRunResult.diff()會先校驗env_fingerprint是否匹配不匹配直接拋MismatchErrorthese results are not from the same environment見 runner.py。也就是說重載后的基線能否參與逐任務(wù)對比取決于指紋在 JSON 往返后是否原樣保留——這正是 reload 示例斷言兩行輸出pass rate 與 fingerprints preserved的原因。示例三async_save_load.py —— 異步孿生在同一事件循環(huán)內(nèi)當(dāng)宿主應(yīng)用已經(jīng)擁有事件循環(huán)時應(yīng)使用異步孿生。async_save_load.py 的完整主流程async def main(): result await arun_rollouts(env, k4) print(result) baseline_path.parent.mkdir(parentsTrue, exist_okTrue) await result.asave(baseline_path) loaded await EnvironmentRunResult.aload(baseline_path) assert loaded.summary() result.summary() print(fasync round trip preserved {loaded.n_attempts} attempts) if __name__ __main__: asyncio.run(main())從 runner.py 的實現(xiàn)看asave與aload都是asyncio.to_thread包裝的同步版本async def asave(self, path: Union[str, Path]) - None: Async twin of save. await asyncio.to_thread(self.save, path) classmethod async def aload(cls, path: Union[str, Path]) - EnvironmentRunResult: Async twin of load. return await asyncio.to_thread(cls.load, path)即 IO 被移出事件循環(huán)語義與同步路徑完全一致。測試日志對該腳本的驗證結(jié)論Status: PASS。在同一個事件循環(huán)內(nèi)使用了arun_rollouts、asave、aloadResultproduct-a通過 3/40.75product-b通過 4/41.00異步往返保留了全部 8 次嘗試和完整摘要。源碼縱深JSON 工件里到底存了什么save()在 runner.py 中構(gòu)建的 payload 結(jié)構(gòu)format_version 1{ format_version: 1, env_name, k, env_fingerprint, policy_fingerprint, duration_seconds, stopped_early, task_results: [ { task: { id, input, expected, metadata }, attempts: [ { run: RunOutput.to_dict() 的完整轉(zhuǎn)錄 | null, score: { value, passed, reason, detail } | null, stop_reason, duration_seconds, error, tool_call_limit_hit, error_type }, ... ] }, ... ] }源碼中有兩處值得注意的工程細(xì)節(jié)先序列化、后開文件save()先json.dumps再open(path, w)因為open(w)會立即截斷目標(biāo)文件——如果 dumps 在截斷之后才失敗就會摧毀diff()所需的現(xiàn)有基線。序列化失敗會拋出帶定位信息的TypeError指明是哪一個任務(wù)的expected或metadata字段不可 JSON 序列化_name_unserializablerunner.py。加載時的版本校驗load()讀取format_version與當(dāng)前構(gòu)建支持的版本不符時拋出ValueError(unsupported format_version ...)runner.py。這為工件格式的未來演進留了顯式失敗點而不是靜默讀錯。load()還會重建出與活對象同構(gòu)的Task、AttemptResult含RunOutput.from_dict恢復(fù)轉(zhuǎn)錄、StopReason枚舉還原、Score還原因此重載對象可以直接參與summary()、diff()、print_report()等后續(xù)操作。測試日志全景三個腳本的驗證結(jié)論按 TEST_LOG.md 的原始記錄匯總測試模型均為OpenAIResponses(idgpt-5.5, reasoning_effortlow)腳本狀態(tài)任務(wù)通過率關(guān)鍵驗證點basic.pyPASSproduct-a3/6 (0.50)、product-d3/6 (0.50)12 次嘗試全部寫入 JSON 工件此前 k4 時任務(wù) 4/4 飽和替換product-b為product-d并升 k 至 6reload_baseline.pyPASSproduct-a2/4 (0.50)、product-c4/4 (1.00)聚合 0.75完整summary()與活對象一致兩個指紋往返保留async_save_load.pyPASSproduct-a3/4 (0.75)、product-b4/4 (1.00)異步往返保留全部 8 次嘗試與完整摘要值得注意basic.py的校準(zhǔn)記錄揭示了一個迭代過程飽和基線兩行 4/4被識別為不合格通過換題product-b→product-d和增大 k4 → 6恢復(fù)區(qū)分度后才記錄 PASS。這與TaskResult.in_learning_zone屬性部分通過且部分失敗的 scored 嘗試runner.py背后的理念一致既有失敗又有成功的任務(wù)行才有對比與學(xué)習(xí)價值。限制與后續(xù)步驟可比性前提基線只對env_fingerprint相同的結(jié)果有效。diff()在指紋分叉時拋MismatchErrorpolicy_fingerprint變化如換模型、改指令本身不阻止對比但會體現(xiàn)在EnvironmentDiff.policy_changed標(biāo)記上。敏感數(shù)據(jù)工件含完整提示詞與響應(yīng)轉(zhuǎn)錄README 明確要求按敏感評估數(shù)據(jù)處理落盤位置示例中為data/generated/下的 JSON應(yīng)納入相應(yīng)的訪問控制。下一步得到可重載的基線工件后繼續(xù) cookbook/environments/_14_environment_diff/ 對兼容結(jié)果做逐任務(wù)對比summary()的輸出則是 CI 作業(yè)可直接消費的契約格式?！久赓M下載鏈接】agnoBuild, run, and manage agent platforms.項目地址: https://gitcode.com/GitHub_Trending/ag/agno創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考