什么是遞歸自我改進RSINeoHorse-1-4B 如何搭建「自我進化」Agent 原型【免費下載鏈接】NeoHorse-1-4B項目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4BNeoHorse-1-4B 是一個約 4B 參數(shù)的因果語言模型由 TokenRhythm 基于 Qwen3.5-4B 后訓練而來定位為邁向**遞歸自我改進Recursive Self-ImprovementRSI**的初始原型。它專為文本 Agent 框架Agent harness、工具調(diào)用、編碼和指令遵循而優(yōu)化通過「路由框架 能力級反饋」的閉環(huán)讓模型評測結(jié)果直接驅(qū)動下一輪訓練數(shù)據(jù)配比。一、先用大白話理解什么是遞歸自我改進RSI遞歸自我改進RSI指的是一個智能系統(tǒng)把自己的運行記錄、評測反饋轉(zhuǎn)化回自己的訓練信號從而越用越強的機制。與傳統(tǒng)訓練人工標注數(shù)據(jù) → 訓練 → 結(jié)束不同RSI 追求的是一個閉環(huán)執(zhí)行任務 → 記錄軌跡與結(jié)果 → 評估能力短板 → 調(diào)整訓練數(shù)據(jù) → 更新模型 → 再次回到執(zhí)行可以把它想象成模型自己給自己出卷、判卷、補課環(huán)節(jié)傳統(tǒng)流程RSI 思路數(shù)據(jù)來源人工準備、固定來自模型自身執(zhí)行軌跡評估方式一次性打分持續(xù)反饋驅(qū)動數(shù)據(jù)配比迭代方式人工介入模型更新后自動回到框架NeoHorse-1-4B 目前是一個原型它已經(jīng)打通了評測 → 選擇 → 更新的單輪閉環(huán)下一步目標是把閉環(huán)擴展到連續(xù)多輪迭代。二、NeoHorse-1-4B 是什么一句話概括NeoHorse-1-4B 是為Agent 場景工具調(diào)用 長上下文執(zhí)行做后訓練的小模型用 4B 的體量驗證自我進化路線。核心參數(shù)一覽詳見 config.json屬性說明模型類型Agent 原生因果語言模型純文本輸入/輸出參數(shù)量約 4B基座模型Qwen3.5-4B后訓練自該基座上下文長度原生 262,144 tokens可擴展至約 101 萬 tokens權(quán)重格式Safetensors / BF16注意力結(jié)構(gòu)線性注意力與全注意力混合32 層每 4 層一組值得注意的細節(jié)config.json 中l(wèi)ayer_types顯示它采用 3:1 的「線性注意力 : 全注意力」混合層設(shè)計——線性注意力讓長上下文推理更省資源這正好服務 Agent 場景下的超長軌跡處理。三、它如何搭建「自我進化」閉環(huán)NeoHorse 的 RSI 原型由三塊拼圖組成3.1 路由框架Routing Harness給任務分診路由框架像一位調(diào)度員維護一個異構(gòu)模型池分派任務把不同難度的 Agent 任務路由給模型池中合適的成員記錄軌跡完整記錄工具交互過程與最終結(jié)果評估需求估算當前任務分布對各項能力的需求驅(qū)動訓練用能力級反饋決定下一輪訓練混合數(shù)據(jù)的配比。3.2 訓練信號來自執(zhí)行軌跡而不是憑空生成配套研究探索了兩種后訓練方法路由引導的課表式 SFTrouting-guided curriculum SFT按能力需求排課程先補短板路由引導的在線策略蒸餾on-policy distillation讓模型在自己的執(zhí)行軌跡上學習同時保留每條回復周圍的執(zhí)行上下文與框架上下文——這是 Agent 能力的關(guān)鍵。3.3 數(shù)據(jù)質(zhì)量是閉環(huán)可信的前提 再自我的訓練也建立在干凈數(shù)據(jù)之上。項目對訓練數(shù)據(jù)做了精確與近重復樣本去重評測集去污染結(jié)構(gòu)化校驗 六維語義評估子場景級Scene / Goal / Outcome三級標注。閉環(huán)效果更新后的模型可以重新進入路由框架執(zhí)行任務形成「評測 → 選擇 → 更新」原型回路把這個回路在多輪次間滾動就是通往完整 RSI 的下一步。四、成績單10 項基準平均分 64.87提升 5.93 NeoHorse-1-4B 與五款開源模型橫向?qū)Ρ日?README.md 評測表Δ為相對 Qwen3.5-4B 的提升能力維度基準Qwen3.5-4BNeoHorse-1-4BΔ AgenticQwenClawBench38.4744.686.21 AgenticWorkBuddy Bench24.6234.419.79 AgenticPinchBench71.1977.336.14 AgenticVitaBench21.5032.0010.50 Agentictau2-Bench84.2988.464.17 CodingHumanEval87.2096.959.75 CodingLiveCodeBench v653.7159.435.72 指令遵循IFBench60.3365.335.00 指令遵循IFEval87.0688.351.29 總分十基準宏平均58.9464.875.93可以看到提升最集中的正是Agentic 與 Coding維度——與為 Agent 而生的定位完全一致。評測協(xié)議采用 SGLang v0.5.17開啟思考模式enable_thinkingtrue部分基準取三次運行結(jié)果保證數(shù)據(jù)穩(wěn)健。五、本地部署指南兩步跑起來 NeoHorse-1-4B 5.1 獲取模型權(quán)重git clone https://gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4B5.2 用 SGLang 啟動官方推薦pip install sglang0.5.17 python3 -m sglang.launch_server \ --model-path /path/to/NeoHorse-1-4B \ --served-model-name neohorse-1-4b \ --host 0.0.0.0 \ --port 30000 \ --context-length 262144 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder啟動后通過 OpenAI 兼容接口調(diào)用即可curl http://localhost:30000/v1/chat/completions \ -H Content-Type: application/json \ -d {model:neohorse-1-4b,messages:[{role:user,content:你好介紹一下你自己}],max_tokens:512} 小提示若顯存緊張調(diào)小--context-lengthvLLM 用戶可改用vllm serve并開啟--enable-auto-tool-choice --tool-call-parser qwen3_coder參數(shù)細節(jié)見 README.md。六、倉庫文件速覽下載后都能用上什么文件作用README.md模型卡亮點、評測、部署指南都在這里config.json模型結(jié)構(gòu)配置層數(shù)、注意力類型、上下文長度等chat_template.jinja對話模板定義系統(tǒng)/用戶消息與思考塊的拼裝方式tokenizer.json / vocab.json / merges.txt分詞器三件套詞表 248,320model.safetensors.index.json權(quán)重分片索引model-00001-of-00002.safetensors / model-00002-of-00002.safetensors模型權(quán)重BF16兩個分片LICENSEApache 2.0 許可證含上游 Qwen 版權(quán)聲明七、寫在最后為什么值得關(guān)注?NeoHorse-1-4B 的價值不在于4B 模型又多了一個而在于它給出了一個可復現(xiàn)的 RSI 原型路由框架記錄執(zhí)行軌跡、能力級反饋決定訓練配比、更新模型回到框架繼續(xù)執(zhí)行——閉環(huán)的每一環(huán)都是工程上可落地的。對于想理解「自我進化 Agent」如何從概念走向?qū)嵺`的新手來說這個項目提供了一份從數(shù)據(jù)質(zhì)量、后訓練方法到評測協(xié)議的完整參照。下一步把「評測 → 選擇 → 更新」的閉環(huán)滾動到連續(xù)多輪迭代才是遞歸自我改進真正的考驗。關(guān)注該項目見證 RSI 路線的持續(xù)演進?！久赓M下載鏈接】NeoHorse-1-4B項目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4B創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 什么是遞歸自我改進（RSI）？NeoHorse-1-4B 如何搭建「自我進化」Agent 原型
什么是遞歸自我改進RSINeoHorse-1-4B 如何搭建「自我進化」Agent 原型【免費下載鏈接】NeoHorse-1-4B項目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4BNeoHorse-1-4B 是一個約 4B 參數(shù)的因果語言模型由 TokenRhythm 基于 Qwen3.5-4B 后訓練而來定位為邁向**遞歸自我改進Recursive Self-ImprovementRSI**的初始原型。它專為文本 Agent 框架Agent harness、工具調(diào)用、編碼和指令遵循而優(yōu)化通過「路由框架 能力級反饋」的閉環(huán)讓模型評測結(jié)果直接驅(qū)動下一輪訓練數(shù)據(jù)配比。一、先用大白話理解什么是遞歸自我改進RSI遞歸自我改進RSI指的是一個智能系統(tǒng)把自己的運行記錄、評測反饋轉(zhuǎn)化回自己的訓練信號從而越用越強的機制。與傳統(tǒng)訓練人工標注數(shù)據(jù) → 訓練 → 結(jié)束不同RSI 追求的是一個閉環(huán)執(zhí)行任務 → 記錄軌跡與結(jié)果 → 評估能力短板 → 調(diào)整訓練數(shù)據(jù) → 更新模型 → 再次回到執(zhí)行可以把它想象成模型自己給自己出卷、判卷、補課環(huán)節(jié)傳統(tǒng)流程RSI 思路數(shù)據(jù)來源人工準備、固定來自模型自身執(zhí)行軌跡評估方式一次性打分持續(xù)反饋驅(qū)動數(shù)據(jù)配比迭代方式人工介入模型更新后自動回到框架NeoHorse-1-4B 目前是一個原型它已經(jīng)打通了評測 → 選擇 → 更新的單輪閉環(huán)下一步目標是把閉環(huán)擴展到連續(xù)多輪迭代。二、NeoHorse-1-4B 是什么一句話概括NeoHorse-1-4B 是為Agent 場景工具調(diào)用 長上下文執(zhí)行做后訓練的小模型用 4B 的體量驗證自我進化路線。核心參數(shù)一覽詳見 config.json屬性說明模型類型Agent 原生因果語言模型純文本輸入/輸出參數(shù)量約 4B基座模型Qwen3.5-4B后訓練自該基座上下文長度原生 262,144 tokens可擴展至約 101 萬 tokens權(quán)重格式Safetensors / BF16注意力結(jié)構(gòu)線性注意力與全注意力混合32 層每 4 層一組值得注意的細節(jié)config.json 中l(wèi)ayer_types顯示它采用 3:1 的「線性注意力 : 全注意力」混合層設(shè)計——線性注意力讓長上下文推理更省資源這正好服務 Agent 場景下的超長軌跡處理。三、它如何搭建「自我進化」閉環(huán)NeoHorse 的 RSI 原型由三塊拼圖組成3.1 路由框架Routing Harness給任務分診路由框架像一位調(diào)度員維護一個異構(gòu)模型池分派任務把不同難度的 Agent 任務路由給模型池中合適的成員記錄軌跡完整記錄工具交互過程與最終結(jié)果評估需求估算當前任務分布對各項能力的需求驅(qū)動訓練用能力級反饋決定下一輪訓練混合數(shù)據(jù)的配比。3.2 訓練信號來自執(zhí)行軌跡而不是憑空生成配套研究探索了兩種后訓練方法路由引導的課表式 SFTrouting-guided curriculum SFT按能力需求排課程先補短板路由引導的在線策略蒸餾on-policy distillation讓模型在自己的執(zhí)行軌跡上學習同時保留每條回復周圍的執(zhí)行上下文與框架上下文——這是 Agent 能力的關(guān)鍵。3.3 數(shù)據(jù)質(zhì)量是閉環(huán)可信的前提 再自我的訓練也建立在干凈數(shù)據(jù)之上。項目對訓練數(shù)據(jù)做了精確與近重復樣本去重評測集去污染結(jié)構(gòu)化校驗 六維語義評估子場景級Scene / Goal / Outcome三級標注。閉環(huán)效果更新后的模型可以重新進入路由框架執(zhí)行任務形成「評測 → 選擇 → 更新」原型回路把這個回路在多輪次間滾動就是通往完整 RSI 的下一步。四、成績單10 項基準平均分 64.87提升 5.93 NeoHorse-1-4B 與五款開源模型橫向?qū)Ρ日?README.md 評測表Δ為相對 Qwen3.5-4B 的提升能力維度基準Qwen3.5-4BNeoHorse-1-4BΔ AgenticQwenClawBench38.4744.686.21 AgenticWorkBuddy Bench24.6234.419.79 AgenticPinchBench71.1977.336.14 AgenticVitaBench21.5032.0010.50 Agentictau2-Bench84.2988.464.17 CodingHumanEval87.2096.959.75 CodingLiveCodeBench v653.7159.435.72 指令遵循IFBench60.3365.335.00 指令遵循IFEval87.0688.351.29 總分十基準宏平均58.9464.875.93可以看到提升最集中的正是Agentic 與 Coding維度——與為 Agent 而生的定位完全一致。評測協(xié)議采用 SGLang v0.5.17開啟思考模式enable_thinkingtrue部分基準取三次運行結(jié)果保證數(shù)據(jù)穩(wěn)健。五、本地部署指南兩步跑起來 NeoHorse-1-4B 5.1 獲取模型權(quán)重git clone https://gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4B5.2 用 SGLang 啟動官方推薦pip install sglang0.5.17 python3 -m sglang.launch_server \ --model-path /path/to/NeoHorse-1-4B \ --served-model-name neohorse-1-4b \ --host 0.0.0.0 \ --port 30000 \ --context-length 262144 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder啟動后通過 OpenAI 兼容接口調(diào)用即可curl http://localhost:30000/v1/chat/completions \ -H Content-Type: application/json \ -d {model:neohorse-1-4b,messages:[{role:user,content:你好介紹一下你自己}],max_tokens:512} 小提示若顯存緊張調(diào)小--context-lengthvLLM 用戶可改用vllm serve并開啟--enable-auto-tool-choice --tool-call-parser qwen3_coder參數(shù)細節(jié)見 README.md。六、倉庫文件速覽下載后都能用上什么文件作用README.md模型卡亮點、評測、部署指南都在這里config.json模型結(jié)構(gòu)配置層數(shù)、注意力類型、上下文長度等chat_template.jinja對話模板定義系統(tǒng)/用戶消息與思考塊的拼裝方式tokenizer.json / vocab.json / merges.txt分詞器三件套詞表 248,320model.safetensors.index.json權(quán)重分片索引model-00001-of-00002.safetensors / model-00002-of-00002.safetensors模型權(quán)重BF16兩個分片LICENSEApache 2.0 許可證含上游 Qwen 版權(quán)聲明七、寫在最后為什么值得關(guān)注?NeoHorse-1-4B 的價值不在于4B 模型又多了一個而在于它給出了一個可復現(xiàn)的 RSI 原型路由框架記錄執(zhí)行軌跡、能力級反饋決定訓練配比、更新模型回到框架繼續(xù)執(zhí)行——閉環(huán)的每一環(huán)都是工程上可落地的。對于想理解「自我進化 Agent」如何從概念走向?qū)嵺`的新手來說這個項目提供了一份從數(shù)據(jù)質(zhì)量、后訓練方法到評測協(xié)議的完整參照。下一步把「評測 → 選擇 → 更新」的閉環(huán)滾動到連續(xù)多輪迭代才是遞歸自我改進真正的考驗。關(guān)注該項目見證 RSI 路線的持續(xù)演進?！久赓M下載鏈接】NeoHorse-1-4B項目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4B創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考