1. 項目概述當(dāng)智能體學(xué)會“自我進(jìn)化”最近在復(fù)現(xiàn)和思考一些前沿的智能體Agent架構(gòu)時我反復(fù)被一個概念所吸引自進(jìn)化。這聽起來有點科幻但確實是當(dāng)前AI研究特別是智能體領(lǐng)域一個非常核心的命題。我們不再滿足于設(shè)計一個固定規(guī)則的、需要人類不斷“打補(bǔ)丁”的AI而是希望它能像生物一樣在運行過程中自我診斷、自我調(diào)整、自我優(yōu)化。今天想和大家深入聊的就是兩個在自進(jìn)化方向上極具啟發(fā)性并且在深層結(jié)構(gòu)上存在微妙對應(yīng)關(guān)系的框架RMSP Agent和AGE方法論。簡單來說RMSP Agent反思-記憶-模擬-規(guī)劃 Agent是一個具體的智能體架構(gòu)設(shè)計它通過一套內(nèi)置的認(rèn)知循環(huán)讓智能體能夠“三省吾身”從經(jīng)驗中學(xué)習(xí)并改進(jìn)未來的決策。而AGEAutonomous Goal Exploration自主目標(biāo)探索則更像是一套元方法論它描述了一個系統(tǒng)如何通過主動設(shè)定并嘗試完成子目標(biāo)來高效地探索未知環(huán)境、積累技能。乍看之下一個偏重“內(nèi)省式”的認(rèn)知升級一個偏重“外向型”的技能探索但當(dāng)你拆開它們的內(nèi)部邏輯會發(fā)現(xiàn)它們共享著一種關(guān)于“如何成長”的深層結(jié)構(gòu)。這篇文章我想從一個實踐者和思考者的角度拋開復(fù)雜的數(shù)學(xué)公式用大家都能理解的邏輯拆解這兩個框架的核心。我會解釋它們各自是如何工作的更重要的是剖析它們內(nèi)在的“雙尺度”進(jìn)化機(jī)制是如何對應(yīng)的。這種對應(yīng)關(guān)系不僅能幫助我們更好地理解自進(jìn)化智能體的設(shè)計哲學(xué)更能為我們自己設(shè)計具備長期學(xué)習(xí)能力的AI系統(tǒng)提供清晰的藍(lán)圖。無論你是AI研究者、工程師還是對智能本質(zhì)感興趣的愛好者相信都能從中獲得一些構(gòu)建“會成長的AI”的靈感。2. 核心架構(gòu)拆解RMSP Agent 的內(nèi)省循環(huán)要理解自進(jìn)化我們先得看看一個智能體是如何進(jìn)行有效“思考”的。RMSP Agent 提供了一個非常漂亮的四階段認(rèn)知循環(huán)模型我把這個循環(huán)看作是智能體進(jìn)行“內(nèi)省式進(jìn)化”的微觀尺度。2.1 反思Reflection從經(jīng)驗中提取“元知識”反思階段是智能體從“做過的事”上升到“明白的道理”的關(guān)鍵一躍。它不僅僅是回放歷史記錄而是對過去的行動-結(jié)果序列進(jìn)行深度分析。它做什么智能體在完成一個任務(wù)或任務(wù)片段后會暫停下來審視剛剛發(fā)生的一切。比如一個游戲AI嘗試了三種不同的攻擊策略擊敗了一個Boss在反思階段它不會只記錄“策略C成功了”而是會分析為什么策略A失敗了可能是攻擊距離不夠為什么策略B效果一般可能是傷害類型被克制策略C成功的關(guān)鍵因素是什么可能是抓住了Boss的攻擊后搖。如何實現(xiàn)技術(shù)上這通常需要一個獨立的“反思模塊”或“批判者網(wǎng)絡(luò)”。這個模塊的輸入是近期的一段狀態(tài)、行動、獎勵序列輸出則是對這段經(jīng)驗的抽象評價和歸因。例如它可能輸出一組“成功/失敗歸因標(biāo)簽”如“對距離敏感”、“需預(yù)判時機(jī)”或者生成一段自然語言描述的經(jīng)驗總結(jié)。實操要點這里的難點在于如何讓反思變得“有用”而不是泛泛而談。一個有效的技巧是將反思結(jié)果結(jié)構(gòu)化。不要只生成“這次做得不錯”而要強(qiáng)制輸出如“關(guān)鍵決策點”、“未預(yù)見的風(fēng)險”、“可復(fù)用的模式”等結(jié)構(gòu)化字段。這為后續(xù)的記憶存儲和模擬重用打下了基礎(chǔ)。注意反思的頻率需要仔細(xì)設(shè)計。每步都反思會帶來巨大開銷且可能無必要因為單步信息量小而只在任務(wù)結(jié)束時反思可能會丟失過程中的細(xì)微教訓(xùn)。一個常見的折中方案是基于事件觸發(fā)例如當(dāng)遇到意外狀態(tài)、獎勵驟變或完成一個子目標(biāo)時啟動反思。2.2 記憶Memory構(gòu)建可檢索的經(jīng)驗圖譜如果反思是生產(chǎn)知識那么記憶就是知識的圖書館。但這個圖書館不是簡單的日志文件柜而是一個高度結(jié)構(gòu)化、支持語義檢索的經(jīng)驗圖譜。它做什么記憶系統(tǒng)將反思階段產(chǎn)生的結(jié)構(gòu)化知識如“在狹窄地形遠(yuǎn)程攻擊優(yōu)于近戰(zhàn)”、“NPC在黃昏時對話會提供額外線索”存儲起來。更重要的是它建立了這些知識片段之間的關(guān)聯(lián)。例如“狹窄地形”這個情境可能與“遠(yuǎn)程攻擊”、“移動受限”、“規(guī)避需求”等多個知識節(jié)點相連。如何實現(xiàn)現(xiàn)代智能體通常采用向量數(shù)據(jù)庫如ChromaDB, Weaviate或圖神經(jīng)網(wǎng)絡(luò)來構(gòu)建記憶。每個記憶條目一段經(jīng)驗總結(jié)被編碼成一個高維向量。當(dāng)智能體遇到新情境當(dāng)前狀態(tài)也被編碼成向量時可以通過向量相似度檢索快速找到歷史上最相關(guān)的經(jīng)驗。圖結(jié)構(gòu)則能進(jìn)一步通過關(guān)系鏈路進(jìn)行關(guān)聯(lián)推理“既然在狹窄地形要遠(yuǎn)程攻擊那在類似的地下通道場景呢”。實操心得記憶的“寫入”策略至關(guān)重要。不是所有反思都要存需要去重和提煉。可以設(shè)置一個“新穎性”或“效用值”閾值只有那些帶來新認(rèn)知或高回報的經(jīng)驗總結(jié)才被長期存儲。否則記憶庫很快會被冗余信息塞滿導(dǎo)致檢索效率下降和噪聲干擾。2.3 模擬Simulation在“腦?！敝蓄A(yù)演未來這是RMSP循環(huán)中最具想象力的一環(huán)。智能體不再需要“以身試法”去真實環(huán)境嘗試每一個可能而是可以在內(nèi)部模型世界模型或規(guī)劃模型中進(jìn)行快速的思想實驗。它做什么基于當(dāng)前狀態(tài)和從記憶中檢索到的相關(guān)經(jīng)驗智能體在內(nèi)部模擬多種可能的行動序列并預(yù)測它們可能導(dǎo)致的結(jié)果。這就像下棋時的“算步”或者我們在做重要決定前的“腦內(nèi)推演”。如何實現(xiàn)這依賴于一個訓(xùn)練好的世界模型。這個模型不一定需要完美精確但需要能捕捉環(huán)境動態(tài)的關(guān)鍵特征。智能體將當(dāng)前狀態(tài)和候選行動輸入世界模型模型輸出對下一個狀態(tài)和預(yù)期獎勵的預(yù)測。通過重復(fù)此過程滾動模擬就能評估一個行動序列的長期價值。避坑指南世界模型的偏差是模擬階段最大的風(fēng)險。如果模型與現(xiàn)實嚴(yán)重不符在模擬中表現(xiàn)優(yōu)異的策略在真實環(huán)境中可能一敗涂地。因此必須建立模型不確定性校準(zhǔn)機(jī)制。例如記錄模型預(yù)測的置信度或定期用真實交互數(shù)據(jù)來修正模型。一個實用的技巧是讓智能體在模擬時不僅考慮“最優(yōu)路徑”也考慮“最可能出錯的環(huán)節(jié)”并為此準(zhǔn)備備用方案。2.4 規(guī)劃Planning制定基于經(jīng)驗的彈性策略規(guī)劃是前面所有環(huán)節(jié)的集大成者。它利用模擬的結(jié)果結(jié)合長期記憶中的經(jīng)驗智慧制定出當(dāng)前情境下的行動方案。它做什么規(guī)劃器綜合評估各種模擬推演出的行動序列的優(yōu)劣選擇一個預(yù)期收益最高、風(fēng)險可控的方案。這個方案不是僵化的指令列表而往往是一個分層策略高層是目標(biāo)方向“優(yōu)先獲取鑰匙”中層是戰(zhàn)術(shù)選擇“利用陰影潛行”底層是具體動作序列。如何實現(xiàn)蒙特卡洛樹搜索MCTS或基于模型的強(qiáng)化學(xué)習(xí)規(guī)劃器是常見選擇。它們能高效地在模擬的搜索空間中尋優(yōu)。規(guī)劃的輸出可以是一個具體的行動也可以是一個策略網(wǎng)絡(luò)的參數(shù)更新。深層邏輯RMSP的規(guī)劃之所以是“自進(jìn)化”的是因為它的規(guī)劃依據(jù)——模擬所用的模型、評估所用的價值判斷——都已經(jīng)被反思和記憶環(huán)節(jié)所更新。這一次規(guī)劃所用的“思維工具”已經(jīng)比上一次更聰明了。這就構(gòu)成了一個微觀尺度的進(jìn)化閉環(huán)行動產(chǎn)生經(jīng)驗經(jīng)驗經(jīng)反思化為知識知識存入記憶并改善模型更好的模型支持更優(yōu)的模擬從而產(chǎn)生更聰明的規(guī)劃與行動。如此循環(huán)智能體在任務(wù)執(zhí)行中不斷微調(diào)、優(yōu)化自身的決策能力。3. 方法論透視AGE 的宏觀探索循環(huán)如果說RMSP關(guān)注的是智能體在單個任務(wù)或情境中如何越做越好微觀優(yōu)化那么AGE方法論則跳出了一個層級關(guān)注智能體如何為自己發(fā)現(xiàn)和定義有價值的任務(wù)宏觀探索。這是一種更高級、更自主的進(jìn)化形式。3.1 自主目標(biāo)生成好奇心驅(qū)動的“尋寶圖”繪制AGE的核心起點是智能體不是被動等待人類給出目標(biāo)如“走到A點”而是自己主動生成一系列可能有趣的、可探索的子目標(biāo)。它做什么智能體審視當(dāng)前的環(huán)境和自身的能力提出諸如“那個從未打開過的寶箱里有什么”、“如果我嘗試組合技能A和B會發(fā)生什么”、“地圖的東北角那片迷霧區(qū)域是什么”這樣的問題。這些問題本身就轉(zhuǎn)化成了待探索的子目標(biāo)。如何實現(xiàn)目標(biāo)生成器通?；凇靶缕嫘浴被颉皩W(xué)習(xí)進(jìn)度”等內(nèi)在驅(qū)動力。一個經(jīng)典算法是基于分歧的目標(biāo)生成智能體維護(hù)多個對環(huán)境動態(tài)的預(yù)測模型那些讓不同模型預(yù)測結(jié)果差異最大的狀態(tài)或事件就被認(rèn)為是“認(rèn)知不確定”高的從而成為有探索價值的目標(biāo)。另一種方法是基于技能的目標(biāo)生成智能體已有一些基礎(chǔ)技能它嘗試為這些技能設(shè)想新的應(yīng)用場景或組合方式以此生成目標(biāo)。實操要點生成的目標(biāo)必須具有可達(dá)性和層次性。不能天馬行空地生成一個完全不可能實現(xiàn)的目標(biāo)如“瞬間移動到大洋彼岸”。好的目標(biāo)生成器會評估目標(biāo)的難度并生成一個從當(dāng)前狀態(tài)到目標(biāo)狀態(tài)的、由易到難的子目標(biāo)序列。這就像繪制一張分階段的“尋寶圖”。3.2 目標(biāo)導(dǎo)向探索為“未知”而行動一旦生成了目標(biāo)智能體的所有行動就不再是隨機(jī)的而是圍繞如何達(dá)成這個自設(shè)目標(biāo)而展開。這時的探索效率遠(yuǎn)高于無目的的隨機(jī)游走。它做什么智能體將自主生成的目標(biāo)如“打開寶箱”作為臨時任務(wù)調(diào)用其底層的策略可以是RMSP這樣的架構(gòu)去嘗試完成它。在這個過程中它可能會學(xué)習(xí)到新的環(huán)境交互方式比如發(fā)現(xiàn)寶箱需要特定的鑰匙或者解鎖新的技能比如學(xué)會了開鎖。如何實現(xiàn)這通常通過一個元控制器來實現(xiàn)。元控制器管理著目標(biāo)隊列并為當(dāng)前選中的目標(biāo)分配合適的底層策略或技能模塊。底層策略則負(fù)責(zé)具體的規(guī)劃與執(zhí)行。探索過程中收集到的數(shù)據(jù)成功或失敗會反饋給目標(biāo)生成器和技能學(xué)習(xí)模塊。避坑指南探索容易陷入局部“舒適區(qū)”。比如智能體可能發(fā)現(xiàn)反復(fù)完成某個簡單目標(biāo)就能獲得穩(wěn)定獎勵從而不再挑戰(zhàn)更難的目標(biāo)。為了避免這一點需要設(shè)計探索激勵的衰減機(jī)制。對一個已被多次達(dá)成的目標(biāo)其探索帶來的“新奇性”收益應(yīng)逐漸降低迫使系統(tǒng)去尋找新的、未開發(fā)的目標(biāo)。3.3 技能獲取與抽象將經(jīng)驗沉淀為“能力”探索的最終目的不是完成一個個孤立的目標(biāo)而是將探索過程中獲得的經(jīng)驗沉淀為可重復(fù)使用的技能或知識抽象。它做什么當(dāng)智能體通過探索成功實現(xiàn)了“打開寶箱”這個目標(biāo)多次后它不應(yīng)該每次都從頭學(xué)起。它會抽象出一個“開寶箱”的技能模型可能需要“找到鑰匙”、“接近寶箱”、“使用鑰匙”等一系列子步驟。這個技能模型被存儲起來未來遇到類似寶箱時可以直接調(diào)用或適配。如何實現(xiàn)這涉及到技能發(fā)現(xiàn)和分層強(qiáng)化學(xué)習(xí)。系統(tǒng)可以從成功軌跡中自動分割出重復(fù)出現(xiàn)的、有意義的動作序列并將其封裝為“選項”或“技能”。這些技能本身可以有自己的策略和價值函數(shù)。更高層的規(guī)劃就變成了對這些技能的選擇和排序。深層邏輯AGE構(gòu)成了一個宏觀尺度的進(jìn)化閉環(huán)系統(tǒng)基于內(nèi)在驅(qū)動力生成新目標(biāo)為達(dá)成目標(biāo)而進(jìn)行定向探索在探索中獲取新的數(shù)據(jù)與經(jīng)驗這些經(jīng)驗被抽象化為新的技能或知識而這些新能力又?jǐn)U展了系統(tǒng)可能生成的目標(biāo)空間因為能力越強(qiáng)能設(shè)想的目標(biāo)就越復(fù)雜。于是系統(tǒng)的目標(biāo)生成能力和問題解決能力在循環(huán)中相互促進(jìn)不斷擴(kuò)展。4. 深層結(jié)構(gòu)對應(yīng)雙尺度進(jìn)化的交響曲現(xiàn)在讓我們把RMSP和AGE放在一起看。你會發(fā)現(xiàn)它們并非孤立的兩套系統(tǒng)而是在不同時間尺度和抽象層次上實現(xiàn)了同一種“行動-評估-學(xué)習(xí)-規(guī)劃”的進(jìn)化邏輯。這種對應(yīng)關(guān)系揭示了自進(jìn)化智能體設(shè)計的通用范式。4.1 時間尺度的嵌套快思考與慢思考RMSP微觀/快速循環(huán)它的循環(huán)發(fā)生在任務(wù)執(zhí)行層面周期短從幾秒到幾分鐘。它關(guān)注的是“給定當(dāng)前這個具體任務(wù)我下一步該怎么走才能更好”這是一種戰(zhàn)術(shù)層面的、快速的在線優(yōu)化。類似于我們下棋時的“計算”或者開車時對路況的即時反應(yīng)與調(diào)整。AGE宏觀/慢速循環(huán)它的循環(huán)發(fā)生在任務(wù)發(fā)現(xiàn)層面周期長可能從幾個小時到數(shù)天。它關(guān)注的是“在漫長的人生/職業(yè)生涯中我應(yīng)該去嘗試學(xué)習(xí)哪些新東西以讓我未來能解決更多樣的問題”這是一種戰(zhàn)略層面的、緩慢的離線進(jìn)化。類似于我們決定“是否要學(xué)習(xí)一門新編程語言”或“探索一個新的業(yè)務(wù)領(lǐng)域”。對應(yīng)關(guān)系A(chǔ)GE循環(huán)為RMSP循環(huán)提供上下文和舞臺。AGE生成一個子目標(biāo)如“學(xué)會開鎖”這個子目標(biāo)就成為RMSP需要去完成的具體任務(wù)。而RMSP在嘗試完成這個子目標(biāo)的過程中其產(chǎn)生的經(jīng)驗成功或失敗又反過來成為AGE評估該目標(biāo)價值、抽象新技能的數(shù)據(jù)來源。兩者是嵌套的宏觀的AGE循環(huán)內(nèi)部包含了無數(shù)個微觀的RMSP循環(huán)的執(zhí)行。4.2 學(xué)習(xí)抽象的層級從具體經(jīng)驗到通用能力RMSP的學(xué)習(xí)產(chǎn)出主要是情境化的策略改進(jìn)和具體的經(jīng)驗片段。例如“在雨天、柏油路、車速60km/h的情況下剎車距離需要增加20%”。這種知識非常具體與特定情境綁定緊密。AGE的學(xué)習(xí)產(chǎn)出主要是去情境化的技能和抽象的目標(biāo)范式。例如從多次開寶箱的經(jīng)驗中抽象出“開鎖”這個技能。這個技能的描述可能更通用“對一種需要特定鑰匙工具的機(jī)械結(jié)構(gòu)進(jìn)行操作以打開它”。同時AGE還可能學(xué)會一種“探索未知容器”的目標(biāo)范式。對應(yīng)關(guān)系這是一個知識提煉和升華的過程。RMSP在微觀層面積累了大量具體、瑣碎的經(jīng)驗數(shù)據(jù)。AGE的抽象機(jī)制技能發(fā)現(xiàn)則像是一個數(shù)據(jù)挖掘過程從這些海量具體數(shù)據(jù)中找出重復(fù)出現(xiàn)的、有效的模式并將其“打包”成獨立的、可遷移的模塊技能。RMSP為AGE提供原始數(shù)據(jù)AGE為RMSP提供高級工具。4.3 驅(qū)動力的內(nèi)外互補(bǔ)誤差驅(qū)動與新奇驅(qū)動RMSP的核心驅(qū)動力通常是外部任務(wù)獎勵和內(nèi)部預(yù)測誤差。它進(jìn)化是因為它想更好地完成手頭任務(wù)獲得更高獎勵或者因為它發(fā)現(xiàn)自己的世界模型預(yù)測不準(zhǔn)預(yù)測誤差大需要修正。這是一種“問題解決”和“模型擬合”導(dǎo)向的驅(qū)動力。AGE的核心驅(qū)動力通常是內(nèi)在動機(jī)如新奇性、學(xué)習(xí)進(jìn)度、 empowerment掌控感。它進(jìn)化是因為它渴望探索未知、學(xué)習(xí)新東西、擴(kuò)大自己對環(huán)境的影響力。這是一種“知識獲取”和“能力擴(kuò)展”導(dǎo)向的驅(qū)動力。對應(yīng)關(guān)系兩者驅(qū)動力的結(jié)合使得智能體既能有效利用舊知識RMSP利用已知解決既定問題又能主動獲取新知識AGE探索未知以應(yīng)對未來問題。沒有AGERMSP可能在一個局部最優(yōu)解上精益求精但無法突破能力邊界。沒有RMSPAGE可能只會漫無目的地好奇無法扎實地掌握任何一項復(fù)雜技能。它們共同實現(xiàn)了利用性探索和探索性利用的平衡。5. 實踐融合構(gòu)建具備雙尺度進(jìn)化能力的智能體理解了理論上的對應(yīng)關(guān)系我們?nèi)绾卧诠こ躺蠈嵺`構(gòu)建一個真正具備雙尺度進(jìn)化能力的智能體系統(tǒng)呢這里分享一個可行的架構(gòu)設(shè)計和關(guān)鍵實現(xiàn)考量。5.1 系統(tǒng)架構(gòu)設(shè)計分層控制與信息流一個融合RMSP與AGE的智能體可以自然地設(shè)計成一個分層架構(gòu)頂層AGE層 - 宏觀戰(zhàn)略家組件目標(biāo)生成器、技能庫、元控制器。職責(zé)周期性地例如每完成N個底層任務(wù)或每隔一段時間評估當(dāng)前技能庫和環(huán)境認(rèn)知生成新的探索目標(biāo)。管理目標(biāo)優(yōu)先級隊列。將選中的目標(biāo)下發(fā)給中層。數(shù)據(jù)流接收來自中層的任務(wù)完成報告和新技能建議更新技能庫和目標(biāo)生成模型。中層RMSP層 - 戰(zhàn)術(shù)指揮官組件規(guī)劃器、世界模型、反思模塊、情景記憶。職責(zé)接收頂層下發(fā)的具體目標(biāo)如“抵達(dá)坐標(biāo)(X,Y)”。針對該目標(biāo)運行完整的RMSP循環(huán)從記憶檢索相似經(jīng)驗利用世界模型進(jìn)行模擬規(guī)劃執(zhí)行行動并在子任務(wù)完成后進(jìn)行反思將結(jié)構(gòu)化經(jīng)驗存入記憶。數(shù)據(jù)流向頂層報告任務(wù)成敗摘要和潛在的新技能模式。向底層輸出具體動作序列。底層執(zhí)行層 - 動作執(zhí)行者組件動作控制器、感知處理器。職責(zé)執(zhí)行中層規(guī)劃器發(fā)出的低級動作指令如“向前移動0.5米”、“旋轉(zhuǎn)30度”并將原始感知數(shù)據(jù)圖像、傳感器讀數(shù)處理成狀態(tài)表征反饋給中層。數(shù)據(jù)流接收動作指令返回狀態(tài)和原始獎勵信號。關(guān)鍵接口設(shè)計目標(biāo)描述接口頂層傳遞給中層的目標(biāo)必須是一種中層能夠理解的、可操作的形式。例如不能是模糊的“變得更強(qiáng)”而應(yīng)是“在訓(xùn)練房中將射擊精度從70%提升到85%”或“探索并地圖化未知區(qū)域A”。技能抽象接口中層向頂層匯報的“潛在技能”需要有一套統(tǒng)一的描述語言。例如使用起始狀態(tài)集、終止?fàn)顟B(tài)集、效果描述等來定義一個技能方便頂層進(jìn)行管理和組合。5.2 訓(xùn)練與學(xué)習(xí)流程這樣的系統(tǒng)訓(xùn)練是交替進(jìn)行的內(nèi)循環(huán)訓(xùn)練RMSP層優(yōu)化給定一個固定目標(biāo)智能體在環(huán)境中交互收集數(shù)據(jù)。用這些數(shù)據(jù)主要訓(xùn)練三部分策略網(wǎng)絡(luò)如何行動、價值函數(shù)評估狀態(tài)好壞、世界模型預(yù)測環(huán)境變化。反思模塊和記憶系統(tǒng)在此過程中被不斷使用和更新但它們的參數(shù)可能通過監(jiān)督學(xué)習(xí)或自監(jiān)督學(xué)習(xí)來優(yōu)化例如訓(xùn)練一個網(wǎng)絡(luò)來預(yù)測哪些經(jīng)驗值得記憶。外循環(huán)訓(xùn)練AGE層優(yōu)化當(dāng)內(nèi)循環(huán)進(jìn)行一段時間積累了一批完成不同目標(biāo)的經(jīng)驗后啟動外循環(huán)訓(xùn)練。技能發(fā)現(xiàn)算法如變分自編碼器VAE用于技能表征或軌跡分割算法分析所有成功軌跡自動識別和提取出重復(fù)出現(xiàn)的、有意義的子序列將其編碼為技能存入技能庫。目標(biāo)生成器訓(xùn)練根據(jù)技能庫的現(xiàn)狀和環(huán)境的探索程度調(diào)整目標(biāo)生成策略。例如訓(xùn)練一個網(wǎng)絡(luò)輸入當(dāng)前狀態(tài)和技能庫輸出一個“探索價值”最高的目標(biāo)方向。這個網(wǎng)絡(luò)的獎勵信號來自于新技能發(fā)現(xiàn)的頻率或知識增長的速度。交替執(zhí)行系統(tǒng)以“回合制”運行AGE層提出一批目標(biāo) - RMSP層依次嘗試完成這些目標(biāo) - 收集數(shù)據(jù) - 外循環(huán)訓(xùn)練更新AGE層組件和內(nèi)循環(huán)的世界模型 - AGE層基于新能力提出新一批目標(biāo)。這種交替使得宏觀探索和微觀優(yōu)化相互促進(jìn)。5.3 核心挑戰(zhàn)與調(diào)優(yōu)經(jīng)驗在實際實現(xiàn)中你會遇到幾個核心挑戰(zhàn)信用分配問題Credit Assignment當(dāng)一個宏觀目標(biāo)最終失敗或成功時如何將功勞或過錯合理地分配給AGE層目標(biāo)生成是否合理、RMSP層規(guī)劃是否得當(dāng)和執(zhí)行層這需要設(shè)計分層的獎勵信號和梯度傳遞路徑。經(jīng)驗使用分層強(qiáng)化學(xué)習(xí)的框架為每一層設(shè)計獨立的獎勵函數(shù)。頂層獎勵來源于長期的能力增長如技能庫大小、覆蓋狀態(tài)空間范圍中層獎勵來源于子任務(wù)完成度和效率底層獎勵來源于基礎(chǔ)動作的成功執(zhí)行。探索-利用的平衡在雙尺度上的體現(xiàn)微觀RMSP在完成一個具體目標(biāo)時是利用已知策略快速完成還是嘗試新走法以發(fā)現(xiàn)更優(yōu)解宏觀AGE是繼續(xù)深耕當(dāng)前已擅長的領(lǐng)域利用還是冒險去探索一個全新的、可能一無所獲的方向探索經(jīng)驗需要在兩個尺度上都設(shè)置可調(diào)節(jié)的參數(shù)。在微觀層面可以使用ε-greedy或上置信界UCB策略。在宏觀層面目標(biāo)生成器的“新奇性權(quán)重”就是一個關(guān)鍵旋鈕。通常在系統(tǒng)初期應(yīng)鼓勵宏觀探索后期則偏向微觀優(yōu)化和宏觀利用。技能邊界的模糊性自動發(fā)現(xiàn)的技能往往邊界不清、相互重疊。如何管理一個龐大且可能冗余的技能庫經(jīng)驗引入技能合并與剪枝機(jī)制。定期計算技能之間的相似度通過其表征向量的距離或覆蓋狀態(tài)的重疊度對高度相似的技能進(jìn)行合并。對于長期未被調(diào)用或效用低的技能進(jìn)行歸檔或刪除保持技能庫的精簡和高效。計算開銷與實時性完整的雙循環(huán)對算力要求很高。反思、模擬、目標(biāo)生成都是計算密集型操作。經(jīng)驗異步設(shè)計和延遲更新是關(guān)鍵。可以讓反思、技能發(fā)現(xiàn)等慢速過程在后臺線程異步進(jìn)行不影響前臺的實時決策。規(guī)劃時不必運行完整的模擬直到終點可以設(shè)定一個有限的深度或時間預(yù)算。目標(biāo)生成也可以以較低的頻率如每100個環(huán)境步運行一次。構(gòu)建一個真正運行良好的自進(jìn)化智能體是一個復(fù)雜的系統(tǒng)工程但理解RMSP與AGE在深層結(jié)構(gòu)上的對應(yīng)關(guān)系為我們提供了一張清晰的導(dǎo)航圖。它告訴我們智能的自進(jìn)化不是魔法而是由微觀的、持續(xù)的經(jīng)驗優(yōu)化循環(huán)與宏觀的、周期性的能力拓展循環(huán)相互嵌套、相互滋養(yǎng)而實現(xiàn)的。從這種對應(yīng)出發(fā)去設(shè)計系統(tǒng)能讓我們的智能體不僅善于解決問題更善于為自己發(fā)現(xiàn)新的、有價值的問題去解決——這或許就是通向更通用人工智能的一條踏實路徑。