前兩天在一個(gè)技術(shù)交流群里看到有人問“現(xiàn)在規(guī)則和規(guī)劃算法都這么成熟了還有人老老實(shí)實(shí)寫強(qiáng)化學(xué)習(xí)嗎”群里立刻分成兩派一派說業(yè)務(wù)里直接用規(guī)則加A*就夠另一派說深度強(qiáng)化學(xué)習(xí)算法已經(jīng)卷出花了。我回了一句強(qiáng)化學(xué)習(xí)解決的從來不是“能不能動”而是“在不確定性中怎么持續(xù)做對選擇”。這句話算是我這些年在機(jī)器人調(diào)度、游戲AI、仿真控制之間反復(fù)橫跳后最想表達(dá)的東西。這篇文章算是一份階段性的強(qiáng)化學(xué)習(xí)綜述也可以當(dāng)作一份給團(tuán)隊(duì)新人做入門地圖的內(nèi)容。我會先聊清楚強(qiáng)化學(xué)習(xí)到底在研究什么問題再順著算法的發(fā)展脈絡(luò)梳理主流方法然后按在線、離線、基于模型、因果強(qiáng)化學(xué)習(xí)這幾個(gè)方向拆開講最后用PPO跑通一個(gè)CartPole最小閉環(huán)并落到Gazebo仿真里的多AGV路徑規(guī)劃這類實(shí)用場景。內(nèi)容覆蓋概念、公式直覺、代碼和踩坑經(jīng)驗(yàn)適合剛接觸強(qiáng)化學(xué)習(xí)的讀者也適合已經(jīng)跑過幾個(gè)環(huán)境但缺乏體系化脈絡(luò)的工程師。1. 從多臂老虎機(jī)到自動駕駛強(qiáng)化學(xué)習(xí)到底解決的是什么問題1.1 強(qiáng)化學(xué)習(xí)研究的不是“學(xué)一套答案”而是“學(xué)一套決策方式”你先忘掉那些復(fù)雜的神經(jīng)網(wǎng)絡(luò)想象一個(gè)最簡單的場景面前有十臺老虎機(jī)每臺的中獎概率不同但你不知道哪臺高。你手里有有限次機(jī)會怎么在“多試幾臺獲取信息”和“死磕已知最好的那臺拿收益”之間做權(quán)衡這就是經(jīng)典的多臂老虎機(jī)問題也是強(qiáng)化學(xué)習(xí)Reinforcement Learning最樸素的原型。它研究的是如何在未知環(huán)境中通過試錯(cuò)來最大化長期累積獎勵(lì)。強(qiáng)化學(xué)習(xí)一般由四個(gè)基本要素組成狀態(tài)State智能體當(dāng)前觀察到的環(huán)境描述比如AGV小車的位置、速度、周圍障礙物距離。動作Action智能體可選的行為集合比如左轉(zhuǎn)、直行、剎車或者輸出一個(gè)連續(xù)的速度指令。獎勵(lì)Reward環(huán)境對智能體行為的即時(shí)反饋一個(gè)標(biāo)量可以正可以負(fù)。策略Policy智能體從狀態(tài)到動作的映射規(guī)則也就是“看到什么情況做什么決策”的核心。用學(xué)騎自行車來類比。你剛騎上車時(shí)沒有任何經(jīng)驗(yàn)摔倒一次小腿疼一次大腦就知道這個(gè)彎不能轉(zhuǎn)這么急。再摔幾次以后你開始能根據(jù)車身傾斜角提前調(diào)整重心科目就對應(yīng)狀態(tài)動作是扭車把和踩踏板獎勵(lì)是“沒摔”和“順利前進(jìn)”。你最終學(xué)到的不是某一幀畫面下該干什么而是一整套應(yīng)對不同路況的決策習(xí)慣這就是策略。1.2 和監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)的本質(zhì)區(qū)別很多人剛接觸強(qiáng)化學(xué)習(xí)時(shí)最迷惑的就是它和機(jī)器學(xué)習(xí)里其他兩派到底什么關(guān)系我自己總結(jié)過一個(gè)很直白的對比學(xué)習(xí)范式輸入信號目標(biāo)典型場景監(jiān)督學(xué)習(xí)帶標(biāo)簽的樣本擬合輸入到輸出的映射圖像分類、文本分類、回歸預(yù)測無監(jiān)督學(xué)習(xí)無標(biāo)簽的樣本發(fā)現(xiàn)數(shù)據(jù)內(nèi)部結(jié)構(gòu)聚類、降維、異常檢測強(qiáng)化學(xué)習(xí)環(huán)境返回的獎勵(lì)通過試錯(cuò)學(xué)習(xí)最優(yōu)決策序列游戲AI、機(jī)器人控制、調(diào)度優(yōu)化監(jiān)督學(xué)習(xí)像判斷題答案就在數(shù)據(jù)集里你只需要?dú)w納規(guī)律無監(jiān)督學(xué)習(xí)像看一堆拼圖你得自己找出哪塊和哪塊有關(guān)系強(qiáng)化學(xué)習(xí)更像闖關(guān)游戲沒有人告訴你每步怎么走才對只有系統(tǒng)在你做完動作后給你一個(gè)分?jǐn)?shù)延遲還可能很長——你可能連著做對了好幾步最后一步走錯(cuò)了才知道前面也該調(diào)整。這種“延遲獎勵(lì)”和“序列決策”特性是強(qiáng)化學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)最不一樣的地方。比如棋類對弈你沒法對每一步貼標(biāo)簽說“這步是對是錯(cuò)”只有終局才見勝負(fù)。強(qiáng)化學(xué)習(xí)可以在這種長鏈條反饋下把哪一步的價(jià)值都反向估計(jì)出來。1.3 哪些任務(wù)適合用強(qiáng)化學(xué)習(xí)哪些其實(shí)不適合從我實(shí)際項(xiàng)目經(jīng)驗(yàn)看適合用強(qiáng)化學(xué)習(xí)解決的任務(wù)一般滿足三個(gè)條件狀態(tài)可以被表達(dá)、動作可以被執(zhí)行、目標(biāo)可以被量化成獎勵(lì)信號。比如雅達(dá)利游戲、圍棋、機(jī)器人運(yùn)動控制、倉庫多AGV調(diào)度、換熱站溫度控制、推薦系統(tǒng)里的長期價(jià)值優(yōu)化這些都有明確邊界和反饋信號。反過來有些任務(wù)用規(guī)則和傳統(tǒng)優(yōu)化方法反而更爽。比如單純的路徑最短問題用A*或者Dijkstra幾分鐘就出結(jié)果非要上強(qiáng)化學(xué)習(xí)就是殺雞用牛刀。還有一些場景比如醫(yī)療決策錯(cuò)一次代價(jià)極高獎勵(lì)函數(shù)很難定義強(qiáng)化學(xué)習(xí)在這里只能做輔助研究。我的判斷標(biāo)準(zhǔn)是如果環(huán)境交互成本低、試錯(cuò)空間大、獎勵(lì)能清晰定義強(qiáng)化學(xué)習(xí)就能發(fā)揮價(jià)值如果三個(gè)條件缺了任何一個(gè)先想清楚再動手。2. 主流的算法家族從表格型到深度網(wǎng)絡(luò)2.1 免模型與基于模型是一條分岔路強(qiáng)化學(xué)習(xí)算法最粗的分叉是免模型Model-Free和基于模型Model-Based?；谀Ｐ偷姆椒ㄊ窍热W(xué)習(xí)一個(gè)環(huán)境動態(tài)模型也就是“做了動作a環(huán)境大概會怎么反饋”然后在這個(gè)模型上規(guī)劃或優(yōu)化策略。典型的代表有PILCO、Dreamer、MuZero。優(yōu)勢是樣本效率高因?yàn)榭梢栽趯W(xué)到的虛擬模型里“腦補(bǔ)”很多數(shù)據(jù)劣勢是學(xué)模型本身很難模型不準(zhǔn)后面的策略就全歪了。免模型方法不顯式建模環(huán)境直接從交互數(shù)據(jù)中學(xué)策略或價(jià)值函數(shù)包括DQN、PPO、SAC、TD3等一大批主流算法。它們實(shí)現(xiàn)相對簡單通用性強(qiáng)是工程落地的主力。代價(jià)是樣本消耗量通常很大所以仿真環(huán)境在強(qiáng)化學(xué)習(xí)項(xiàng)目里幾乎是標(biāo)配。2.2 價(jià)值型算法從Q-Learning到SAC早期表格型方法里最有名的就是Q-Learning。它維護(hù)一張Q表記錄每個(gè)狀態(tài)動作對的長期回報(bào)估計(jì)更新公式是Q(s, a) ← Q(s, a) α * [ r γ * max(a) Q(s, a) - Q(s, a) ]看起來簡單但這套“拿下一步最優(yōu)Q值回傳當(dāng)前步”的思路到現(xiàn)在還在幾乎所有深度強(qiáng)化學(xué)習(xí)算法內(nèi)部跑著。當(dāng)狀態(tài)空間大到表格裝不下時(shí)就有深度Q網(wǎng)絡(luò)DQN。DQN把Q表換成了神經(jīng)網(wǎng)絡(luò)用過的都知道兩個(gè)關(guān)鍵技巧不能少經(jīng)驗(yàn)回放和固定目標(biāo)網(wǎng)絡(luò)。這兩個(gè)設(shè)計(jì)解決的是樣本相關(guān)性和訓(xùn)練穩(wěn)定性問題是深度強(qiáng)化學(xué)習(xí)算法的奠基性工作。再到連續(xù)動作控制場景比如機(jī)器人關(guān)節(jié)速度輸出DQN沒法直接處理于是出現(xiàn)DDPG這類確定策略梯度方法。但DDPG出了名地對超參數(shù)敏感所以后來TD3和SAC明顯更穩(wěn)。尤其SAC引入了最大熵思想讓它不只會最大化回報(bào)還會刻意保持策略隨機(jī)性避免過早收斂到次優(yōu)方案。我在仿真環(huán)境里做連續(xù)控制時(shí)第一選擇基本就是SAC。2.3 策略型算法策略梯度與Actor-Critic價(jià)值型方法先學(xué)“每個(gè)動作有多好”再根據(jù)價(jià)值選動作策略型方法更直接把策略本身參數(shù)化沿著“期望回報(bào)對策略參數(shù)的梯度”往上漲。最早的REINFORCE屬于蒙特卡洛策略梯度用整個(gè)回合的總回報(bào)來估計(jì)梯度直觀但方差極大。后來把價(jià)值網(wǎng)絡(luò)和策略網(wǎng)絡(luò)結(jié)合起來就有了Actor-Critic。Actor負(fù)責(zé)出動作Critic負(fù)責(zé)給當(dāng)前狀態(tài)一個(gè)基線評分這樣策略網(wǎng)絡(luò)不用等完整回合就能每步更新大幅降低方差。A2C、A3C、PPO、SAC、TD3都算這個(gè)家族。PPO是目前工程里最常見的算法之一。它通過裁剪目標(biāo)函數(shù)讓策略更新不邁太大步防止一次更新過多破壞已有策略穩(wěn)定性非常好。我自己的感受是PPO可能不是每個(gè)任務(wù)上Test得分最高的但幾乎在所有任務(wù)上都“不會把你帶溝里”這是它能成為默認(rèn)起點(diǎn)的原因。2.4 算法選型速查算法適用動作空間特點(diǎn)工程常見場景DQN離散引入經(jīng)驗(yàn)回放與固定目標(biāo)網(wǎng)絡(luò)棋類、雅達(dá)利、簡單離散控制DDPG連續(xù)確定性策略但對超參數(shù)敏感經(jīng)典連續(xù)控制TD3連續(xù)DDPG的穩(wěn)定版雙Critic延遲更新機(jī)器人運(yùn)動控制SAC連續(xù)最大熵訓(xùn)練探索強(qiáng)且穩(wěn)定機(jī)械臂、仿真車輛控制PPO離散/連續(xù)穩(wěn)定、通用、易調(diào)游戲AI、AGV調(diào)度、多智能體場景IQL/CQL離線數(shù)據(jù)處理分布外動作離線專用日志數(shù)據(jù)策略提取3. 數(shù)據(jù)流向決定派別在線、離線與基于模型3.1 在線閉環(huán)一個(gè)“采樣、評估、改進(jìn)”的循環(huán)在線強(qiáng)化學(xué)習(xí)的流程所有跑過代碼的人都很熟Agent在環(huán)境里探索收集狀態(tài)、動作、獎勵(lì)、下一狀態(tài)四元組扔進(jìn)回放緩沖區(qū)學(xué)習(xí)網(wǎng)絡(luò)從中采樣一批經(jīng)驗(yàn)用TD誤差更新價(jià)值函數(shù)或者策略網(wǎng)絡(luò)更新完繼續(xù)讓Agent帶著新策略和環(huán)境交互反復(fù)循環(huán)。這里最核心的矛盾是“探索”和“利用”如果一直利用當(dāng)前最優(yōu)策略可能錯(cuò)過更好的路線如果一直亂試?yán)鄯e獎勵(lì)又上不去。常用的辦法是ε-greedy即以一個(gè)小概率隨機(jī)探索其余時(shí)間選擇當(dāng)前Q值最高的動作。SAC這類基于熵的算法更優(yōu)雅把探索作為目標(biāo)的一部分寫進(jìn)優(yōu)化公式里。在線方法效果直觀但最現(xiàn)實(shí)的痛點(diǎn)是環(huán)境交互成本。真實(shí)機(jī)器人跑一步要好幾秒碰撞一次還要維修而仿真環(huán)境下幾分鐘能跑上萬步。這也是為什么大家在做真實(shí)控制前一定先在Gazebo、MuJoCo這類仿真器里訓(xùn)練模型訓(xùn)練好了再遷移到真實(shí)設(shè)備上。3.2 離線強(qiáng)化學(xué)習(xí)只有歷史日志也能學(xué)很多業(yè)務(wù)場景根本沒有“隨時(shí)在線試錯(cuò)”的許可。電商推薦系統(tǒng)不可能為了探索新策略就讓用戶刷到很多低質(zhì)量內(nèi)容醫(yī)院也不允許算法在真實(shí)診療里胡試。這種時(shí)候就需要離線強(qiáng)化學(xué)習(xí)Offline RL也叫批處理強(qiáng)化學(xué)習(xí)只用一份已經(jīng)收集好的固定數(shù)據(jù)集不再與環(huán)境交互直接學(xué)一個(gè)策略出來。離線強(qiáng)化學(xué)習(xí)的最大難點(diǎn)叫分布外動作。簡單說數(shù)據(jù)里沒有的狀態(tài)動作組合訓(xùn)練時(shí)一旦網(wǎng)絡(luò)隨口說某個(gè)未知動作“會值很多分”就會出現(xiàn)嚴(yán)重的Q值過估計(jì)。因?yàn)镼網(wǎng)絡(luò)是用貝爾曼方程遞推的對沒見過動作的估值沒有真實(shí)反饋來糾正越迭代越離譜。IQLImplicit Q-Learning是一個(gè)很能說明問題的代表性算法。它避開了“需要讀數(shù)據(jù)里沒出現(xiàn)過的動作Q值”這個(gè)麻煩改為從隱式方式估計(jì)狀態(tài)價(jià)值只關(guān)注數(shù)據(jù)集內(nèi)部有樣本支撐的部分鼓勵(lì)學(xué)到數(shù)據(jù)集所表達(dá)的行為而不是盲目外推。CQL則從另一個(gè)角度下手在Q學(xué)習(xí)的目標(biāo)里加上一項(xiàng)對Q值期望的正則約束壓低那些沒有數(shù)據(jù)支撐的動作的價(jià)值。兩種思路都屬于“保守估計(jì)”路線寧可少賺不賭未知。3.3 基于模型強(qiáng)化學(xué)習(xí)先把環(huán)境裝進(jìn)腦子里基于模型方法的核心是先學(xué)一個(gè)世界模型World Model讓Agent能“腦補(bǔ)”交互結(jié)果。Dreamer系列在這個(gè)方向上做得很典型先通過歷史經(jīng)驗(yàn)學(xué)出下一幀狀態(tài)預(yù)測模型然后在虛擬環(huán)境里基于隱空間做想象推演來訓(xùn)練策略。這樣大量策略更新都不需要跟真實(shí)環(huán)境通信樣本效率能提升一個(gè)數(shù)量級。MuZero更是把這套思路推進(jìn)到了棋類和Atari等場景直接用神經(jīng)網(wǎng)絡(luò)做隱狀態(tài)轉(zhuǎn)移和價(jià)值預(yù)測不依賴精確規(guī)則也能拿到非常強(qiáng)的結(jié)果。這類算法的工程直覺是既然真實(shí)環(huán)境交互貴那就先建一個(gè)便宜的高保真模擬器在模擬器里把試錯(cuò)成本降到接近零。3.4 因果強(qiáng)化學(xué)習(xí)在改什么再往深一層看最近我比較關(guān)注的還有因果強(qiáng)化學(xué)習(xí)Causal RL。傳統(tǒng)強(qiáng)化學(xué)習(xí)學(xué)到的很多關(guān)聯(lián)關(guān)系其實(shí)只是數(shù)據(jù)上的相關(guān)性而非因果性。比如AGV在某個(gè)畫面里頻繁撞到貨架畫面中的某個(gè)像素顏色和碰撞事件高度相關(guān)但真正導(dǎo)致碰撞的是機(jī)器人到貨架的距離和速度。如果只學(xué)到像素相關(guān)換一批貨架顏色可能就失效了。因果強(qiáng)化學(xué)習(xí)的核心機(jī)制是把因果推斷工具嵌入強(qiáng)化學(xué)習(xí)流程先識別出“哪個(gè)變量直接決定系統(tǒng)反饋哪個(gè)變量只是伴隨現(xiàn)象”再在環(huán)境模型或策略學(xué)習(xí)里保留因果結(jié)構(gòu)。一個(gè)典型做法是先結(jié)構(gòu)學(xué)習(xí)得到因果圖抽出因果特征再讓策略只依賴這些特征做決策丟掉那些虛假相關(guān)。這樣的策略更容易跨環(huán)境泛化也更容易被解釋。目前這個(gè)方法還在發(fā)育期但方向上我認(rèn)為值得持續(xù)關(guān)注。4. 用Python把PPO跑通一遍從Gym到自定義環(huán)境4.1 環(huán)境準(zhǔn)備不談安裝的教程都是耍流氓。先準(zhǔn)備環(huán)境我推薦直接用Miniconda建獨(dú)立虛擬環(huán)境避免包依賴沖突conda create -n rl python3.10 -y conda activate rl pip install gymnasium[classic-control] stable-baselines3gymnasium是之前OpenAI Gym庫的繼任者接口變化不大但維護(hù)更積極。stable-baselines3是SB3封裝了PPO、SAC、DQN等一堆成熟算法接口統(tǒng)一非常適合入門和做實(shí)驗(yàn)原型。如果你想自己寫算法理解細(xì)節(jié)可以用PyTorch從零擼一個(gè)簡單PPO但第一遍我建議先用SB3跑通流程再回頭讀源碼。4.2 最小閉環(huán)訓(xùn)練與推理下面這段代碼十幾行就能完成“定義環(huán)境、創(chuàng)建模型、訓(xùn)練、跑一次推理”的完整閉環(huán)import gymnasium as gym from stable_baselines3 import PPO # 創(chuàng)建倒立擺環(huán)境 env gym.make(CartPole-v1) # 初始化PPO使用兩層MLP策略網(wǎng)絡(luò) model PPO(MlpPolicy, env, verbose1, learning_rate3e-4, n_steps2048) # 訓(xùn)練20萬步 model.learn(total_timesteps200_000) # 重置環(huán)境并讓模型跑一輪 obs, info env.reset() for _ in range(1000): action, _ model.predict(obs, deterministicTrue) obs, reward, terminated, truncated, info env.step(action) env.render() if terminated or truncated: break這里有幾個(gè)容易被忽略的細(xì)節(jié)learning_rate3e-4是我跑過很多環(huán)境后覺得在PPO里最穩(wěn)妥的起點(diǎn)盲目調(diào)大很容訓(xùn)練發(fā)散。n_steps2048是每次更新收集的步數(shù)太小會讓梯度噪聲過大。deterministicTrue表示推理時(shí)不再采樣隨機(jī)探索直接輸出當(dāng)前策略的確定性動作評估模型時(shí)更穩(wěn)定。4.3 從CartPole到Gazebo和多AGV路徑規(guī)劃跑通CartPole之后絕大多數(shù)人下一步會想碰真實(shí)場景。做機(jī)器人方向的人通常繞不開Gazebo它是ROS生態(tài)里最常用的物理仿真器之一可以加載機(jī)器人模型、傳感器仿真、障礙物布局。要做Gazebo里的強(qiáng)化學(xué)習(xí)最普遍的做法是寫一個(gè)Python環(huán)境類通過ROS訂閱激光雷達(dá)和里程計(jì)話題得到狀態(tài)通過發(fā)布速度指令話題作為動作當(dāng)機(jī)器人收到碰撞傳感器信號時(shí)返回負(fù)獎勵(lì)并回合結(jié)束。多AGV路徑規(guī)劃是這類場景里挺典型的問題。一個(gè)倉庫里有若干輛AGV從不同起點(diǎn)去往不同卸貨點(diǎn)容易互相堵路甚至死鎖。用強(qiáng)化學(xué)習(xí)來求解時(shí)普通建模方式有兩種一種是把每個(gè)AGV當(dāng)作獨(dú)立智能體各自決定下一步往哪走這就成了多智能體強(qiáng)化學(xué)習(xí)問題另一種是先把AGV的可能路徑離散成有限集合再讓策略從中選路徑配合交通管制規(guī)則避免死鎖。根據(jù)我自己的經(jīng)驗(yàn)多AGV強(qiáng)化學(xué)習(xí)項(xiàng)目里最影響效果的倒不是算法本身而是仿真保真度和獎勵(lì)設(shè)計(jì)。比如Gazebo里如果沒開好碰撞檢測那AGV撞了貨架也不報(bào)終止獎勵(lì)信號全亂策略根本學(xué)不出來。所以我每次都先在Gazebo里手動遠(yuǎn)程操控AGV跑幾遍確認(rèn)碰撞話題、里程計(jì)噪聲、障礙物布局都真實(shí)了再開始訓(xùn)練策略。5. 實(shí)戰(zhàn)中的獎勵(lì)設(shè)計(jì)、超參數(shù)與任務(wù)建模5.1 獎勵(lì)設(shè)計(jì)稀疏獎勵(lì)、獎勵(lì)塑形與獎勵(lì)黑客獎勵(lì)函數(shù)是強(qiáng)化學(xué)習(xí)項(xiàng)目里影響最直接、也最容易被輕視的部分。第一個(gè)問題是稀疏獎勵(lì)如果AGV只在最終卸貨那一刻拿到一個(gè)“10”其他所有步都是0那你得試多少條路才偶然而一次正向信號可能幾萬步都學(xué)不動。解決辦法是獎勵(lì)塑形給中間過渡提供密度更高的反饋比如每靠近目標(biāo)一步給一個(gè)小正分每碰撞一次給一個(gè)負(fù)分讓對方策略能一步步摸到目標(biāo)。但獎勵(lì)塑形會引發(fā)新的問題就是獎勵(lì)黑客。你設(shè)計(jì)的靠近獎勵(lì)可能讓AGV繞著目標(biāo)轉(zhuǎn)圈不沖進(jìn)去只為了每步都拿靠近獎勵(lì)也可能讓它在離目標(biāo)很近但撞墻的位置卡住因?yàn)榭拷剟?lì)大于碰撞處罰。我見過最典型的翻車案例給機(jī)械臂設(shè)計(jì)了一個(gè)“末端接近目標(biāo)減距離誤差”的獎勵(lì)結(jié)果機(jī)械臂學(xué)會把目標(biāo)物體推遠(yuǎn)來減少誤差。所以要設(shè)一些容易判定的全局約束比如步數(shù)上限、距離閾值強(qiáng)制終止并對異常行為做合法性校驗(yàn)。5.2 需要盯住的超參數(shù)強(qiáng)化學(xué)習(xí)超參數(shù)很多但真正需要手工調(diào)的核心參數(shù)就那么幾個(gè)參數(shù)含義常見起點(diǎn)調(diào)高效果調(diào)低效果學(xué)習(xí)率網(wǎng)絡(luò)權(quán)重更新步長3e-4學(xué)習(xí)快容易發(fā)散穩(wěn)定但收斂慢折扣因子γ未來獎勵(lì)的重要性0.99更看重遠(yuǎn)期收益更看重眼前收益熵系數(shù)/熵權(quán)重策略隨機(jī)性懲罰SAC默認(rèn)自動調(diào)探索更多接近確定性策略經(jīng)驗(yàn)回放容量舊樣本保留量100_000多樣性高占內(nèi)存樣本舊信息丟棄快梯度裁剪閾值防止梯度過大0.5或1.0容忍大更新更保守我見過太多人一上來就試圖把γ調(diào)到0.999結(jié)果策略過分關(guān)注遠(yuǎn)期短視任務(wù)怎么都學(xué)不好。先保持0.99起步觀察回報(bào)曲線是否平穩(wěn)上漲再根據(jù)需求更變。5.3 訓(xùn)練不穩(wěn)時(shí)的排查鏈訓(xùn)練過程中回報(bào)曲線震蕩是一個(gè)再普通不過的事。按照我自己的排查習(xí)慣順序大概是先確認(rèn)環(huán)境本身沒問題手動采樣動作觀察獎勵(lì)是否合理、回合是否正常結(jié)束這一步排掉80%的“學(xué)不動”問題。看訓(xùn)練時(shí)的平均回報(bào)曲線而不是單回合回報(bào)。單回合方差極大容易讓人誤判。檢查探索是否充足如果策略過早收斂到“一直輸出同一個(gè)動作”往往是熵塌縮了需要提高熵系數(shù)或者提高學(xué)習(xí)率。檢查Q值或Critic loss如果Q值一路飆升但實(shí)際回報(bào)紋絲不動基本就是過估計(jì)需要降低學(xué)習(xí)率、調(diào)大回放buffer或者換成更保守的目標(biāo)更新方式。最后檢查環(huán)境隨機(jī)種子是否固定不確定的隨機(jī)環(huán)境會直接導(dǎo)致復(fù)現(xiàn)困難。5.4 我的調(diào)試順序跑強(qiáng)化學(xué)習(xí)項(xiàng)目以來我逐漸形成一套固定節(jié)奏。第一步先把環(huán)境當(dāng)成隨機(jī)智能體跑幾百步只看數(shù)據(jù)流是否通、獎勵(lì)是否合理。第二步用PPO或SAC跑一個(gè)小batch實(shí)驗(yàn)比如10萬步觀察那條獎勵(lì)曲線能不能在一個(gè)小時(shí)內(nèi)有明顯上升趨勢。第三步如果曲線沒動靜我不去改網(wǎng)絡(luò)結(jié)構(gòu)先改獎勵(lì)函數(shù)和狀態(tài)表征這兩項(xiàng)對訓(xùn)練效果的影響遠(yuǎn)大于網(wǎng)絡(luò)層數(shù)。第四步等基本能學(xué)通后再去做超參數(shù)小范圍網(wǎng)格搜索一次只改一個(gè)變量。這套流程看起來老套但對比“遇到問題就加網(wǎng)絡(luò)”的野路子成功率提升非常大。6. 強(qiáng)化學(xué)習(xí)目前的三個(gè)瓶頸以及一些破局思路6.1 繞不開的樣本效率深度強(qiáng)化學(xué)習(xí)算法的最大瓶頸還是樣本效率。一個(gè)標(biāo)準(zhǔn)的Atari游戲需要幾百萬幀才能達(dá)到人類水平真實(shí)機(jī)器人根本耗不起這個(gè)交互量這也是強(qiáng)化學(xué)習(xí)在工業(yè)里主要活在仿真場景的原因。破局思路目前有四條線一是基于模型方法用學(xué)出來的世界模型自動補(bǔ)樣本二是離線強(qiáng)化學(xué)習(xí)把歷史日志數(shù)據(jù)用起來三是仿真到現(xiàn)實(shí)遷移把仿真里學(xué)到的策略做域隨機(jī)化再遷移到真實(shí)設(shè)備四是多智能體并行仿真同時(shí)開幾十個(gè)Gazebo實(shí)例加速采樣。這幾個(gè)方向不是互斥的實(shí)際項(xiàng)目里經(jīng)常組合使用。6.2 獎勵(lì)從哪來人寫還是學(xué)獎勵(lì)函數(shù)是很多項(xiàng)目推不動的深層原因。尤其像“路徑規(guī)劃得好不好”“駕駛風(fēng)格冷不冷”這類評價(jià)很難寫成標(biāo)量函數(shù)。近幾年出現(xiàn)了逆強(qiáng)化學(xué)習(xí)IRL和偏好學(xué)習(xí)從專家示范數(shù)據(jù)里反推獎勵(lì)或者讓人類給成對軌跡打分再由算法擬合一個(gè)人的偏好模型。DeepMind在多機(jī)器人控制里還用過一個(gè)思路先學(xué)一個(gè)輔助價(jià)值函數(shù)來評估行為規(guī)范再把這個(gè)函數(shù)作為強(qiáng)化學(xué)習(xí)信號的一部分。從工程角度講與其絞盡腦汁手造獎勵(lì)不如強(qiáng)化學(xué)習(xí)環(huán)境下同時(shí)采集導(dǎo)師反饋既高效又不容易被獎勵(lì)黑客鉆空子。6.3 因果、世界模型和離線數(shù)據(jù)怎么走到一起把現(xiàn)階段幾個(gè)熱點(diǎn)放在一起看其實(shí)有一個(gè)共同趨勢都在想辦法讓強(qiáng)化學(xué)習(xí)不那么“白手起家”。因果強(qiáng)化學(xué)習(xí)給模型注入因果結(jié)構(gòu)讓策略基于真正起作用的變量做決策提高泛化能力基于模型的強(qiáng)化學(xué)習(xí)給策略一個(gè)可以反復(fù)演練的“沙盤”離線強(qiáng)化學(xué)習(xí)讓先前積累的數(shù)據(jù)具備再利用價(jià)值。三者在生產(chǎn)實(shí)踐里可以配合成一套管線先用離線數(shù)據(jù)學(xué)習(xí)一個(gè)可信的世界模型和保守策略再用因果工具剔除虛假相關(guān)特征最后在仿真沙盤里微調(diào)策略再到現(xiàn)實(shí)環(huán)境小成本驗(yàn)證。這基本就是我從科研項(xiàng)目轉(zhuǎn)向工業(yè)落地時(shí)最后沉淀下來的主流做法。6.4 入門資料怎么選避免只刷代碼最后分享一點(diǎn)學(xué)習(xí)路線方面的體會。很多人以為強(qiáng)化學(xué)習(xí)很難是數(shù)學(xué)勸退其實(shí)更準(zhǔn)確地說是“直覺門檻”太高。Q值、TD誤差、策略梯度這些概念如果不結(jié)合具體環(huán)境去體會看公式會非常吃力。我推薦兩條路徑并行一邊讀Sutton的經(jīng)典紅寶書《Reinforcement Learning: An Introduction》這本書雖然老但對基本概念的直覺講得最好一邊在Gymnasium里跑SB3的現(xiàn)成實(shí)現(xiàn)把DQN、PPO、SAC都先當(dāng)成黑盒玩一遍再回去讀論文里的公式推導(dǎo)會順暢得多。市面上也有一些很適合中文讀者的開源書籍比如“動手學(xué)強(qiáng)化學(xué)習(xí)”我常把它當(dāng)作新人團(tuán)隊(duì)的百日入門手冊。我自己的習(xí)慣是“必須自己重寫一遍核心算法”。哪怕寫出來的版本比SB3慢十倍這個(gè)過程里能學(xué)到的東西遠(yuǎn)比調(diào)包跑幾千步要多。等你能從零寫出一個(gè)能讓CartPole收斂的PPO再去看MuZero、Dreamer、IQL這些進(jìn)階方向會發(fā)現(xiàn)整個(gè)強(qiáng)化學(xué)習(xí)地圖已經(jīng)在腦子里成形了。剩下的無非是拿著地圖去你自己的場景里踩地平坑。