FinRL-Meta 基準(zhǔn)評(píng)測(cè)體系指南統(tǒng)一績(jī)效指標(biāo)、基線策略與回測(cè)實(shí)戰(zhàn)【免費(fèi)下載鏈接】FinRLFinRL?: Financial Reinforcement Learning. 項(xiàng)目地址: https://gitcode.com/gh_mirrors/fi/FinRL-Library導(dǎo)讀本文以 FinRL-Meta 的 Benchmark 文檔docs/source/finrl_meta/Benchmark.rst為骨架系統(tǒng)講解 FinRL 項(xiàng)目中用于衡量交易策略的統(tǒng)一績(jī)效指標(biāo)體系、官方提供的基線策略定義以及基于這些指標(biāo)和基線開展回測(cè)對(duì)比的完整實(shí)踐路徑。讀完本文你將掌握累計(jì)收益、年化收益、年化波動(dòng)率、Sharpe 比率、最大回撤五類核心指標(biāo)的數(shù)學(xué)定義與倉庫內(nèi)計(jì)算實(shí)現(xiàn)了解被動(dòng)策略、均值-方差/最小方差策略、等權(quán)策略三類基線的工作原理并能夠使用倉庫自帶的backtest_stats、backtest_plot等工具對(duì) DRL 智能體與 DJIA、MVO 等基線進(jìn)行公平對(duì)比。一、FinRL-Meta 的統(tǒng)一績(jī)效指標(biāo)為什么需要一套標(biāo)準(zhǔn)在深度強(qiáng)化學(xué)習(xí)DRL交易實(shí)驗(yàn)中不同論文、不同代碼庫對(duì)策略好不好的度量口徑往往不一致有的只看期末總資產(chǎn)有的用年化收益率有的用 Sharpe 比率。口徑不一致會(huì)帶來兩個(gè)直接問題一是 DRL 算法之間無法橫向?qū)Ρ榷菍?shí)驗(yàn)結(jié)果難以復(fù)現(xiàn)。FinRL-Meta 為此定義了一套統(tǒng)一的績(jī)效指標(biāo)Performance Metrics作為所有策略——包括 DRL 智能體與各類基線——的公共度量標(biāo)準(zhǔn)。該設(shè)計(jì)與其 DataOps 管線的第四步Performance monitoring性能監(jiān)控一一對(duì)應(yīng)即將 DRL 智能體的表現(xiàn)與若干基線交易策略進(jìn)行對(duì)比見 docs/source/finrl_meta/overview.rst。下文逐一給出五類指標(biāo)的定義與解讀公式遵循 Benchmark 文檔的原始定義。1.1 累計(jì)收益Cumulative Return累計(jì)收益衡量投資期末組合價(jià)值相對(duì)初始資金的整體增值比例$$R \frac{V - V_0}{V_0}$$其中 $V$ 為期末組合價(jià)值final portfolio value$V_0$ 為初始資金original capital。這是最直觀的賺了多少指標(biāo)但忽略了時(shí)間長(zhǎng)度與波動(dòng)風(fēng)險(xiǎn)因此通常需要與其他指標(biāo)配合使用。1.2 年化收益Annualized Return為消除持有期長(zhǎng)短差異將累計(jì)收益折算為年度口徑$$r (1R)^{\frac{365}{t}} - 1$$其中 $t$ 為實(shí)際交易天數(shù)number of trading days。注意 FinRL-Meta 使用的是 365 天/自然日口徑而非 252 個(gè)交易日口徑這一細(xì)節(jié)在對(duì)比不同論文結(jié)果時(shí)需要留意。1.3 年化波動(dòng)率Annualized Volatility波動(dòng)率度量收益的不確定性年化波動(dòng)率按下式給出$$\sigma_a \sqrt{\frac{\sum_{i1}^{n}{(r_i-\bar{r})^2}}{n-1}}$$其中 $r_i$ 為第 $i$ 年的年化收益$\bar{r}$ 為各年年化收益的均值$n$ 為年數(shù)。波動(dòng)率越高代表收益路徑越顛簸、風(fēng)險(xiǎn)越大。1.4 Sharpe 比率Sharpe RatioSharpe 比率是風(fēng)險(xiǎn)調(diào)整后收益的核心指標(biāo)衡量每承擔(dān)一單位波動(dòng)能換來多少超額收益$$S \frac{r - r_f}{\sigma_a}$$其中 $r$ 為年化收益$r_f$ 為無風(fēng)險(xiǎn)利率risk-free rate實(shí)踐中常取 0 或國債收益率$\sigma_a$ 為年化波動(dòng)率。Sharpe 比率越高說明策略在相同風(fēng)險(xiǎn)水平下獲得了更高回報(bào)是論文與實(shí)踐中使用最頻繁的對(duì)比指標(biāo)。1.5 最大回撤Max. Drawdown最大回撤定義為組合價(jià)值從歷史峰值到后續(xù)谷底的最大百分比損失The maximal percentage loss in portfolio value刻畫策略在最壞行情下可能承受的虧損幅度是衡量尾部風(fēng)險(xiǎn)與回撤控制能力的重要指標(biāo)。1.6 指標(biāo)在倉庫中的實(shí)際計(jì)算位置上述指標(biāo)并非只停留在文檔公式層面而是貫穿于 FinRL 的多個(gè)實(shí)現(xiàn)點(diǎn)環(huán)境內(nèi)置的 Sharpe 計(jì)算在 finrl/meta/env_stock_trading/env_stocktrading.py 的step()終止分支中環(huán)境根據(jù)account_value的日收益率序列直接計(jì)算sharpe (252**0.5) * daily_return.mean() / daily_return.std()并在每個(gè) episode 結(jié)束時(shí)打印end_total_asset、total_reward、total_cost、total_trades與 Sharpe 值。此處采用的是 252 個(gè)交易日的年化口徑與文檔中 365 天口徑的差異恰好印證了指標(biāo)口徑必須顯式聲明的必要性。pyfolio 驅(qū)動(dòng)的完整績(jī)效報(bào)表在 finrl/plot.py 中backtest_stats(account_value, value_col_nameaccount_value)將賬戶價(jià)值序列通過get_daily_return()轉(zhuǎn)換為日收益率序列后交給pyfolio.timeseries.perf_stats()輸出包括年化收益、年化波動(dòng)率、Sharpe、Sortino、最大回撤等在內(nèi)的完整績(jī)效統(tǒng)計(jì)。集成策略腳本的 Sharpe 復(fù)算finrl/applications/stock_trading/ensemble_stock_trading.py 在匯總 ensemble 回測(cè)賬戶價(jià)值后以(252**0.5) * pct_change(1).mean() / pct_change(1).std()的形式復(fù)核 Sharpe 比率。二、官方基線策略DRL 智能體的對(duì)照組Benchmark 文檔規(guī)定DRL 智能體的表現(xiàn)必須與以下三類基線策略baseline trading strategies進(jìn)行對(duì)比以回答DRL 是否真的比傳統(tǒng)方法強(qiáng)這一核心問題。2.1 被動(dòng)交易策略Passive Trading Strategy被動(dòng)策略即經(jīng)典的買入并持有buy and hold投資者買入選定股票或指數(shù)后不再進(jìn)行任何主動(dòng)操作長(zhǎng)期持有直至期末。它代表市場(chǎng)本身如買入 DJIA 指數(shù)的收益水平是判斷主動(dòng)策略是否創(chuàng)造超額收益的最低參照。在倉庫回測(cè)示例 examples/FinRL_StockTrading_2026_3_Backtest.py 中DJIA 指數(shù)基線通過yfinance拉取^DJI收盤價(jià)并按首日價(jià)格歸一化到 1,000,000 美元的初始資金從而與 DRL 智能體的賬戶價(jià)值曲線處于同一量綱直接對(duì)比df_dji yf.download(^DJI, startTRADE_START_DATE, endTRADE_END_DATE) fst_day df_dji[close].iloc[0] dji pd.merge( df_dji[date], df_dji[close].div(fst_day).mul(1000000), howouter, left_indexTrue, right_indexTrue, ).set_index(date)此外finrl/plot.py 的get_baseline(ticker, start, end)提供了通用化的基線獲取函數(shù)默認(rèn) ticker 為^DJI道瓊斯工業(yè)指數(shù)也支持^GSPC標(biāo)普 500、^NDX納斯達(dá)克 100等指數(shù)。2.2 均值-方差與最小方差策略Mean-Variance Min-Variance均值-方差Mean-Variance與最小方差Min-Variance策略源自馬科維茨現(xiàn)代投資組合理論兩者都在風(fēng)險(xiǎn)與收益之間尋求平衡通過構(gòu)建分散化投資組合在更低風(fēng)險(xiǎn)下追求更高收益。區(qū)別在于優(yōu)化目標(biāo)——均值-方差策略最大化每單位風(fēng)險(xiǎn)對(duì)應(yīng)的超額收益如最大化 Sharpe 比率最小方差策略則只最小化組合方差。倉庫在 examples/FinRL_StockTrading_2026_3_Backtest.py 中給出了基于pypfopt庫的完整 MVO 基線實(shí)現(xiàn)可作為理解該策略的參考骨架# 計(jì)算訓(xùn)練期各資產(chǎn)的收益率均值與協(xié)方差矩陣 meanReturns np.mean(arReturns, axis0) covReturns np.cov(arReturns, rowvarFalse) # 用 EfficientFrontier 求解最大 Sharpe 組合權(quán)重限制在 0~0.5 之間 from pypfopt.efficient_frontier import EfficientFrontier ef_mean EfficientFrontier(meanReturns, covReturns, weight_bounds(0, 0.5)) raw_weights_mean ef_mean.max_sharpe() cleaned_weights_mean ef_mean.clean_weights() # 將最優(yōu)權(quán)重按 1,000,000 美元初始資金換算為各資產(chǎn)份額 mvo_weights np.array([1000000 * cleaned_weights_mean[i] for i in range(len(cleaned_weights_mean))]) Portfolio_Assets TradeData Initial_Portfolio # 在測(cè)試期滾動(dòng)持有 MVO_result pd.DataFrame(Portfolio_Assets, columns[Mean Var])值得注意的關(guān)鍵細(xì)節(jié)MVO 的均值與協(xié)方差矩陣僅在訓(xùn)練期數(shù)據(jù)上估計(jì)隨后將訓(xùn)練期末得到的權(quán)重在測(cè)試期trade 數(shù)據(jù)上持有這一訓(xùn)練/測(cè)試隔離做法與 DRL 的訓(xùn)練-測(cè)試-交易管線保持一致避免信息泄露導(dǎo)致對(duì)比失真。2.3 等權(quán)策略Equally Weighted Strategy等權(quán)策略給組合內(nèi)不同資產(chǎn)分配相同權(quán)重避免將過高權(quán)重集中于個(gè)別股票上是一種天然分散、無需任何估計(jì)與優(yōu)化的樸素基準(zhǔn)。它經(jīng)常作為無腦分散的下限參照用于檢驗(yàn)更復(fù)雜的權(quán)重優(yōu)化無論是 MVO 還是 DRL是否真正帶來了超越平均分配的增量?jī)r(jià)值。2.4 對(duì)比結(jié)果的組織方式examples/FinRL_StockTrading_2026_3_Backtest.py 將五個(gè) DRL 智能體A2C、DDPG、PPO、TD3、SAC與 MVO、DJIA 兩套基線匯入同一 DataFrame 并繪制Portfolio Value Over Time對(duì)比曲線直接呼應(yīng) Benchmark 文檔以統(tǒng)一指標(biāo)度量、以基線為參照的評(píng)測(cè)范式。三、回測(cè)實(shí)戰(zhàn)從賬戶價(jià)值到績(jī)效報(bào)表理解了指標(biāo)與基線之后實(shí)戰(zhàn)環(huán)節(jié)的核心是把 DRL 智能體的交易軌跡轉(zhuǎn)化為可比較的績(jī)效數(shù)字。FinRL 在 finrl/plot.py 中封裝了完整工具鏈。3.1 獲取賬戶價(jià)值曲線回測(cè)的第一步是讓訓(xùn)練好的智能體在測(cè)試/交易環(huán)境上運(yùn)行得到逐日的account_value序列。在 examples/FinRL_StockTrading_2026_3_Backtest.py 中通過DRLAgent.DRL_prediction(modeltrained_ppo, environmente_trade_gym)依次獲得各算法A2C/DDPG/PPO/TD3/SAC的賬戶價(jià)值 DataFrame環(huán)境配置中的hmax100單筆最大交易股數(shù)、initial_amount1000000初始資金、buy_cost_pct/sell_cost_pct0.001雙邊 0.1% 交易成本等參數(shù)直接決定了回測(cè)曲線的形態(tài)與真實(shí)性。3.2 核心工具函數(shù)get_daily_return(df, value_col_nameaccount_value)finrl/plot.py對(duì)賬戶價(jià)值做pct_change(1)得到日收益率序列并將日期索引轉(zhuǎn)換為 UTC 時(shí)區(qū)供 pyfolio 使用。backtest_stats(account_value, value_col_nameaccount_value)finrl/plot.py調(diào)用pyfolio.timeseries.perf_stats()生成完整績(jī)效統(tǒng)計(jì)表直接覆蓋本文第一部分所述的年化收益、年化波動(dòng)率、Sharpe、最大回撤等核心指標(biāo)。backtest_plot(account_value, baseline_start, baseline_end, baseline_ticker^DJI, ...)finrl/plot.py將策略日收益率與基線默認(rèn) DJIA日收益率一同交給pyfolio.create_full_tear_sheet()輸出包含累計(jì)收益曲線、回撤曲線、月度收益熱力圖等在內(nèi)的完整分析報(bào)表。get_baseline(ticker, start, end)finrl/plot.py基于YahooDownloader拉取指數(shù)收盤價(jià)作為被動(dòng)策略基線。3.3 與集成策略示例的銜接finrl/applications/stock_trading/ensemble_stock_trading.py 給出了上述工具在生產(chǎn)式回測(cè)中的完整調(diào)用順序先backtest_stats(account_valuedf_account_value)輸出 DRL 集成策略績(jī)效再對(duì)^DJI基線執(zhí)行backtest_stats(baseline_df, value_col_nameclose)得到基線績(jī)效最后backtest_plot(...)生成對(duì)比報(bào)表——這套策略統(tǒng)計(jì) 基線統(tǒng)計(jì) 對(duì)比圖的三段式流程正是 Benchmark 文檔指標(biāo)與基線設(shè)計(jì)的直接落地。四、Jupyter Notebook 教程Benchmark 的完整用例集合Benchmark 文檔明確指出為幫助新手熟悉數(shù)據(jù) → 環(huán)境 → 智能體 → 回測(cè)對(duì)比的完整管線FinRL 提供了系列 Jupyter Notebook 教程位于 FinRL-Tutorials 倉庫。這些教程本身就是 Benchmark 體系的用例集覆蓋了從單任務(wù)到多任務(wù)、從訓(xùn)練到部署的全場(chǎng)景教程主題核心內(nèi)容對(duì)應(yīng)倉庫落地參考股票交易Stock trading用主流 DRL 算法交易多只股票examples/FinRL_StockTrading_2026_2_train.py、examples/FinRL_StockTrading_2026_3_Backtest.py組合配置Portfolio allocation用 DRL 智能體優(yōu)化一組股票的資產(chǎn)配置finrl/meta/env_portfolio_allocation/env_portfolio.py加密貨幣交易Cryptocurrency trading復(fù)現(xiàn) 10 種主流加密貨幣上的交易實(shí)驗(yàn)finrl/meta/env_cryptocurrency_trading/多智能體清算策略Multi-agent RL for liquidation復(fù)現(xiàn)文獻(xiàn)[7]實(shí)驗(yàn)多智能體優(yōu)化清算任務(wù)的 shortfall即在給定周期內(nèi)順序賣出給定數(shù)量股票權(quán)衡市場(chǎng)沖擊成本與風(fēng)險(xiǎn)厭惡finrl/meta/env_portfolio_optimization/集成策略Ensemble strategy復(fù)現(xiàn)多個(gè) DRL 算法集成的股票交易實(shí)驗(yàn)finrl/applications/stock_trading/ensemble_stock_trading.py模擬盤交易Paper trading demo將自研策略或訓(xùn)練好的智能體接入模擬盤交易finrl/meta/paper_trading/alpaca.py、finrl/meta/env_stock_trading/env_stock_papertrading.py中國 A 股示例China A-share demo基于中國 A 股市場(chǎng)數(shù)據(jù)開展實(shí)驗(yàn)docs/source/tutorial/1-Introduction.rst超參數(shù)調(diào)優(yōu)Hyperparameter tuning使用 Optuna 或 Ray Tune 進(jìn)行超參數(shù)調(diào)優(yōu)finrl/agents/stablebaselines3/tune_sb3.py4.1 集成策略中的關(guān)鍵機(jī)制rebalance_window在 finrl/applications/stock_trading/ensemble_stock_trading.py 中集成策略通過DRLEnsembleAgent實(shí)現(xiàn)其核心參數(shù)rebalance_window63每 63 天重新訓(xùn)練一次模型與validation_window63驗(yàn)證與交易窗口同為 63 天控制滾動(dòng)再平衡節(jié)奏三個(gè)子算法 A2C/PPO/DDPG 的模型參數(shù)分別通過A2C_model_kwargs、PPO_model_kwargs、DDPG_model_kwargs傳入各算法訓(xùn)練步數(shù)由timesteps_dict指定A2C_model_kwargs {n_steps: 5, ent_coef: 0.005, learning_rate: 0.0007} PPO_model_kwargs {ent_coef: 0.01, n_steps: 2048, learning_rate: 0.00025, batch_size: 128} DDPG_model_kwargs {buffer_size: 10_000, learning_rate: 0.0005, batch_size: 64} timesteps_dict {a2c: 10_000, ppo: 10_000, ddpg: 10_000} df_summary ensemble_agent.run_ensemble_strategy(A2C_model_kwargs, PPO_model_kwargs, DDPG_model_kwargs, timesteps_dict)4.2 超參數(shù)調(diào)優(yōu)性能提升的關(guān)鍵環(huán)節(jié)Benchmark 文檔特別強(qiáng)調(diào)超參數(shù)調(diào)優(yōu)對(duì) DRL 性能的關(guān)鍵作用。倉庫在 finrl/agents/stablebaselines3/tune_sb3.py 中實(shí)現(xiàn)了基于 Ray Tune 的調(diào)優(yōu)封裝而 finrl/agents/stablebaselines3/hyperparams_opt.py 提供各算法的超參數(shù)搜索空間。同時(shí) finrl/config.py 中預(yù)置了 A2C、PPO、DDPG、TD3、SAC、ElegantRL 的默認(rèn)參數(shù)如PPO_PARAMS {n_steps: 2048, ent_coef: 0.01, learning_rate: 0.00025, batch_size: 64}作為調(diào)優(yōu)的起點(diǎn)與對(duì)照組。4.3 中國 A 股數(shù)據(jù)的配置支撐中國 A 股示例依托 finrl/config.py 中的時(shí)區(qū)配置如TIME_ZONE_SHANGHAI Asia/Shanghai對(duì)應(yīng)滬深與恒生指數(shù)以及 finrl/meta/data_processors/processor_joinquant.py、finrl/meta/data_processors/processor_tushare.py若存在等數(shù)據(jù)源處理器說明 Benchmark 的指標(biāo)與基線體系同樣適用于非美股市場(chǎng)。五、測(cè)試流程中的基準(zhǔn)評(píng)測(cè)入口除 Notebook 教程外倉庫還提供腳本化入口 finrl/test.py 用于對(duì)已訓(xùn)練模型執(zhí)行統(tǒng)一的回測(cè)評(píng)估。test()函數(shù)接收起止日期、ticker 列表、數(shù)據(jù)源、技術(shù)指標(biāo)列表、DRL 庫elegantrl/rllib/stable_baselines3與模型名加載訓(xùn)練好的模型后運(yùn)行環(huán)境得到episode_total_assetsaccount_value_erl test( start_dateTEST_START_DATE, end_dateTEST_END_DATE, ticker_listDOW_30_TICKER, data_sourceyahoofinance, time_interval1D, technical_indicator_listINDICATORS, drl_libelegantrl, envenv, model_nameppo, cwd./test_ppo, net_dimension512, )其中TEST_START_DATE/TEST_END_DATE與TRADE_START_DATE/TRADE_END_DATE在 finrl/config.py 中定義如TEST_START_DATE 2026-01-01INDICATORS列表macd、boll_ub、boll_lb、rsi_30 等 8 個(gè)技術(shù)指標(biāo)決定狀態(tài)空間構(gòu)成。該測(cè)試結(jié)果可直接輸入backtest_stats生成績(jī)效報(bào)表完成 Benchmark 文檔所要求的訓(xùn)練-測(cè)試-交易閉環(huán)中的評(píng)測(cè)環(huán)節(jié)。六、實(shí)踐要點(diǎn)總結(jié)指標(biāo)口徑要顯式聲明文檔公式中的年化收益采用 365 天口徑而 env_stocktrading.py 與集成腳本中的 Sharpe 采用 252 交易日口徑引用他人結(jié)果前務(wù)必核對(duì)口徑。基線不可省略被動(dòng)DJIA 指數(shù)、MVO、等權(quán)三類基線分別代表市場(chǎng)本身均值-方差優(yōu)化樸素分散三個(gè)參照層次缺一不可。訓(xùn)練/測(cè)試隔離是公平對(duì)比的前提MVO 的協(xié)方差矩陣估計(jì)與 DRL 的訓(xùn)練集劃分都必須嚴(yán)格限定在訓(xùn)練期數(shù)據(jù)內(nèi)見 examples/FinRL_StockTrading_2026_3_Backtest.py。標(biāo)準(zhǔn)化工具開箱即用backtest_statsbacktest_plotget_baseline三件套finrl/plot.py即可完成從賬戶價(jià)值到完整績(jī)效報(bào)表與對(duì)比圖的全流程。從教程到復(fù)現(xiàn)Benchmark 文檔列出的八類 Notebook 教程對(duì)應(yīng)倉庫中的落地實(shí)現(xiàn)與示例腳本可作為新任務(wù)的起點(diǎn)模板。【免費(fèi)下載鏈接】FinRLFinRL?: Financial Reinforcement Learning. 項(xiàng)目地址: https://gitcode.com/gh_mirrors/fi/FinRL-Library創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考