測與庫存優(yōu)化：從LightGBM建模到安全庫存策略實(shí)戰(zhàn))
1. 項(xiàng)目概述從一道賽題到一套完整的供應(yīng)鏈優(yōu)化方案如果你關(guān)注過近幾年的數(shù)學(xué)建模競賽尤其是像MathorCup、國賽這類含金量高的比賽會(huì)發(fā)現(xiàn)一個(gè)明顯的趨勢賽題越來越“接地氣”越來越貼近真實(shí)的產(chǎn)業(yè)痛點(diǎn)。2023年MathorCup大數(shù)據(jù)挑戰(zhàn)賽的B題——“電商零售商家需求預(yù)測及庫存優(yōu)化問題”就是一個(gè)絕佳的例子。它不再是一個(gè)純粹的、理想化的數(shù)學(xué)問題而是將我們直接拋入了一個(gè)電商運(yùn)營者每天都要面對(duì)的、充滿不確定性的現(xiàn)實(shí)戰(zhàn)場如何根據(jù)歷史銷售數(shù)據(jù)精準(zhǔn)預(yù)測未來需求并以此為依據(jù)制定最優(yōu)的庫存策略從而在避免缺貨損失和減少庫存積壓之間找到那個(gè)微妙的平衡點(diǎn)這道題的價(jià)值遠(yuǎn)不止于贏得比賽。它本質(zhì)上是一套完整的、數(shù)據(jù)驅(qū)動(dòng)的供應(yīng)鏈管理核心方法論。對(duì)于電商從業(yè)者、供應(yīng)鏈分析師、數(shù)據(jù)科學(xué)入門者甚至是相關(guān)專業(yè)的學(xué)生來說深入理解并實(shí)踐這道題的解題思路就相當(dāng)于掌握了一套從數(shù)據(jù)清洗、特征工程、模型構(gòu)建到策略優(yōu)化的標(biāo)準(zhǔn)工作流。本文將基于這道賽題結(jié)合我多年在數(shù)據(jù)分析和供應(yīng)鏈領(lǐng)域的實(shí)戰(zhàn)經(jīng)驗(yàn)為你完整拆解從問題理解到代碼實(shí)現(xiàn)的每一個(gè)環(huán)節(jié)并提供大量在標(biāo)準(zhǔn)答案之外才會(huì)提及的“踩坑”心得和優(yōu)化技巧。我們的目標(biāo)不是復(fù)現(xiàn)一篇論文而是打造一個(gè)你未來可以隨時(shí)套用、調(diào)整的實(shí)戰(zhàn)工具箱。2. 核心問題拆解需求預(yù)測與庫存優(yōu)化的雙螺旋面對(duì)這樣一個(gè)綜合性問題第一步也是最重要的一步就是進(jìn)行清晰的問題拆解。我們不能一上來就埋頭搞算法必須先把業(yè)務(wù)邏輯理清楚。這道題可以看作兩個(gè)相互耦合的核心子問題它們像DNA雙螺旋一樣緊密交織。2.1 需求預(yù)測洞察未來的銷售脈搏需求預(yù)測是整個(gè)優(yōu)化體系的基石。預(yù)測不準(zhǔn)后續(xù)的所有庫存決策都是空中樓閣。題目通常會(huì)提供歷史銷售數(shù)據(jù)可能包含商品SKU、日期、銷售量、銷售額、是否有促銷活動(dòng)等信息。我們的目標(biāo)是建立一個(gè)模型能夠根據(jù)歷史規(guī)律預(yù)測未來一段時(shí)間比如接下來4-8周每個(gè)SKU的每周需求量。這里的關(guān)鍵在于理解影響需求的“特征”。除了時(shí)間序列本身趨勢、季節(jié)性我們必須深入業(yè)務(wù)層面尋找解釋變量時(shí)間特征這是基礎(chǔ)。包括年、月、周、日、是否為周末、節(jié)假日包括節(jié)前節(jié)后的影響期。對(duì)于電商而言“購物節(jié)”效應(yīng)如618、雙11必須單獨(dú)建模其銷量可能是平日的數(shù)十倍。商品特征商品類別、價(jià)格、生命周期是新品、成熟品還是清倉品。不同品類的銷售模式天差地別比如快消品和耐用消費(fèi)品。營銷特征是否有促銷活動(dòng)、促銷力度折扣率、廣告投放量。這是人為干預(yù)銷量最直接的因素。外部特征天氣尤其對(duì)服裝、飲品等品類、宏觀經(jīng)濟(jì)指數(shù)、競爭對(duì)手動(dòng)態(tài)等。這部分?jǐn)?shù)據(jù)可能需要額外獲取但價(jià)值巨大。注意很多新手會(huì)犯一個(gè)錯(cuò)誤——急于應(yīng)用復(fù)雜的LSTM、Transformer等深度學(xué)習(xí)模型。但在實(shí)際業(yè)務(wù)中尤其是在數(shù)據(jù)量并非極度龐大、且需要強(qiáng)解釋性的場景下梯度提升樹模型如XGBoost、LightGBM往往是更穩(wěn)健、更高效的首選。它們能很好地處理表格型數(shù)據(jù)、缺失值并給出特征重要性幫助我們理解到底是什么在驅(qū)動(dòng)銷量變化。2.2 庫存優(yōu)化在成本與服務(wù)的鋼絲上舞蹈有了需求預(yù)測我們進(jìn)入第二環(huán)節(jié)庫存優(yōu)化。這里的核心是建立一個(gè)成本模型并在滿足一定服務(wù)水平的前提下使其最小化。主要成本通常包括持有成本資金占用、倉儲(chǔ)費(fèi)、損耗、保險(xiǎn)費(fèi)等。通常表示為單位商品單位時(shí)間的持有費(fèi)用。訂貨成本每次下單產(chǎn)生固定費(fèi)用如物流、行政成本。缺貨成本因庫存不足導(dǎo)致銷售損失帶來的利潤損失以及可能產(chǎn)生的商譽(yù)損害。這部分最難量化但至關(guān)重要。庫存優(yōu)化的經(jīng)典策略是(s, S)策略或定期盤點(diǎn)(R, S)策略。對(duì)于本題更可能探討的是安全庫存的設(shè)置。安全庫存是為了應(yīng)對(duì)需求的不確定性預(yù)測誤差和供應(yīng)的不確定性提前期波動(dòng)而設(shè)置的緩沖庫存。其核心公式為安全庫存 Z * σ_L。 其中Z是基于目標(biāo)服務(wù)水平如95%從標(biāo)準(zhǔn)正態(tài)分布表中查得的系數(shù)服務(wù)水平95%對(duì)應(yīng)Z約1.65。σ_L是提前期內(nèi)的需求標(biāo)準(zhǔn)差。這里就體現(xiàn)了預(yù)測的重要性——σ_L的估算嚴(yán)重依賴于我們對(duì)需求波動(dòng)性即預(yù)測誤差分布的準(zhǔn)確衡量。實(shí)操心得在實(shí)際電商庫存管理中“服務(wù)水平”不是一個(gè)僵化的數(shù)字。對(duì)于高利潤、高影響力的核心SKU我們可能追求99%的服務(wù)水平對(duì)于低值、長尾商品95%甚至更低也可能是可接受的成本權(quán)衡。在建模時(shí)可以嘗試建立分層的服務(wù)水平策略為不同重要度的商品設(shè)置不同的Z值這樣能顯著降低整體庫存成本。3. 數(shù)據(jù)預(yù)處理與特征工程實(shí)戰(zhàn)拿到數(shù)據(jù)后80%的時(shí)間和價(jià)值在于預(yù)處理和特征工程。這一步做得好簡單的模型也能出好效果這一步做得差再復(fù)雜的模型也是徒勞。3.1 數(shù)據(jù)清洗識(shí)別并處理“臟數(shù)據(jù)”競賽提供的數(shù)據(jù)通常已相對(duì)規(guī)整但我們必須以實(shí)戰(zhàn)的嚴(yán)謹(jǐn)態(tài)度對(duì)待。缺失值處理對(duì)于銷售數(shù)據(jù)某天銷量為0不一定是缺失可能是真沒賣出。但如果是關(guān)鍵特征如價(jià)格缺失則需要根據(jù)業(yè)務(wù)判斷是向前/向后填充還是用同類商品均值填充或直接剔除該樣本。異常值檢測與處理促銷日的銷量暴增不是異常值而是需要建模的關(guān)鍵點(diǎn)。真正的異常值可能是數(shù)據(jù)錄入錯(cuò)誤如多寫一個(gè)零?？梢允褂肐QR四分位距法或3σ原則進(jìn)行統(tǒng)計(jì)識(shí)別但處理前務(wù)必結(jié)合業(yè)務(wù)邏輯判斷。對(duì)于明確的錯(cuò)誤應(yīng)予修正或剔除對(duì)于無法解釋的極端值穩(wěn)健的做法是將其縮尾處理而非直接刪除以避免損失信息。數(shù)據(jù)一致性檢查確保商品ID、類別等編碼唯一且一致時(shí)間格式統(tǒng)一。3.2 特征構(gòu)建打造模型的“營養(yǎng)餐”這是將原始數(shù)據(jù)轉(zhuǎn)化為模型可理解、可學(xué)習(xí)信息的關(guān)鍵步驟。我們圍繞需求預(yù)測構(gòu)建特征。1. 時(shí)間特征import pandas as pd # 假設(shè) df 有 ‘date’ 列 df[date] pd.to_datetime(df[date]) df[year] df[date].dt.year df[month] df[date].dt.month df[week_of_year] df[date].dt.isocalendar().week df[day_of_week] df[date].dt.dayofweek # 周一0 周日6 df[is_weekend] df[day_of_week].apply(lambda x: 1 if x 5 else 0) df[is_holiday] ... # 需要自定義節(jié)假日列表進(jìn)行標(biāo)記 df[days_to_major_sale] ... # 計(jì)算距離最近大促如雙11的天數(shù)這是一個(gè)強(qiáng)特征2. 滯后特征與滑動(dòng)窗口特征這是時(shí)間序列預(yù)測的核心。用過去的數(shù)據(jù)預(yù)測未來。for lag in [1, 7, 14, 21, 28]: # 滯后1天、1周、2周等 df[fsales_lag_{lag}] df.groupby(sku_id)[sales].shift(lag) for window in [7, 14, 30]: # 過去7天、14天、30天的均值/標(biāo)準(zhǔn)差 df[fsales_rollmean_{window}] df.groupby(sku_id)[sales].transform( lambda x: x.rolling(windowwindow, min_periods1).mean() ) df[fsales_rollstd_{window}] df.groupby(sku_id)[sales].transform( lambda x: x.rolling(windowwindow, min_periods1).std() )3. 統(tǒng)計(jì)特征商品級(jí)別的統(tǒng)計(jì)信息如歷史平均銷量、銷量中位數(shù)、變異系數(shù)標(biāo)準(zhǔn)差/均值衡量波動(dòng)性等。sku_stats df.groupby(sku_id)[sales].agg([mean, median, std, max, min]).reset_index() sku_stats.columns [sku_id, sku_mean_sales, sku_median_sales, sku_std_sales, sku_max_sales, sku_min_sales] df df.merge(sku_stats, onsku_id, howleft) df[sku_cv] df[sku_std_sales] / (df[sku_mean_sales] 1e-5) # 避免除零4. 交互特征例如“是否周末”與“是否有促銷”的交互項(xiàng)可能揭示周末促銷的額外效應(yīng)。踩坑提醒特征不是越多越好。過多的特征尤其是高度相關(guān)的特征會(huì)導(dǎo)致模型過擬合、訓(xùn)練慢、可解釋性變差。一定要進(jìn)行特征篩選?？梢允褂肔ightGBM/XGBoost訓(xùn)練后查看特征重要性剔除重要性極低的特征也可以計(jì)算特征之間的相關(guān)性矩陣剔除高度共線性的特征。在構(gòu)建滯后特征時(shí)需特別注意避免數(shù)據(jù)泄露——絕不能使用未來的信息來預(yù)測過去。4. 需求預(yù)測模型構(gòu)建與評(píng)估特征工程完成后我們進(jìn)入模型構(gòu)建階段。我將以一個(gè)基于LightGBM的回歸模型為例展示完整流程。4.1 模型選擇與訓(xùn)練為什么選LightGBM因?yàn)樗俣瓤?、精度高、能處理缺失值、自帶特征重要性評(píng)估且對(duì)異常值相對(duì)穩(wěn)健。import lightgbm as lgb from sklearn.model_selection import train_test_split from sklearn.metrics import mean_absolute_error, mean_squared_error # 1. 準(zhǔn)備數(shù)據(jù)假設(shè)X是特征DataFramey是目標(biāo)銷量或?qū)?shù)變換后的銷量 # 注意需要先劃分時(shí)間序列不能隨機(jī)shuffle。 # 假設(shè)數(shù)據(jù)按時(shí)間排序我們?nèi)∏?0%時(shí)間作為訓(xùn)練集后20%作為測試集。 split_point int(len(df) * 0.8) X_train, X_test X.iloc[:split_point], X.iloc[split_point:] y_train, y_test y.iloc[:split_point], y.iloc[split_point:] # 2. 創(chuàng)建并訓(xùn)練模型 lgb_train lgb.Dataset(X_train, y_train) lgb_eval lgb.Dataset(X_test, y_test, referencelgb_train) params { boosting_type: gbdt, objective: regression, # 回歸任務(wù) metric: {l2, l1}, # 評(píng)估指標(biāo)均方誤差和平均絕對(duì)誤差 num_leaves: 31, # 控制模型復(fù)雜度值越大越容易過擬合 learning_rate: 0.05, feature_fraction: 0.9, # 每次迭代隨機(jī)選擇90%的特征防止過擬合 bagging_fraction: 0.8, # 每次迭代隨機(jī)選擇80%的數(shù)據(jù)防止過擬合 bagging_freq: 5, verbose: 0, force_col_wise: True # 對(duì)于特征較多的情況可加速訓(xùn)練 } gbm lgb.train(params, lgb_train, num_boost_round1000, # 迭代輪數(shù) valid_setslgb_eval, callbacks[lgb.early_stopping(stopping_rounds50)]) # 早停法防止過擬合 # 3. 預(yù)測 y_pred gbm.predict(X_test, num_iterationgbm.best_iteration)4.2 預(yù)測結(jié)果評(píng)估與誤差分析預(yù)測不能只看一個(gè)總的MAE或RMSE必須進(jìn)行深入的誤差分析。import numpy as np import matplotlib.pyplot as plt # 計(jì)算誤差指標(biāo) mae mean_absolute_error(y_test, y_pred) rmse np.sqrt(mean_squared_error(y_test, y_pred)) mape np.mean(np.abs((y_test - y_pred) / (y_test 1e-5))) * 100 # 平均絕對(duì)百分比誤差 print(fMAE: {mae:.2f}) print(fRMSE: {rmse:.2f}) print(fMAPE: {mape:.2f}%) # 誤差分析1按商品類別分析 test_df X_test.copy() test_df[true_sales] y_test.values test_df[pred_sales] y_pred test_df[abs_error] np.abs(test_df[true_sales] - test_df[pred_sales]) error_by_category test_df.groupby(category)[abs_error].mean().sort_values(ascendingFalse) print(各品類平均絕對(duì)誤差) print(error_by_category.head(10)) # 查看誤差最大的品類 # 誤差分析2按銷量水平分析 test_df[sales_level] pd.qcut(test_df[true_sales], q5, labels[很低,低,中,高,很高]) error_by_level test_df.groupby(sales_level)[abs_error].mean() print(\n不同銷量水平的平均絕對(duì)誤差) print(error_by_level) # 誤差分析3可視化預(yù)測 vs 實(shí)際 plt.figure(figsize(12,6)) plt.plot(test_df[true_sales].values[:100], labelTrue, alpha0.7) plt.plot(test_df[pred_sales].values[:100], labelPredicted, alpha0.7) plt.legend() plt.title(Sample of Predictions vs True Values) plt.xlabel(Time Index) plt.ylabel(Sales) plt.show()關(guān)鍵點(diǎn)解讀MAPE的陷阱當(dāng)真實(shí)值很小時(shí)MAPE會(huì)異常放大失去參考意義。對(duì)于存在零值或接近零值的數(shù)據(jù)建議使用對(duì)稱平均絕對(duì)百分比誤差sMAPE或關(guān)注MAE/RMSE。誤差分析的價(jià)值它告訴我們模型在哪里表現(xiàn)不好。是長尾商品預(yù)測不準(zhǔn)還是促銷日的峰值抓不住或者是新品冷啟動(dòng)問題針對(duì)不同的問題需要不同的優(yōu)化策略。例如對(duì)于促銷日預(yù)測不準(zhǔn)可以嘗試將促銷數(shù)據(jù)單獨(dú)建?；蛞敫鼜?fù)雜的促銷衰減效應(yīng)特征。4.3 模型集成與序列預(yù)測對(duì)于重要商品或預(yù)測難度大的場景可以嘗試模型集成如將LightGBM、XGBoost和線性回歸的結(jié)果加權(quán)平均。對(duì)于明顯具有自相關(guān)性的純時(shí)間序列可以先用Prophet或ARIMA捕捉趨勢和季節(jié)項(xiàng)將其殘差再用LightGBM進(jìn)行建模捕捉其他特征的影響這是一種有效的混合模型思路。個(gè)人經(jīng)驗(yàn)在電商需求預(yù)測中分層次、分顆粒度建模往往比一個(gè)“大而全”的模型效果更好。例如先預(yù)測品類總銷量再按歷史占比分解到SKU或?qū)充N品、普通品、滯銷品分別建立不同的模型采用不同的特征集和參數(shù)。這更符合業(yè)務(wù)管理邏輯也更容易控制誤差。5. 庫存優(yōu)化模型建立與求解獲得未來周期的需求預(yù)測均值μ和標(biāo)準(zhǔn)差σ后我們進(jìn)入庫存優(yōu)化環(huán)節(jié)。這里我們聚焦于經(jīng)典的周期盤點(diǎn)庫存模型并考慮安全庫存。5.1 確定成本參數(shù)與服務(wù)目標(biāo)首先我們需要與業(yè)務(wù)方在比賽中則是根據(jù)題目假設(shè)確定幾個(gè)核心參數(shù)h: 單位產(chǎn)品單位時(shí)間的持有成本元/件/天。K: 每次訂貨的固定成本元/次。p: 單位產(chǎn)品的缺貨損失成本元/件。這通常大于產(chǎn)品毛利因?yàn)樗死麧檽p失和商譽(yù)損失。L: 訂貨提前期天即從下單到貨物入庫的時(shí)間。Service Level (SL): 目標(biāo)服務(wù)水平如95%表示一個(gè)補(bǔ)貨周期內(nèi)需求被滿足的概率。5.2 計(jì)算經(jīng)濟(jì)訂貨批量與再訂貨點(diǎn)對(duì)于需求相對(duì)穩(wěn)定、采用連續(xù)盤點(diǎn)或定期盤點(diǎn)的場景經(jīng)濟(jì)訂貨批量模型仍有指導(dǎo)意義。經(jīng)濟(jì)訂貨批量EOQ sqrt( (2 * D * K) / h )其中D是年預(yù)測總需求。這個(gè)公式給出了在理想條件下總成本最低的每次訂貨量。但在需求波動(dòng)大的電商環(huán)境EOQ更多是參考。再訂貨點(diǎn)這是庫存優(yōu)化的核心。ROP 提前期內(nèi)的平均需求 安全庫存。提前期內(nèi)平均需求 L * μμ為日預(yù)測需求均值。安全庫存 Z * σ_L。σ_L是提前期L內(nèi)的需求標(biāo)準(zhǔn)差。如果日需求獨(dú)立同分布則σ_L σ_daily * sqrt(L)。其中σ_daily可以從預(yù)測模型的誤差分布中估算。關(guān)鍵計(jì)算示例 假設(shè)我們預(yù)測某個(gè)SKU未來日需求均值μ100件日需求標(biāo)準(zhǔn)差σ20件。提前期L7天目標(biāo)服務(wù)水平95%對(duì)應(yīng)Z1.65。提前期內(nèi)平均需求 100 * 7 700件。提前期內(nèi)需求標(biāo)準(zhǔn)差 σ_L 20 * sqrt(7) ≈ 52.9件。安全庫存 1.65 * 52.9 ≈ 87.3件。再訂貨點(diǎn) ROP 700 87.3 ≈ 787.3件向上取整為788件。這意味著當(dāng)庫存水平下降到788件時(shí)就應(yīng)該立即啟動(dòng)補(bǔ)貨流程訂購一定數(shù)量如EOQ或根據(jù)未來周期需求計(jì)算出的量的貨物以期在庫存耗盡前新貨能送達(dá)。5.3 模擬仿真與策略評(píng)估紙上計(jì)算終覺淺絕知此事要“仿真”。建立成本模型后最好的驗(yàn)證方法是用歷史數(shù)據(jù)或模擬需求數(shù)據(jù)進(jìn)行滾動(dòng)仿真。import numpy as np def inventory_simulation(demands, lead_time, initial_inventory, reorder_point, order_quantity, h, K, p): 模擬一個(gè)庫存策略的執(zhí)行過程。 :param demands: 列表每日實(shí)際需求 :param lead_time: 提前期天 :param initial_inventory: 期初庫存 :param reorder_point: 再訂貨點(diǎn) :param order_quantity: 固定訂貨量 :param h: 單位持有成本 :param K: 單次訂貨成本 :param p: 單位缺貨成本 :return: 總成本平均庫存水平缺貨次數(shù) inventory initial_inventory on_order 0 # 在途庫存 order_arrival_day [] # 記錄在途訂單的到達(dá)日期和數(shù)量 total_holding_cost 0 total_ordering_cost 0 total_shortage_cost 0 daily_inventory [] for day, demand in enumerate(demands): # 1. 接收在途訂單如果今天有到貨 arrivals [q for d, q in order_arrival_day if d day] if arrivals: inventory sum(arrivals) order_arrival_day [(d, q) for d, q in order_arrival_day if d ! day] # 2. 滿足當(dāng)日需求 if inventory demand: inventory - demand shortage 0 else: shortage demand - inventory inventory 0 # 全部售罄 total_shortage_cost shortage * p # 3. 計(jì)算當(dāng)日持有成本基于當(dāng)日結(jié)束時(shí)的庫存 total_holding_cost inventory * h daily_inventory.append(inventory) # 4. 檢查是否需要訂貨假設(shè)每日盤點(diǎn)一次 if inventory on_order reorder_point: # 發(fā)出訂單 total_ordering_cost K on_order order_quantity order_arrival_day.append((day lead_time, order_quantity)) total_cost total_holding_cost total_ordering_cost total_shortage_cost avg_inventory np.mean(daily_inventory) service_level 1 - (sum([1 for d in demands if d 0]) - sum([1 for i in daily_inventory if i 0])) / sum([1 for d in demands if d 0]) # 簡化計(jì)算 return total_cost, avg_inventory, service_level # 使用預(yù)測的需求和實(shí)際需求或模擬需求進(jìn)行仿真 simulated_demands np.random.normal(loc100, scale20, size365) # 模擬一年需求 simulated_demands np.maximum(simulated_demands, 0).astype(int) # 需求非負(fù) total_cost, avg_inv, sl inventory_simulation( demandssimulated_demands, lead_time7, initial_inventory800, reorder_point788, # 我們之前計(jì)算的ROP order_quantity500, # 假設(shè)的訂貨量 h0.1, # 每件每天0.1元 K50, # 每次訂貨50元 p20 # 每缺貨一件損失20元含利潤 ) print(f仿真總成本{total_cost:.2f}元平均庫存{avg_inv:.2f}件服務(wù)水平{sl:.2%})通過調(diào)整reorder_point和order_quantity運(yùn)行多次仿真我們可以找到使總成本最小化的參數(shù)組合。這就是仿真優(yōu)化的思路。核心技巧安全庫存公式Z * σ_L中的σ_L強(qiáng)烈建議使用預(yù)測誤差的標(biāo)準(zhǔn)差而非歷史需求的標(biāo)準(zhǔn)差。因?yàn)榘踩珟齑媸菫榱藨?yīng)對(duì)“預(yù)測不準(zhǔn)”而不是需求本身的波動(dòng)。你可以用訓(xùn)練好的模型在驗(yàn)證集上做預(yù)測計(jì)算預(yù)測值與真實(shí)值的誤差然后分析這些誤差在提前期L內(nèi)的分布和標(biāo)準(zhǔn)差。這樣計(jì)算出的安全庫存更具魯棒性。6. 完整建模流程串聯(lián)與代碼框架將以上步驟串聯(lián)起來形成一個(gè)端到端的解決方案。以下是核心流程的偽代碼框架# 1. 數(shù)據(jù)加載與探索 data pd.read_csv(sales_data.csv) print(data.info()) print(data.describe()) # 可視化銷量時(shí)間序列、分布、與促銷的關(guān)系等 # 2. 數(shù)據(jù)預(yù)處理與特征工程 df_clean data_cleaning(data) df_featured feature_engineering(df_clean) # 3. 劃分訓(xùn)練集與測試集按時(shí)間順序 X df_featured.drop(columns[sales, date, sku_id]) # 特征 y df_featured[sales] # 目標(biāo) # 時(shí)間序列劃分 X_train, X_test, y_train, y_test time_based_split(X, y, split_ratio0.8) # 4. 訓(xùn)練需求預(yù)測模型 model train_lgb_model(X_train, y_train, X_test, y_test) # 評(píng)估模型 evaluate_model(model, X_test, y_test) # 分析特征重要性 plot_feature_importance(model) # 5. 對(duì)未來周期進(jìn)行預(yù)測 future_features generate_future_features(last_date, future_periods) # 生成未來時(shí)間的特征 future_demand_mean model.predict(future_features) # 預(yù)測未來需求均值 future_demand_std estimate_forecast_error(model, X_test, y_test) # 估算預(yù)測誤差標(biāo)準(zhǔn)差 # 6. 庫存優(yōu)化計(jì)算 holding_cost 0.1 ordering_cost 50 shortage_cost 20 lead_time 7 service_level 0.95 # 計(jì)算每個(gè)SKU的再訂貨點(diǎn)和建議訂貨量 inventory_policy_df calculate_inventory_policy( future_demand_mean, future_demand_std, lead_time, service_level, holding_cost, ordering_cost ) # inventory_policy_df 包含 columns: [sku_id, reorder_point, order_quantity, safety_stock] # 7. 可選策略仿真與驗(yàn)證 simulation_results run_inventory_simulation( historical_demands, # 可用測試集數(shù)據(jù)或生成數(shù)據(jù) inventory_policy_df, lead_time, holding_cost, ordering_cost, shortage_cost ) print(simulation_results[[total_cost, service_level_achieved]])7. 參賽進(jìn)階思路與常見問題排雷如果你是為MathorCup或類似比賽準(zhǔn)備除了上述標(biāo)準(zhǔn)流程以下幾點(diǎn)能讓你脫穎而出1. 考慮現(xiàn)實(shí)約束倉儲(chǔ)容量限制總庫存不能超過倉庫容量。這需要在優(yōu)化模型中添加約束條件可能用到線性/整數(shù)規(guī)劃。資金約束采購總金額有限制。供應(yīng)商最小起訂量訂貨量必須是MOQ的整數(shù)倍。多級(jí)庫存考慮中央倉、區(qū)域倉、前置倉的多級(jí)補(bǔ)貨策略。2. 需求預(yù)測的進(jìn)階處理新品/冷啟動(dòng)問題對(duì)于沒有歷史數(shù)據(jù)的新品可以采用相似品類的銷售模式、市場調(diào)研數(shù)據(jù)、或基于商品屬性的回歸模型進(jìn)行預(yù)測。促銷峰值的后效應(yīng)大促后常伴隨銷量低谷需求前置需要在特征中體現(xiàn)。不確定性量化不僅預(yù)測需求的均值還預(yù)測其概率分布如分位數(shù)回歸為魯棒的庫存決策提供更多信息。3. 庫存模型的優(yōu)化求解對(duì)于更復(fù)雜的策略如(s, S)或帶有多種約束的模型解析解可能難以求得。此時(shí)可以借助優(yōu)化庫進(jìn)行求解。from scipy.optimize import minimize def total_cost_function(params, demand_mean, demand_std, lead_time, h, K, p, service_level_target): 定義總成本函數(shù)用于優(yōu)化求解s和S s, S params # s是再訂貨點(diǎn)S是最大庫存水平 # 此處需要嵌入一個(gè)庫存成本仿真函數(shù)來計(jì)算給定(s,S)下的期望總成本 # 可以使用公式近似也可以用小規(guī)模蒙特卡洛模擬 expected_cost ... # 可以添加懲罰項(xiàng)如果服務(wù)水平不達(dá)標(biāo) service_level_actual ... penalty 1000 * max(0, service_level_target - service_level_actual) # 懲罰系數(shù) return expected_cost penalty # 初始猜測和邊界 initial_guess [100, 300] bounds [(0, 500), (200, 1000)] # s和S的邊界 result minimize(total_cost_function, initial_guess, args(demand_mean, demand_std, lead_time, h, K, p, 0.95), boundsbounds, methodL-BFGS-B) optimal_s, optimal_S result.x4. 論文寫作與可視化問題重述要清晰用自己的話提煉問題本質(zhì)。模型假設(shè)要合理且明確說明在什么條件下你的模型成立。求解過程要詳細(xì)特別是關(guān)鍵公式的推導(dǎo)和解釋。結(jié)果分析要深入不僅展示數(shù)字還要解釋為什么這個(gè)結(jié)果好/不好反映了什么業(yè)務(wù)洞察。靈敏度分析是亮點(diǎn)分析關(guān)鍵參數(shù)如持有成本、缺貨成本、提前期變化對(duì)最優(yōu)策略和總成本的影響。這能體現(xiàn)你對(duì)模型魯棒性的思考?？梢暬獙I(yè)使用清晰的圖表展示銷量預(yù)測效果、庫存水平變化、成本構(gòu)成、靈敏度分析結(jié)果等。避免花哨但無意義的圖表。常見問題排雷表問題現(xiàn)象可能原因排查與解決思路預(yù)測誤差極大尤其是峰值未識(shí)別或處理好促銷、節(jié)假日等特殊事件構(gòu)建專門的節(jié)日/促銷標(biāo)志特征或?qū)μ厥馊掌跇颖締为?dú)加權(quán)訓(xùn)練。模型在訓(xùn)練集表現(xiàn)好測試集差過擬合特征過多、模型過于復(fù)雜、或存在數(shù)據(jù)泄露1. 進(jìn)行特征篩選。2. 增加正則化參數(shù)如num_leaves調(diào)小min_data_in_leaf調(diào)大。3. 嚴(yán)格檢查時(shí)間序列劃分確保沒有未來信息混入訓(xùn)練集。安全庫存計(jì)算后缺貨依然頻繁1. 預(yù)測誤差標(biāo)準(zhǔn)差低估。2. 提前期不穩(wěn)定。3. 需求分布非正態(tài)。1. 使用更保守的Z值如對(duì)應(yīng)更高服務(wù)水平。2. 考慮提前期波動(dòng)σ_L sqrt(L * σ_demand^2 μ_demand^2 * σ_leadtime^2)。3. 使用更穩(wěn)健的誤差估計(jì)方法如Bootstrapping。庫存周轉(zhuǎn)率過低持有成本高安全庫存設(shè)置過高或訂貨批量EOQ過大。1. 重新評(píng)估服務(wù)水平目標(biāo)是否過高。2. 考慮采用更頻繁的小批量補(bǔ)貨但會(huì)增加訂貨成本K。3. 實(shí)施ABC分類對(duì)A類商品精細(xì)管理C類商品采用簡單策略。求解速度慢無法得到最優(yōu)解模型過于復(fù)雜或仿真次數(shù)太多。1. 對(duì)于復(fù)雜模型先嘗試簡化如忽略次要約束。2. 使用啟發(fā)式算法如遺傳算法、模擬退火替代精確求解。3. 減少蒙特卡洛仿真的迭代次數(shù)或使用方差縮減技術(shù)。這道賽題是一個(gè)完美的橋梁連接了數(shù)據(jù)科學(xué)理論與供應(yīng)鏈管理實(shí)踐。從數(shù)據(jù)清洗到特征工程從機(jī)器學(xué)習(xí)建模到運(yùn)籌優(yōu)化最后通過仿真驗(yàn)證它完整地再現(xiàn)了一個(gè)數(shù)據(jù)驅(qū)動(dòng)決策的閉環(huán)。真正掌握它意味著你不僅擁有解決一道賽題的能力更擁有了應(yīng)對(duì)現(xiàn)實(shí)世界中不確定性挑戰(zhàn)的一套核心方法論。在實(shí)際工作中這些模型和參數(shù)需要與業(yè)務(wù)系統(tǒng)持續(xù)集成并隨著市場變化而不斷迭代更新。記住沒有一勞永逸的預(yù)測也沒有放之四海而皆準(zhǔn)的庫存策略唯有持續(xù)學(xué)習(xí)、持續(xù)優(yōu)化才能在動(dòng)態(tài)的商業(yè)環(huán)境中保持競爭力。 電商需求預(yù)測與庫存優(yōu)化：從LightGBM建模到安全庫存策略實(shí)戰(zhàn)
1. 項(xiàng)目概述從一道賽題到一套完整的供應(yīng)鏈優(yōu)化方案如果你關(guān)注過近幾年的數(shù)學(xué)建模競賽尤其是像MathorCup、國賽這類含金量高的比賽會(huì)發(fā)現(xiàn)一個(gè)明顯的趨勢賽題越來越“接地氣”越來越貼近真實(shí)的產(chǎn)業(yè)痛點(diǎn)。2023年MathorCup大數(shù)據(jù)挑戰(zhàn)賽的B題——“電商零售商家需求預(yù)測及庫存優(yōu)化問題”就是一個(gè)絕佳的例子。它不再是一個(gè)純粹的、理想化的數(shù)學(xué)問題而是將我們直接拋入了一個(gè)電商運(yùn)營者每天都要面對(duì)的、充滿不確定性的現(xiàn)實(shí)戰(zhàn)場如何根據(jù)歷史銷售數(shù)據(jù)精準(zhǔn)預(yù)測未來需求并以此為依據(jù)制定最優(yōu)的庫存策略從而在避免缺貨損失和減少庫存積壓之間找到那個(gè)微妙的平衡點(diǎn)這道題的價(jià)值遠(yuǎn)不止于贏得比賽。它本質(zhì)上是一套完整的、數(shù)據(jù)驅(qū)動(dòng)的供應(yīng)鏈管理核心方法論。對(duì)于電商從業(yè)者、供應(yīng)鏈分析師、數(shù)據(jù)科學(xué)入門者甚至是相關(guān)專業(yè)的學(xué)生來說深入理解并實(shí)踐這道題的解題思路就相當(dāng)于掌握了一套從數(shù)據(jù)清洗、特征工程、模型構(gòu)建到策略優(yōu)化的標(biāo)準(zhǔn)工作流。本文將基于這道賽題結(jié)合我多年在數(shù)據(jù)分析和供應(yīng)鏈領(lǐng)域的實(shí)戰(zhàn)經(jīng)驗(yàn)為你完整拆解從問題理解到代碼實(shí)現(xiàn)的每一個(gè)環(huán)節(jié)并提供大量在標(biāo)準(zhǔn)答案之外才會(huì)提及的“踩坑”心得和優(yōu)化技巧。我們的目標(biāo)不是復(fù)現(xiàn)一篇論文而是打造一個(gè)你未來可以隨時(shí)套用、調(diào)整的實(shí)戰(zhàn)工具箱。2. 核心問題拆解需求預(yù)測與庫存優(yōu)化的雙螺旋面對(duì)這樣一個(gè)綜合性問題第一步也是最重要的一步就是進(jìn)行清晰的問題拆解。我們不能一上來就埋頭搞算法必須先把業(yè)務(wù)邏輯理清楚。這道題可以看作兩個(gè)相互耦合的核心子問題它們像DNA雙螺旋一樣緊密交織。2.1 需求預(yù)測洞察未來的銷售脈搏需求預(yù)測是整個(gè)優(yōu)化體系的基石。預(yù)測不準(zhǔn)后續(xù)的所有庫存決策都是空中樓閣。題目通常會(huì)提供歷史銷售數(shù)據(jù)可能包含商品SKU、日期、銷售量、銷售額、是否有促銷活動(dòng)等信息。我們的目標(biāo)是建立一個(gè)模型能夠根據(jù)歷史規(guī)律預(yù)測未來一段時(shí)間比如接下來4-8周每個(gè)SKU的每周需求量。這里的關(guān)鍵在于理解影響需求的“特征”。除了時(shí)間序列本身趨勢、季節(jié)性我們必須深入業(yè)務(wù)層面尋找解釋變量時(shí)間特征這是基礎(chǔ)。包括年、月、周、日、是否為周末、節(jié)假日包括節(jié)前節(jié)后的影響期。對(duì)于電商而言“購物節(jié)”效應(yīng)如618、雙11必須單獨(dú)建模其銷量可能是平日的數(shù)十倍。商品特征商品類別、價(jià)格、生命周期是新品、成熟品還是清倉品。不同品類的銷售模式天差地別比如快消品和耐用消費(fèi)品。營銷特征是否有促銷活動(dòng)、促銷力度折扣率、廣告投放量。這是人為干預(yù)銷量最直接的因素。外部特征天氣尤其對(duì)服裝、飲品等品類、宏觀經(jīng)濟(jì)指數(shù)、競爭對(duì)手動(dòng)態(tài)等。這部分?jǐn)?shù)據(jù)可能需要額外獲取但價(jià)值巨大。注意很多新手會(huì)犯一個(gè)錯(cuò)誤——急于應(yīng)用復(fù)雜的LSTM、Transformer等深度學(xué)習(xí)模型。但在實(shí)際業(yè)務(wù)中尤其是在數(shù)據(jù)量并非極度龐大、且需要強(qiáng)解釋性的場景下梯度提升樹模型如XGBoost、LightGBM往往是更穩(wěn)健、更高效的首選。它們能很好地處理表格型數(shù)據(jù)、缺失值并給出特征重要性幫助我們理解到底是什么在驅(qū)動(dòng)銷量變化。2.2 庫存優(yōu)化在成本與服務(wù)的鋼絲上舞蹈有了需求預(yù)測我們進(jìn)入第二環(huán)節(jié)庫存優(yōu)化。這里的核心是建立一個(gè)成本模型并在滿足一定服務(wù)水平的前提下使其最小化。主要成本通常包括持有成本資金占用、倉儲(chǔ)費(fèi)、損耗、保險(xiǎn)費(fèi)等。通常表示為單位商品單位時(shí)間的持有費(fèi)用。訂貨成本每次下單產(chǎn)生固定費(fèi)用如物流、行政成本。缺貨成本因庫存不足導(dǎo)致銷售損失帶來的利潤損失以及可能產(chǎn)生的商譽(yù)損害。這部分最難量化但至關(guān)重要。庫存優(yōu)化的經(jīng)典策略是(s, S)策略或定期盤點(diǎn)(R, S)策略。對(duì)于本題更可能探討的是安全庫存的設(shè)置。安全庫存是為了應(yīng)對(duì)需求的不確定性預(yù)測誤差和供應(yīng)的不確定性提前期波動(dòng)而設(shè)置的緩沖庫存。其核心公式為安全庫存 Z * σ_L。 其中Z是基于目標(biāo)服務(wù)水平如95%從標(biāo)準(zhǔn)正態(tài)分布表中查得的系數(shù)服務(wù)水平95%對(duì)應(yīng)Z約1.65。σ_L是提前期內(nèi)的需求標(biāo)準(zhǔn)差。這里就體現(xiàn)了預(yù)測的重要性——σ_L的估算嚴(yán)重依賴于我們對(duì)需求波動(dòng)性即預(yù)測誤差分布的準(zhǔn)確衡量。實(shí)操心得在實(shí)際電商庫存管理中“服務(wù)水平”不是一個(gè)僵化的數(shù)字。對(duì)于高利潤、高影響力的核心SKU我們可能追求99%的服務(wù)水平對(duì)于低值、長尾商品95%甚至更低也可能是可接受的成本權(quán)衡。在建模時(shí)可以嘗試建立分層的服務(wù)水平策略為不同重要度的商品設(shè)置不同的Z值這樣能顯著降低整體庫存成本。3. 數(shù)據(jù)預(yù)處理與特征工程實(shí)戰(zhàn)拿到數(shù)據(jù)后80%的時(shí)間和價(jià)值在于預(yù)處理和特征工程。這一步做得好簡單的模型也能出好效果這一步做得差再復(fù)雜的模型也是徒勞。3.1 數(shù)據(jù)清洗識(shí)別并處理“臟數(shù)據(jù)”競賽提供的數(shù)據(jù)通常已相對(duì)規(guī)整但我們必須以實(shí)戰(zhàn)的嚴(yán)謹(jǐn)態(tài)度對(duì)待。缺失值處理對(duì)于銷售數(shù)據(jù)某天銷量為0不一定是缺失可能是真沒賣出。但如果是關(guān)鍵特征如價(jià)格缺失則需要根據(jù)業(yè)務(wù)判斷是向前/向后填充還是用同類商品均值填充或直接剔除該樣本。異常值檢測與處理促銷日的銷量暴增不是異常值而是需要建模的關(guān)鍵點(diǎn)。真正的異常值可能是數(shù)據(jù)錄入錯(cuò)誤如多寫一個(gè)零?？梢允褂肐QR四分位距法或3σ原則進(jìn)行統(tǒng)計(jì)識(shí)別但處理前務(wù)必結(jié)合業(yè)務(wù)邏輯判斷。對(duì)于明確的錯(cuò)誤應(yīng)予修正或剔除對(duì)于無法解釋的極端值穩(wěn)健的做法是將其縮尾處理而非直接刪除以避免損失信息。數(shù)據(jù)一致性檢查確保商品ID、類別等編碼唯一且一致時(shí)間格式統(tǒng)一。3.2 特征構(gòu)建打造模型的“營養(yǎng)餐”這是將原始數(shù)據(jù)轉(zhuǎn)化為模型可理解、可學(xué)習(xí)信息的關(guān)鍵步驟。我們圍繞需求預(yù)測構(gòu)建特征。1. 時(shí)間特征import pandas as pd # 假設(shè) df 有 ‘date’ 列 df[date] pd.to_datetime(df[date]) df[year] df[date].dt.year df[month] df[date].dt.month df[week_of_year] df[date].dt.isocalendar().week df[day_of_week] df[date].dt.dayofweek # 周一0 周日6 df[is_weekend] df[day_of_week].apply(lambda x: 1 if x 5 else 0) df[is_holiday] ... # 需要自定義節(jié)假日列表進(jìn)行標(biāo)記 df[days_to_major_sale] ... # 計(jì)算距離最近大促如雙11的天數(shù)這是一個(gè)強(qiáng)特征2. 滯后特征與滑動(dòng)窗口特征這是時(shí)間序列預(yù)測的核心。用過去的數(shù)據(jù)預(yù)測未來。for lag in [1, 7, 14, 21, 28]: # 滯后1天、1周、2周等 df[fsales_lag_{lag}] df.groupby(sku_id)[sales].shift(lag) for window in [7, 14, 30]: # 過去7天、14天、30天的均值/標(biāo)準(zhǔn)差 df[fsales_rollmean_{window}] df.groupby(sku_id)[sales].transform( lambda x: x.rolling(windowwindow, min_periods1).mean() ) df[fsales_rollstd_{window}] df.groupby(sku_id)[sales].transform( lambda x: x.rolling(windowwindow, min_periods1).std() )3. 統(tǒng)計(jì)特征商品級(jí)別的統(tǒng)計(jì)信息如歷史平均銷量、銷量中位數(shù)、變異系數(shù)標(biāo)準(zhǔn)差/均值衡量波動(dòng)性等。sku_stats df.groupby(sku_id)[sales].agg([mean, median, std, max, min]).reset_index() sku_stats.columns [sku_id, sku_mean_sales, sku_median_sales, sku_std_sales, sku_max_sales, sku_min_sales] df df.merge(sku_stats, onsku_id, howleft) df[sku_cv] df[sku_std_sales] / (df[sku_mean_sales] 1e-5) # 避免除零4. 交互特征例如“是否周末”與“是否有促銷”的交互項(xiàng)可能揭示周末促銷的額外效應(yīng)。踩坑提醒特征不是越多越好。過多的特征尤其是高度相關(guān)的特征會(huì)導(dǎo)致模型過擬合、訓(xùn)練慢、可解釋性變差。一定要進(jìn)行特征篩選?？梢允褂肔ightGBM/XGBoost訓(xùn)練后查看特征重要性剔除重要性極低的特征也可以計(jì)算特征之間的相關(guān)性矩陣剔除高度共線性的特征。在構(gòu)建滯后特征時(shí)需特別注意避免數(shù)據(jù)泄露——絕不能使用未來的信息來預(yù)測過去。4. 需求預(yù)測模型構(gòu)建與評(píng)估特征工程完成后我們進(jìn)入模型構(gòu)建階段。我將以一個(gè)基于LightGBM的回歸模型為例展示完整流程。4.1 模型選擇與訓(xùn)練為什么選LightGBM因?yàn)樗俣瓤?、精度高、能處理缺失值、自帶特征重要性評(píng)估且對(duì)異常值相對(duì)穩(wěn)健。import lightgbm as lgb from sklearn.model_selection import train_test_split from sklearn.metrics import mean_absolute_error, mean_squared_error # 1. 準(zhǔn)備數(shù)據(jù)假設(shè)X是特征DataFramey是目標(biāo)銷量或?qū)?shù)變換后的銷量 # 注意需要先劃分時(shí)間序列不能隨機(jī)shuffle。 # 假設(shè)數(shù)據(jù)按時(shí)間排序我們?nèi)∏?0%時(shí)間作為訓(xùn)練集后20%作為測試集。 split_point int(len(df) * 0.8) X_train, X_test X.iloc[:split_point], X.iloc[split_point:] y_train, y_test y.iloc[:split_point], y.iloc[split_point:] # 2. 創(chuàng)建并訓(xùn)練模型 lgb_train lgb.Dataset(X_train, y_train) lgb_eval lgb.Dataset(X_test, y_test, referencelgb_train) params { boosting_type: gbdt, objective: regression, # 回歸任務(wù) metric: {l2, l1}, # 評(píng)估指標(biāo)均方誤差和平均絕對(duì)誤差 num_leaves: 31, # 控制模型復(fù)雜度值越大越容易過擬合 learning_rate: 0.05, feature_fraction: 0.9, # 每次迭代隨機(jī)選擇90%的特征防止過擬合 bagging_fraction: 0.8, # 每次迭代隨機(jī)選擇80%的數(shù)據(jù)防止過擬合 bagging_freq: 5, verbose: 0, force_col_wise: True # 對(duì)于特征較多的情況可加速訓(xùn)練 } gbm lgb.train(params, lgb_train, num_boost_round1000, # 迭代輪數(shù) valid_setslgb_eval, callbacks[lgb.early_stopping(stopping_rounds50)]) # 早停法防止過擬合 # 3. 預(yù)測 y_pred gbm.predict(X_test, num_iterationgbm.best_iteration)4.2 預(yù)測結(jié)果評(píng)估與誤差分析預(yù)測不能只看一個(gè)總的MAE或RMSE必須進(jìn)行深入的誤差分析。import numpy as np import matplotlib.pyplot as plt # 計(jì)算誤差指標(biāo) mae mean_absolute_error(y_test, y_pred) rmse np.sqrt(mean_squared_error(y_test, y_pred)) mape np.mean(np.abs((y_test - y_pred) / (y_test 1e-5))) * 100 # 平均絕對(duì)百分比誤差 print(fMAE: {mae:.2f}) print(fRMSE: {rmse:.2f}) print(fMAPE: {mape:.2f}%) # 誤差分析1按商品類別分析 test_df X_test.copy() test_df[true_sales] y_test.values test_df[pred_sales] y_pred test_df[abs_error] np.abs(test_df[true_sales] - test_df[pred_sales]) error_by_category test_df.groupby(category)[abs_error].mean().sort_values(ascendingFalse) print(各品類平均絕對(duì)誤差) print(error_by_category.head(10)) # 查看誤差最大的品類 # 誤差分析2按銷量水平分析 test_df[sales_level] pd.qcut(test_df[true_sales], q5, labels[很低,低,中,高,很高]) error_by_level test_df.groupby(sales_level)[abs_error].mean() print(\n不同銷量水平的平均絕對(duì)誤差) print(error_by_level) # 誤差分析3可視化預(yù)測 vs 實(shí)際 plt.figure(figsize(12,6)) plt.plot(test_df[true_sales].values[:100], labelTrue, alpha0.7) plt.plot(test_df[pred_sales].values[:100], labelPredicted, alpha0.7) plt.legend() plt.title(Sample of Predictions vs True Values) plt.xlabel(Time Index) plt.ylabel(Sales) plt.show()關(guān)鍵點(diǎn)解讀MAPE的陷阱當(dāng)真實(shí)值很小時(shí)MAPE會(huì)異常放大失去參考意義。對(duì)于存在零值或接近零值的數(shù)據(jù)建議使用對(duì)稱平均絕對(duì)百分比誤差sMAPE或關(guān)注MAE/RMSE。誤差分析的價(jià)值它告訴我們模型在哪里表現(xiàn)不好。是長尾商品預(yù)測不準(zhǔn)還是促銷日的峰值抓不住或者是新品冷啟動(dòng)問題針對(duì)不同的問題需要不同的優(yōu)化策略。例如對(duì)于促銷日預(yù)測不準(zhǔn)可以嘗試將促銷數(shù)據(jù)單獨(dú)建?；蛞敫鼜?fù)雜的促銷衰減效應(yīng)特征。4.3 模型集成與序列預(yù)測對(duì)于重要商品或預(yù)測難度大的場景可以嘗試模型集成如將LightGBM、XGBoost和線性回歸的結(jié)果加權(quán)平均。對(duì)于明顯具有自相關(guān)性的純時(shí)間序列可以先用Prophet或ARIMA捕捉趨勢和季節(jié)項(xiàng)將其殘差再用LightGBM進(jìn)行建模捕捉其他特征的影響這是一種有效的混合模型思路。個(gè)人經(jīng)驗(yàn)在電商需求預(yù)測中分層次、分顆粒度建模往往比一個(gè)“大而全”的模型效果更好。例如先預(yù)測品類總銷量再按歷史占比分解到SKU或?qū)充N品、普通品、滯銷品分別建立不同的模型采用不同的特征集和參數(shù)。這更符合業(yè)務(wù)管理邏輯也更容易控制誤差。5. 庫存優(yōu)化模型建立與求解獲得未來周期的需求預(yù)測均值μ和標(biāo)準(zhǔn)差σ后我們進(jìn)入庫存優(yōu)化環(huán)節(jié)。這里我們聚焦于經(jīng)典的周期盤點(diǎn)庫存模型并考慮安全庫存。5.1 確定成本參數(shù)與服務(wù)目標(biāo)首先我們需要與業(yè)務(wù)方在比賽中則是根據(jù)題目假設(shè)確定幾個(gè)核心參數(shù)h: 單位產(chǎn)品單位時(shí)間的持有成本元/件/天。K: 每次訂貨的固定成本元/次。p: 單位產(chǎn)品的缺貨損失成本元/件。這通常大于產(chǎn)品毛利因?yàn)樗死麧檽p失和商譽(yù)損失。L: 訂貨提前期天即從下單到貨物入庫的時(shí)間。Service Level (SL): 目標(biāo)服務(wù)水平如95%表示一個(gè)補(bǔ)貨周期內(nèi)需求被滿足的概率。5.2 計(jì)算經(jīng)濟(jì)訂貨批量與再訂貨點(diǎn)對(duì)于需求相對(duì)穩(wěn)定、采用連續(xù)盤點(diǎn)或定期盤點(diǎn)的場景經(jīng)濟(jì)訂貨批量模型仍有指導(dǎo)意義。經(jīng)濟(jì)訂貨批量EOQ sqrt( (2 * D * K) / h )其中D是年預(yù)測總需求。這個(gè)公式給出了在理想條件下總成本最低的每次訂貨量。但在需求波動(dòng)大的電商環(huán)境EOQ更多是參考。再訂貨點(diǎn)這是庫存優(yōu)化的核心。ROP 提前期內(nèi)的平均需求 安全庫存。提前期內(nèi)平均需求 L * μμ為日預(yù)測需求均值。安全庫存 Z * σ_L。σ_L是提前期L內(nèi)的需求標(biāo)準(zhǔn)差。如果日需求獨(dú)立同分布則σ_L σ_daily * sqrt(L)。其中σ_daily可以從預(yù)測模型的誤差分布中估算。關(guān)鍵計(jì)算示例 假設(shè)我們預(yù)測某個(gè)SKU未來日需求均值μ100件日需求標(biāo)準(zhǔn)差σ20件。提前期L7天目標(biāo)服務(wù)水平95%對(duì)應(yīng)Z1.65。提前期內(nèi)平均需求 100 * 7 700件。提前期內(nèi)需求標(biāo)準(zhǔn)差 σ_L 20 * sqrt(7) ≈ 52.9件。安全庫存 1.65 * 52.9 ≈ 87.3件。再訂貨點(diǎn) ROP 700 87.3 ≈ 787.3件向上取整為788件。這意味著當(dāng)庫存水平下降到788件時(shí)就應(yīng)該立即啟動(dòng)補(bǔ)貨流程訂購一定數(shù)量如EOQ或根據(jù)未來周期需求計(jì)算出的量的貨物以期在庫存耗盡前新貨能送達(dá)。5.3 模擬仿真與策略評(píng)估紙上計(jì)算終覺淺絕知此事要“仿真”。建立成本模型后最好的驗(yàn)證方法是用歷史數(shù)據(jù)或模擬需求數(shù)據(jù)進(jìn)行滾動(dòng)仿真。import numpy as np def inventory_simulation(demands, lead_time, initial_inventory, reorder_point, order_quantity, h, K, p): 模擬一個(gè)庫存策略的執(zhí)行過程。 :param demands: 列表每日實(shí)際需求 :param lead_time: 提前期天 :param initial_inventory: 期初庫存 :param reorder_point: 再訂貨點(diǎn) :param order_quantity: 固定訂貨量 :param h: 單位持有成本 :param K: 單次訂貨成本 :param p: 單位缺貨成本 :return: 總成本平均庫存水平缺貨次數(shù) inventory initial_inventory on_order 0 # 在途庫存 order_arrival_day [] # 記錄在途訂單的到達(dá)日期和數(shù)量 total_holding_cost 0 total_ordering_cost 0 total_shortage_cost 0 daily_inventory [] for day, demand in enumerate(demands): # 1. 接收在途訂單如果今天有到貨 arrivals [q for d, q in order_arrival_day if d day] if arrivals: inventory sum(arrivals) order_arrival_day [(d, q) for d, q in order_arrival_day if d ! day] # 2. 滿足當(dāng)日需求 if inventory demand: inventory - demand shortage 0 else: shortage demand - inventory inventory 0 # 全部售罄 total_shortage_cost shortage * p # 3. 計(jì)算當(dāng)日持有成本基于當(dāng)日結(jié)束時(shí)的庫存 total_holding_cost inventory * h daily_inventory.append(inventory) # 4. 檢查是否需要訂貨假設(shè)每日盤點(diǎn)一次 if inventory on_order reorder_point: # 發(fā)出訂單 total_ordering_cost K on_order order_quantity order_arrival_day.append((day lead_time, order_quantity)) total_cost total_holding_cost total_ordering_cost total_shortage_cost avg_inventory np.mean(daily_inventory) service_level 1 - (sum([1 for d in demands if d 0]) - sum([1 for i in daily_inventory if i 0])) / sum([1 for d in demands if d 0]) # 簡化計(jì)算 return total_cost, avg_inventory, service_level # 使用預(yù)測的需求和實(shí)際需求或模擬需求進(jìn)行仿真 simulated_demands np.random.normal(loc100, scale20, size365) # 模擬一年需求 simulated_demands np.maximum(simulated_demands, 0).astype(int) # 需求非負(fù) total_cost, avg_inv, sl inventory_simulation( demandssimulated_demands, lead_time7, initial_inventory800, reorder_point788, # 我們之前計(jì)算的ROP order_quantity500, # 假設(shè)的訂貨量 h0.1, # 每件每天0.1元 K50, # 每次訂貨50元 p20 # 每缺貨一件損失20元含利潤 ) print(f仿真總成本{total_cost:.2f}元平均庫存{avg_inv:.2f}件服務(wù)水平{sl:.2%})通過調(diào)整reorder_point和order_quantity運(yùn)行多次仿真我們可以找到使總成本最小化的參數(shù)組合。這就是仿真優(yōu)化的思路。核心技巧安全庫存公式Z * σ_L中的σ_L強(qiáng)烈建議使用預(yù)測誤差的標(biāo)準(zhǔn)差而非歷史需求的標(biāo)準(zhǔn)差。因?yàn)榘踩珟齑媸菫榱藨?yīng)對(duì)“預(yù)測不準(zhǔn)”而不是需求本身的波動(dòng)。你可以用訓(xùn)練好的模型在驗(yàn)證集上做預(yù)測計(jì)算預(yù)測值與真實(shí)值的誤差然后分析這些誤差在提前期L內(nèi)的分布和標(biāo)準(zhǔn)差。這樣計(jì)算出的安全庫存更具魯棒性。6. 完整建模流程串聯(lián)與代碼框架將以上步驟串聯(lián)起來形成一個(gè)端到端的解決方案。以下是核心流程的偽代碼框架# 1. 數(shù)據(jù)加載與探索 data pd.read_csv(sales_data.csv) print(data.info()) print(data.describe()) # 可視化銷量時(shí)間序列、分布、與促銷的關(guān)系等 # 2. 數(shù)據(jù)預(yù)處理與特征工程 df_clean data_cleaning(data) df_featured feature_engineering(df_clean) # 3. 劃分訓(xùn)練集與測試集按時(shí)間順序 X df_featured.drop(columns[sales, date, sku_id]) # 特征 y df_featured[sales] # 目標(biāo) # 時(shí)間序列劃分 X_train, X_test, y_train, y_test time_based_split(X, y, split_ratio0.8) # 4. 訓(xùn)練需求預(yù)測模型 model train_lgb_model(X_train, y_train, X_test, y_test) # 評(píng)估模型 evaluate_model(model, X_test, y_test) # 分析特征重要性 plot_feature_importance(model) # 5. 對(duì)未來周期進(jìn)行預(yù)測 future_features generate_future_features(last_date, future_periods) # 生成未來時(shí)間的特征 future_demand_mean model.predict(future_features) # 預(yù)測未來需求均值 future_demand_std estimate_forecast_error(model, X_test, y_test) # 估算預(yù)測誤差標(biāo)準(zhǔn)差 # 6. 庫存優(yōu)化計(jì)算 holding_cost 0.1 ordering_cost 50 shortage_cost 20 lead_time 7 service_level 0.95 # 計(jì)算每個(gè)SKU的再訂貨點(diǎn)和建議訂貨量 inventory_policy_df calculate_inventory_policy( future_demand_mean, future_demand_std, lead_time, service_level, holding_cost, ordering_cost ) # inventory_policy_df 包含 columns: [sku_id, reorder_point, order_quantity, safety_stock] # 7. 可選策略仿真與驗(yàn)證 simulation_results run_inventory_simulation( historical_demands, # 可用測試集數(shù)據(jù)或生成數(shù)據(jù) inventory_policy_df, lead_time, holding_cost, ordering_cost, shortage_cost ) print(simulation_results[[total_cost, service_level_achieved]])7. 參賽進(jìn)階思路與常見問題排雷如果你是為MathorCup或類似比賽準(zhǔn)備除了上述標(biāo)準(zhǔn)流程以下幾點(diǎn)能讓你脫穎而出1. 考慮現(xiàn)實(shí)約束倉儲(chǔ)容量限制總庫存不能超過倉庫容量。這需要在優(yōu)化模型中添加約束條件可能用到線性/整數(shù)規(guī)劃。資金約束采購總金額有限制。供應(yīng)商最小起訂量訂貨量必須是MOQ的整數(shù)倍。多級(jí)庫存考慮中央倉、區(qū)域倉、前置倉的多級(jí)補(bǔ)貨策略。2. 需求預(yù)測的進(jìn)階處理新品/冷啟動(dòng)問題對(duì)于沒有歷史數(shù)據(jù)的新品可以采用相似品類的銷售模式、市場調(diào)研數(shù)據(jù)、或基于商品屬性的回歸模型進(jìn)行預(yù)測。促銷峰值的后效應(yīng)大促后常伴隨銷量低谷需求前置需要在特征中體現(xiàn)。不確定性量化不僅預(yù)測需求的均值還預(yù)測其概率分布如分位數(shù)回歸為魯棒的庫存決策提供更多信息。3. 庫存模型的優(yōu)化求解對(duì)于更復(fù)雜的策略如(s, S)或帶有多種約束的模型解析解可能難以求得。此時(shí)可以借助優(yōu)化庫進(jìn)行求解。from scipy.optimize import minimize def total_cost_function(params, demand_mean, demand_std, lead_time, h, K, p, service_level_target): 定義總成本函數(shù)用于優(yōu)化求解s和S s, S params # s是再訂貨點(diǎn)S是最大庫存水平 # 此處需要嵌入一個(gè)庫存成本仿真函數(shù)來計(jì)算給定(s,S)下的期望總成本 # 可以使用公式近似也可以用小規(guī)模蒙特卡洛模擬 expected_cost ... # 可以添加懲罰項(xiàng)如果服務(wù)水平不達(dá)標(biāo) service_level_actual ... penalty 1000 * max(0, service_level_target - service_level_actual) # 懲罰系數(shù) return expected_cost penalty # 初始猜測和邊界 initial_guess [100, 300] bounds [(0, 500), (200, 1000)] # s和S的邊界 result minimize(total_cost_function, initial_guess, args(demand_mean, demand_std, lead_time, h, K, p, 0.95), boundsbounds, methodL-BFGS-B) optimal_s, optimal_S result.x4. 論文寫作與可視化問題重述要清晰用自己的話提煉問題本質(zhì)。模型假設(shè)要合理且明確說明在什么條件下你的模型成立。求解過程要詳細(xì)特別是關(guān)鍵公式的推導(dǎo)和解釋。結(jié)果分析要深入不僅展示數(shù)字還要解釋為什么這個(gè)結(jié)果好/不好反映了什么業(yè)務(wù)洞察。靈敏度分析是亮點(diǎn)分析關(guān)鍵參數(shù)如持有成本、缺貨成本、提前期變化對(duì)最優(yōu)策略和總成本的影響。這能體現(xiàn)你對(duì)模型魯棒性的思考?？梢暬獙I(yè)使用清晰的圖表展示銷量預(yù)測效果、庫存水平變化、成本構(gòu)成、靈敏度分析結(jié)果等。避免花哨但無意義的圖表。常見問題排雷表問題現(xiàn)象可能原因排查與解決思路預(yù)測誤差極大尤其是峰值未識(shí)別或處理好促銷、節(jié)假日等特殊事件構(gòu)建專門的節(jié)日/促銷標(biāo)志特征或?qū)μ厥馊掌跇颖締为?dú)加權(quán)訓(xùn)練。模型在訓(xùn)練集表現(xiàn)好測試集差過擬合特征過多、模型過于復(fù)雜、或存在數(shù)據(jù)泄露1. 進(jìn)行特征篩選。2. 增加正則化參數(shù)如num_leaves調(diào)小min_data_in_leaf調(diào)大。3. 嚴(yán)格檢查時(shí)間序列劃分確保沒有未來信息混入訓(xùn)練集。安全庫存計(jì)算后缺貨依然頻繁1. 預(yù)測誤差標(biāo)準(zhǔn)差低估。2. 提前期不穩(wěn)定。3. 需求分布非正態(tài)。1. 使用更保守的Z值如對(duì)應(yīng)更高服務(wù)水平。2. 考慮提前期波動(dòng)σ_L sqrt(L * σ_demand^2 μ_demand^2 * σ_leadtime^2)。3. 使用更穩(wěn)健的誤差估計(jì)方法如Bootstrapping。庫存周轉(zhuǎn)率過低持有成本高安全庫存設(shè)置過高或訂貨批量EOQ過大。1. 重新評(píng)估服務(wù)水平目標(biāo)是否過高。2. 考慮采用更頻繁的小批量補(bǔ)貨但會(huì)增加訂貨成本K。3. 實(shí)施ABC分類對(duì)A類商品精細(xì)管理C類商品采用簡單策略。求解速度慢無法得到最優(yōu)解模型過于復(fù)雜或仿真次數(shù)太多。1. 對(duì)于復(fù)雜模型先嘗試簡化如忽略次要約束。2. 使用啟發(fā)式算法如遺傳算法、模擬退火替代精確求解。3. 減少蒙特卡洛仿真的迭代次數(shù)或使用方差縮減技術(shù)。這道賽題是一個(gè)完美的橋梁連接了數(shù)據(jù)科學(xué)理論與供應(yīng)鏈管理實(shí)踐。從數(shù)據(jù)清洗到特征工程從機(jī)器學(xué)習(xí)建模到運(yùn)籌優(yōu)化最后通過仿真驗(yàn)證它完整地再現(xiàn)了一個(gè)數(shù)據(jù)驅(qū)動(dòng)決策的閉環(huán)。真正掌握它意味著你不僅擁有解決一道賽題的能力更擁有了應(yīng)對(duì)現(xiàn)實(shí)世界中不確定性挑戰(zhàn)的一套核心方法論。在實(shí)際工作中這些模型和參數(shù)需要與業(yè)務(wù)系統(tǒng)持續(xù)集成并隨著市場變化而不斷迭代更新。記住沒有一勞永逸的預(yù)測也沒有放之四海而皆準(zhǔn)的庫存策略唯有持續(xù)學(xué)習(xí)、持續(xù)優(yōu)化才能在動(dòng)態(tài)的商業(yè)環(huán)境中保持競爭力。