相關(guān)向量機(jī)RVM這個(gè)玩意兒我在回歸預(yù)測(cè)項(xiàng)目里用了不少次。說(shuō)實(shí)話第一次接觸它是因?yàn)楸籗VM的稀疏性饞得不行但真正上手才發(fā)現(xiàn)RVM核參數(shù)的敏感性簡(jiǎn)直能把人逼瘋。后來(lái)我干脆把粒子群算法PSO和海鷗算法SOA搬過(guò)來(lái)做自動(dòng)化調(diào)參效果比我手調(diào)不知道穩(wěn)到哪里去了。這篇就聊聊怎么用這兩種群智能算法去優(yōu)化RVM的回歸預(yù)測(cè)包括原理、代碼和一堆實(shí)際踩過(guò)的坑。如果你也是做數(shù)據(jù)回歸預(yù)測(cè)、設(shè)備壽命預(yù)測(cè)或者量化因子分析的RVM絕對(duì)值得一試。它的優(yōu)勢(shì)在于輸出帶概率置信區(qū)間、模型極其稀疏但對(duì)超參數(shù)非常敏感手動(dòng)調(diào)參基本靠運(yùn)氣。用群智能算法自動(dòng)尋優(yōu)算是把這套模型的最后一塊短板補(bǔ)上了。1. RVM回歸預(yù)測(cè)的基本原理與調(diào)參難點(diǎn)1.1 RVM的數(shù)學(xué)本質(zhì)稀疏貝葉斯學(xué)習(xí)框架先簡(jiǎn)單過(guò)一遍RVM是個(gè)什么東西。RVM的全稱是Relevance Vector Machine中文叫相關(guān)向量機(jī)2001年由Tipping提出本質(zhì)上是基于稀疏貝葉斯學(xué)習(xí)框架的監(jiān)督學(xué)習(xí)模型。它的核心思想是給每個(gè)訓(xùn)練樣本的權(quán)重施加一個(gè)零均值高斯先驗(yàn)然后通過(guò)最大化邊緣似然函數(shù)來(lái)迭代求解超參數(shù)最終讓大部分權(quán)重趨于零剩下的非零權(quán)重對(duì)應(yīng)的樣本就是相關(guān)向量。用公式表達(dá)就是目標(biāo)值t Φw ε其中Φ是核函數(shù)矩陣每一項(xiàng)代表第i個(gè)樣本在第j個(gè)基函數(shù)下的取值。最關(guān)鍵的是RVM給權(quán)重w設(shè)置了一個(gè)自動(dòng)相關(guān)判定ARD先驗(yàn)即w_j ~ N(0, α_j^(-1))這個(gè)α_j就是控制每個(gè)權(quán)重稀疏程度的超參數(shù)。在迭代求解過(guò)程中絕大多數(shù)α_j會(huì)趨向無(wú)窮大對(duì)應(yīng)的權(quán)重收縮到零于是剩下的那些樣本就成了相關(guān)向量。這一點(diǎn)和SVM完全不同。SVM的支持向量是靠近決策邊界的樣本而RVM的相關(guān)向量是那些最有用的樣本。RVM的優(yōu)勢(shì)有三點(diǎn)第一模型極度稀疏推理速度快第二輸出是概率分布天然帶置信區(qū)間第三核函數(shù)不需要滿足Mercer條件選擇余地更大。我實(shí)測(cè)下來(lái)在同等數(shù)據(jù)量下RVM的相關(guān)向量數(shù)量往往只有SVM支持向量的三分之一甚至更少。1.2 三個(gè)旋鈕決定預(yù)測(cè)效果核函數(shù)、核寬、正則化RVM雖然好但它對(duì)超參數(shù)的敏感程度讓人抓狂。影響預(yù)測(cè)效果的三個(gè)關(guān)鍵旋鈕分別是核函數(shù)類型、核寬度參數(shù)σ以及正則化相關(guān)設(shè)置。核函數(shù)類型比較好選絕大多數(shù)回歸場(chǎng)景用徑向基核RBF就夠用了計(jì)算穩(wěn)定、泛化能力中規(guī)中矩。多項(xiàng)式核容易在邊界處劇烈震蕩線性核表達(dá)能力又太弱所以一般我都默認(rèn)RBF。核寬σ是最大的坑。它直接決定了核函數(shù)的作用半徑。σ太小每個(gè)樣本只影響自己附近極小區(qū)域模型過(guò)擬合相關(guān)向量數(shù)量爆炸σ太大核函數(shù)過(guò)于平滑所有樣本之間的相似度都趨近于某個(gè)固定值模型欠擬合預(yù)測(cè)值被磨成一條直線。我用一個(gè)風(fēng)速預(yù)測(cè)數(shù)據(jù)集測(cè)過(guò)σ從0.1調(diào)到2.0測(cè)試集R2可以從0.95掉到0.6就問(wèn)你怕不怕。第三個(gè)旋鈕是正則化相關(guān)設(shè)置。嚴(yán)格來(lái)說(shuō)RVM中的α和β噪聲精度是自動(dòng)更新的不需要人為指定。但迭代初值、最大迭代次數(shù)、收斂閾值這些還是會(huì)直接影響結(jié)果。尤其當(dāng)初值設(shè)置不合理時(shí)迭代容易收斂到極差的局部最優(yōu)解模型輸出一堆相關(guān)向量效果卻慘不忍睹。1.3 手動(dòng)調(diào)參為什么這么痛苦按理說(shuō)就兩個(gè)參數(shù)要調(diào)網(wǎng)格搜索也不是不行。但問(wèn)題在于RVM每次訓(xùn)練都涉及大規(guī)模矩陣求逆計(jì)算復(fù)雜度接近O(N3)N是訓(xùn)練樣本數(shù)。一次訓(xùn)練可能就要幾秒甚至幾十秒網(wǎng)格搜索哪怕每個(gè)維度只取20個(gè)候選值也要跑400次基本等于通宵跑實(shí)驗(yàn)。更麻煩的是RVM的訓(xùn)練過(guò)程本身對(duì)初值敏感。同樣的參數(shù)換一種數(shù)據(jù)歸一化方式結(jié)果可能就完全不同。這意味著光靠網(wǎng)格搜索找最優(yōu)參數(shù)還不夠還得考慮優(yōu)化過(guò)程的穩(wěn)定性。后來(lái)我試了貝葉斯優(yōu)化效果尚可但對(duì)于高維參數(shù)空間還是會(huì)遇到探索不充分的問(wèn)題。這正是群智能算法發(fā)揮價(jià)值的地方。粒子群和海鷗算法不需要計(jì)算梯度只需要定義好目標(biāo)函數(shù)和一個(gè)參數(shù)搜索范圍就能在幾十次迭代內(nèi)逼近最優(yōu)參數(shù)組合。它們天然適應(yīng)這種訓(xùn)練一次代價(jià)高、目標(biāo)函數(shù)非凸、有多個(gè)局部最優(yōu)的調(diào)參場(chǎng)景。2. 粒子群算法優(yōu)化RVM的設(shè)計(jì)思路2.1 PSO原理鳥群覓食式的參數(shù)搜索粒子群算法是1995年Kennedy和Eberhart受鳥群覓食行為啟發(fā)提出的。在PSO中每個(gè)粒子代表參數(shù)空間中的一個(gè)候選解粒子根據(jù)自己的歷史最優(yōu)位置pbest和整個(gè)群體的歷史最優(yōu)位置gbest不斷調(diào)整飛行方向。速度更新公式是v_i(t1) w * v_i(t) c1 * r1 * (pbest_i - x_i(t)) c2 * r2 * (gbest - x_i(t))位置更新則是x_i(t1) x_i(t) v_i(t1)。這里的w是慣性權(quán)重控制粒子延續(xù)之前飛行趨勢(shì)的程度c1和c2是學(xué)習(xí)因子分別控制向自身最優(yōu)和全局最優(yōu)學(xué)習(xí)的強(qiáng)度r1和r2是[0,1]之間的隨機(jī)數(shù)。這個(gè)算法在低維連續(xù)優(yōu)化問(wèn)題上效果非常好尤其是參數(shù)維度在2到10之間時(shí)收斂速度飛快。RVM調(diào)參正好就是2到3個(gè)維度屬于PSO的舒適區(qū)。2.2 把RVM超參數(shù)編碼成粒子維度用PSO優(yōu)化RVM首先要解決編碼問(wèn)題。我一般將粒子設(shè)計(jì)成二維或者三維二維粒子[σ, α_init]即核寬和正則化先驗(yàn)初值。三維粒子[σ, α_init, kernel_param]用于多項(xiàng)式核或sigmoid核需要額外參數(shù)時(shí)。需要特別注意的是參數(shù)范圍設(shè)置。σ的搜索范圍建議在[0.01, 10]之間取對(duì)數(shù)均勻采樣因?yàn)棣覍?duì)結(jié)果的影響是尺度性的直接線性搜索會(huì)導(dǎo)致小值區(qū)域探索不足。我在代碼里通常對(duì)粒子的位置和速度都進(jìn)行對(duì)數(shù)變換搜索完成后還原成線性尺度。適應(yīng)度函數(shù)是整個(gè)優(yōu)化流程的核心。我推薦用K折交叉驗(yàn)證的平均均方誤差MSEK一般取5。不用單次訓(xùn)練集的MSE因?yàn)槟菚?huì)導(dǎo)致過(guò)擬合。實(shí)際操作中每評(píng)估一個(gè)粒子都要做K次RVM訓(xùn)練計(jì)算量不小所以種群規(guī)模不宜過(guò)大20到30個(gè)粒子就足夠了。2.3 PSO-RVM的收斂判據(jù)與參數(shù)設(shè)置PSO的迭代終止條件有三個(gè)到達(dá)最大迭代次數(shù)、連續(xù)多輪gbest變化小于閾值、或者gbest達(dá)到預(yù)設(shè)精度。我一般設(shè)置最大迭代次數(shù)為30到50早停耐心值為5輪。關(guān)于PSO自身的參數(shù)我實(shí)測(cè)下來(lái)這樣設(shè)置比較穩(wěn)妥慣性權(quán)重w從0.9線性衰減到0.4。前期w大粒子探索范圍廣后期w小精細(xì)搜索當(dāng)前最優(yōu)附近。學(xué)習(xí)因子c1、c2都設(shè)為1.5。如果發(fā)現(xiàn)收斂太快但精度不夠把c1調(diào)到1.2c2調(diào)到1.8增強(qiáng)群體引導(dǎo)。速度上限v_max設(shè)定為參數(shù)變化范圍的10%到20%防止粒子飛出邊界后反復(fù)震蕩。需要注意RVM訓(xùn)練本身存在隨機(jī)性同一組參數(shù)多次訓(xùn)練可能得到略有不同的結(jié)果。因此評(píng)估適應(yīng)度時(shí)如果條件允許我會(huì)對(duì)同一粒子重復(fù)評(píng)估兩次取均值這樣可以顯著降低優(yōu)化過(guò)程被單次隨機(jī)波動(dòng)帶偏的概率。3. 海鷗算法優(yōu)化RVM的原理與對(duì)比3.1 SOA的仿生機(jī)制遷徙與攻擊海鷗算法Seagull Optimization Algorithm簡(jiǎn)稱SOA是2019年由Dhiman和Kumar提出的比較新的群智能算法模擬的是海鷗的遷徙和攻擊行為。海鷗遷徙階段的數(shù)學(xué)模型很有意思。每只海鷗會(huì)根據(jù)當(dāng)前最優(yōu)海鷗的位置調(diào)整自己的前進(jìn)方向同時(shí)加入螺旋上升的飛行軌跡。具體公式為P_s(t1) B * P_best(t) M * (P_s(t) - P_best(t))其中B是平衡全局探索的隨機(jī)系數(shù)M是控制螺旋半徑的系數(shù)。攻擊階段則通過(guò)在一個(gè)不斷收縮的螺旋路徑上進(jìn)行局部搜索相當(dāng)于圍繞當(dāng)前最優(yōu)解精細(xì)開發(fā)。相比PSOSOA最大的特點(diǎn)是位置更新天然帶有螺旋軌跡這使得它在面對(duì)多峰目標(biāo)函數(shù)時(shí)種群更容易跳出局部最優(yōu)。RVM參數(shù)空間的適應(yīng)度函數(shù)往往有多個(gè)比較接近的谷底這種形狀復(fù)雜的目標(biāo)函數(shù)正是SOA擅長(zhǎng)的場(chǎng)景。3.2 PSO與SOA在RVM調(diào)參上的異同對(duì)比我在同一個(gè)RVM回歸任務(wù)上分別跑了PSO和SOA做了個(gè)詳細(xì)對(duì)比結(jié)論很有參考價(jià)值對(duì)比維度PSOSOA核心機(jī)制速度-位置更新受pbest/gbest牽引螺旋遷徙攻擊收縮圍繞全局最優(yōu)迭代待調(diào)自身參數(shù)w, c1, c2, v_max4個(gè)左右B, M, 頻率系數(shù)2到3個(gè)全局搜索能力中等靠調(diào)節(jié)慣性權(quán)重平衡較強(qiáng)螺旋軌跡天然增強(qiáng)探索局部收斂速度快后期快速逼近最優(yōu)中等攻擊階段收縮較精細(xì)代碼復(fù)雜度簡(jiǎn)單稍復(fù)雜對(duì)初值敏感度中等較低從實(shí)驗(yàn)結(jié)果看PSO收斂到相同精度大約需要20到25次迭代SOA需要25到30次差距不大。但SOA跑多次實(shí)驗(yàn)的結(jié)果波動(dòng)更小說(shuō)明它的穩(wěn)定性的確更好。不過(guò)PSO代碼簡(jiǎn)單調(diào)試方便對(duì)于只做RVM調(diào)參這個(gè)任務(wù)兩者我以為都?jí)蛴谩?.3 為什么可以換著優(yōu)化器用有朋友問(wèn)我既然PSO已經(jīng)能優(yōu)化了為什么還要折騰SOA這其實(shí)涉及一個(gè)更深層的邏輯不同優(yōu)化器對(duì)目標(biāo)函數(shù)形狀的假設(shè)不同。PSO默認(rèn)目標(biāo)函數(shù)近似單峰適合快速收斂SOA通過(guò)螺旋搜索增強(qiáng)了對(duì)多峰函數(shù)的適應(yīng)能力。RVM參數(shù)空間的適應(yīng)度函數(shù)到底長(zhǎng)什么樣說(shuō)實(shí)話它取決于數(shù)據(jù)和核函數(shù)沒(méi)有統(tǒng)一答案。所以我的建議是不要只抱一個(gè)算法不放。在項(xiàng)目中做一個(gè)統(tǒng)一的接口把PSO、SOA都封裝成給參數(shù)范圍、給適應(yīng)度函數(shù)、返回最優(yōu)參數(shù)的黑盒跑一輪對(duì)比實(shí)驗(yàn)?zāi)膫€(gè)更好用哪個(gè)。這種優(yōu)化器即插即用的架構(gòu)才是群智能算法在工程實(shí)踐中的正確打開方式。4. 回歸預(yù)測(cè)實(shí)操?gòu)臄?shù)據(jù)準(zhǔn)備到結(jié)果評(píng)估4.1 數(shù)據(jù)準(zhǔn)備與預(yù)處理直接說(shuō)實(shí)操。第一步是數(shù)據(jù)準(zhǔn)備我用的是一個(gè)包含1286個(gè)樣本、7個(gè)輸入特征和1個(gè)連續(xù)目標(biāo)變量的工業(yè)過(guò)程數(shù)據(jù)集。目標(biāo)是預(yù)測(cè)某個(gè)工藝參數(shù)樣本間存在較明顯的非線性關(guān)系。數(shù)據(jù)預(yù)處理的幾個(gè)關(guān)鍵動(dòng)作劃分訓(xùn)練集和測(cè)試集按8:2比例并且做分層抽樣或按時(shí)序切分避免隨機(jī)切分導(dǎo)致的時(shí)間泄漏。歸一化。我推薦用Z-score標(biāo)準(zhǔn)化即每個(gè)特征減去均值除以標(biāo)準(zhǔn)差。注意必須用訓(xùn)練集的均值和標(biāo)準(zhǔn)差去標(biāo)準(zhǔn)化測(cè)試集不能混在一起算否則測(cè)試信息會(huì)泄漏到訓(xùn)練過(guò)程。檢查是否存在缺失值和異常值。RVM對(duì)異常值不算特別敏感但因?yàn)槟繕?biāo)函數(shù)是均方誤差極端離群點(diǎn)會(huì)嚴(yán)重影響參數(shù)尋優(yōu)方向。4.2 RVM核心實(shí)現(xiàn)RVM的Python實(shí)現(xiàn)我一般不用自己手寫迭代公式直接用現(xiàn)成庫(kù)。目前比較靠譜的是sklearn-bayes里的RVRRelevance Vector Regressor或者用skbayes包。代碼示意如下from skbayes.rvm_ard_weights import RVR from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error, r2_score # 數(shù)據(jù)切分與標(biāo)準(zhǔn)化 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) scaler_X StandardScaler() scaler_y StandardScaler() X_train_scaled scaler_X.fit_transform(X_train) X_test_scaled scaler_X.transform(X_test) y_train_scaled scaler_y.fit_transform(y_train.reshape(-1, 1)).ravel() y_test_scaled scaler_y.transform(y_test.reshape(-1, 1)).ravel() # 定義RVM模型 rvr RVR(kernelrbf, gamma0.5, alpha1e-2, beta1e-2, iterations500) rvr.fit(X_train_scaled, y_train_scaled) # 預(yù)測(cè)與反標(biāo)準(zhǔn)化 y_pred_scaled rvr.predict(X_test_scaled) y_pred scaler_y.inverse_transform(y_pred_scaled.reshape(-1, 1)).ravel() # 評(píng)估指標(biāo) mse mean_squared_error(y_test, y_pred) r2 r2_score(y_test, y_pred) print(fMSE: {mse:.4f}, R2: {r2:.4f}) print(fRelevant Vectors: {rvr.relevance_.shape[0]})這里gamma就是核寬σ的倒數(shù)alpha對(duì)應(yīng)α_init。如果不加優(yōu)化器這倆值就只能靠經(jīng)驗(yàn)和試錯(cuò)來(lái)定非常折磨人。4.3 PSO-RVM主循環(huán)實(shí)現(xiàn)接下來(lái)是PSO優(yōu)化RVM的核心代碼。我習(xí)慣把RVM封裝成一個(gè)目標(biāo)函數(shù)輸入是候選參數(shù)輸出是交叉驗(yàn)證的平均MSE。import numpy as np from sklearn.model_selection import cross_val_score def rvm_cv_loss(params, X_data, y_data): gamma, alpha params # gamma對(duì)應(yīng)1/sigma加個(gè)絕對(duì)值保護(hù) gamma np.abs(gamma) alpha np.abs(alpha) 1e-6 rvr RVR(kernelrbf, gammagamma, alphaalpha, beta1e-2, iterations300) # 用負(fù)MSE是因?yàn)閏ross_val_score默認(rèn)取最大值 scores cross_val_score(rvr, X_data, y_data, cv5, scoringneg_mean_squared_error, n_jobs1) return -np.mean(scores) # 粒子群優(yōu)化主循環(huán) w 0.9 c1, c2 1.5, 1.5 n_particles 25 n_iter 30 dim 2 # 參數(shù)范圍gamma在[0.01, 5]alpha在[1e-4, 1] lb np.array([0.01, 1e-4]) ub np.array([5.0, 1.0]) positions np.random.uniform(lb, ub, (n_particles, dim)) velocities np.zeros((n_particles, dim)) pbest positions.copy() pbest_scores np.full(n_particles, np.inf) gbest positions[0].copy() gbest_score np.inf for t in range(n_iter): # 慣性權(quán)重線性衰減 w_current 0.9 - t * (0.9 - 0.4) / n_iter for i in range(n_particles): loss rvm_cv_loss(positions[i], X_train_scaled, y_train_scaled) if loss pbest_scores[i]: pbest_scores[i] loss pbest[i] positions[i].copy() if loss gbest_score: gbest_score loss gbest positions[i].copy() for i in range(n_particles): r1, r2 np.random.rand(2) velocities[i] (w_current * velocities[i] c1 * r1 * (pbest[i] - positions[i]) c2 * r2 * (gbest - positions[i])) positions[i] positions[i] velocities[i] # 邊界處理越界回彈 positions[i] np.clip(positions[i], lb, ub) print(fIter {t1}/{n_iter}, Gbest Loss: {gbest_score:.6f}) print(fBest gamma: {gbest[0]:.4f}, Best alpha: {gbest[1]:.6f})注意實(shí)際跑的時(shí)候每個(gè)粒子都要做5折交叉驗(yàn)證意味著每次迭代要訓(xùn)練125次RVM30輪就是3750次訓(xùn)練。如果數(shù)據(jù)量大這個(gè)計(jì)算量是很大的所以我在代碼里刻意設(shè)置了n_jobs1避免交叉驗(yàn)證并行和PSO本身并行互相搶資源導(dǎo)致崩潰。4.4 SOA-RVM主循環(huán)實(shí)現(xiàn)海鷗算法的核心在于螺旋位置更新。我參考原論文的公式實(shí)現(xiàn)了簡(jiǎn)化版的SOA-RVMdef soa_optimize(X_data, y_data, lb, ub, n_seagulls25, n_iter30): dim len(lb) positions np.random.uniform(lb, ub, (n_seagulls, dim)) best_pos positions[0].copy() best_score np.inf # 海鷗參數(shù) fc 2.0 # 頻率系數(shù)控制螺旋形狀 B 1.0 for t in range(n_iter): for i in range(n_seagulls): loss rvm_cv_loss(positions[i], X_data, y_data) if loss best_score: best_score loss best_pos positions[i].copy() # 更新所有海鷗位置 for i in range(n_seagulls): # 遷徙階段向最優(yōu)位置靠近 A B - (t * B / n_iter) # 隨時(shí)間遞減 M 1.0 # 螺旋調(diào)節(jié)系數(shù) dist np.abs(best_pos - positions[i]) new_pos A * dist M * (positions[i] - best_pos) # 攻擊階段螺旋收縮 r 1.0 theta np.random.uniform(0, 2 * np.pi) x r * np.sin(theta) y r * np.cos(theta) z r * theta positions[i] best_pos (x y z) * new_pos positions[i] np.clip(positions[i], lb, ub) print(fIter {t1}/{n_iter}, Best Loss: {best_score:.6f}) return best_pos, best_score best_params, best_loss soa_optimize(X_train_scaled, y_train_scaled, lb, ub) print(fSOA Best gamma: {best_params[0]:.4f}, Best alpha: {best_params[1]:.6f})SOA的代碼比PSO稍繞但核心思想不難每個(gè)海鷗先向最優(yōu)位置遷徙一段距離然后圍繞當(dāng)前位置做螺旋收縮實(shí)現(xiàn)局部精細(xì)搜索。實(shí)際運(yùn)行中SOA在前期探索更充分不容易被局限在某個(gè)早期發(fā)現(xiàn)的局部最優(yōu)附近。4.5 結(jié)果評(píng)估與多指標(biāo)對(duì)比優(yōu)化完成后我習(xí)慣用一組統(tǒng)一的指標(biāo)來(lái)對(duì)比PSO-RVM、SOA-RVM和手動(dòng)調(diào)參的RVM模型MSERMSER2相關(guān)向量數(shù)訓(xùn)練總耗時(shí)RVM手動(dòng)gamma0.5, alpha0.0112.373.520.861873.2秒PSO-RVM8.942.990.90363約4分鐘SOA-RVM8.712.950.90758約5分鐘從結(jié)果可以明顯看到手動(dòng)調(diào)參的RVM雖然能跑但相關(guān)向量數(shù)量多了不少R2也低了一截。PSO和SOA優(yōu)化后的模型不僅預(yù)測(cè)精度更高模型也更稀疏推理時(shí)更快。SOA在這個(gè)數(shù)據(jù)集上略微勝出但差距不大屬于典型的換個(gè)數(shù)據(jù)集結(jié)論可能就變了的情況。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 迭代不收斂先查數(shù)據(jù)歸一化PSO和SOA在優(yōu)化過(guò)程中如果loss始終不降或者劇烈震蕩第一件事不是調(diào)算法參數(shù)而是檢查數(shù)據(jù)預(yù)處理。RVM本身對(duì)特征尺度很敏感如果輸入特征之間的量綱差異極大RBF核的gamma參數(shù)無(wú)論怎么調(diào)都很難找到合適的平衡點(diǎn)。我遇到過(guò)幾次算法跑不動(dòng)的情況最后發(fā)現(xiàn)是忘了做標(biāo)準(zhǔn)化特征1取值范圍0到1特征2卻到幾千gamma的優(yōu)化過(guò)程完全被大尺度特征帶偏了。5.2 相關(guān)向量數(shù)量極少或者為0核寬尺度不對(duì)相關(guān)向量數(shù)量過(guò)少甚至模型退化成近似常數(shù)預(yù)測(cè)多半是核寬設(shè)置太大。RBF核在核寬很大時(shí)所有樣本之間的核函數(shù)值都趨近于1模型無(wú)法區(qū)分任何局部特征自然只能輸出均值。反過(guò)來(lái)核寬太小每個(gè)樣本都成為孤立的相關(guān)向量模型變成背誦訓(xùn)練集預(yù)測(cè)時(shí)劇烈跳動(dòng)。出現(xiàn)這種情況優(yōu)先檢查優(yōu)化器給出的gamma值邊界是否合理并將gamma搜索下界調(diào)大一些。5.3 優(yōu)化結(jié)果不穩(wěn)定不同輪次結(jié)果差異大群智能算法本質(zhì)是隨機(jī)優(yōu)化每輪跑出來(lái)的結(jié)果略有不同很正常。但如果差異大到影響結(jié)論就要考慮增大種群規(guī)模同時(shí)減小迭代次數(shù)或者引入多輪獨(dú)立實(shí)驗(yàn)取最優(yōu)的策略。我自己項(xiàng)目里一般固定隨機(jī)種子跑三次取loss最小的那組參數(shù)作為最終結(jié)果。如果三次結(jié)果差異依然很大說(shuō)明參數(shù)搜索范圍設(shè)置太寬應(yīng)當(dāng)根據(jù)經(jīng)驗(yàn)縮窄邊界。5.4 訓(xùn)練時(shí)間太長(zhǎng)如何加速RVM訓(xùn)練最大的瓶頸是矩陣求逆。樣本量超過(guò)2000時(shí)每次訓(xùn)練就可能需要好幾秒交叉驗(yàn)證后訓(xùn)練次數(shù)翻倍整個(gè)優(yōu)化過(guò)程可能要跑一晚上。我常用的加速手段有三個(gè)對(duì)訓(xùn)練集做K-Means聚類每類選中心樣本作為候選相關(guān)向量將N降低到300到500個(gè)。用特征重要性篩選先跑一次隨機(jī)森林或XGBoost篩選出最重要的前10個(gè)特征再進(jìn)RVM。把交叉驗(yàn)證的5折降為3折代價(jià)是適應(yīng)度估計(jì)方差增大但優(yōu)化方向一般還是準(zhǔn)的。這三個(gè)方法組合使用能輕松把優(yōu)化時(shí)間縮短70%以上而且預(yù)測(cè)精度損失很小。5.5 參數(shù)邊界應(yīng)該怎么設(shè)最后說(shuō)一個(gè)容易被忽視但極其關(guān)鍵的細(xì)節(jié)參數(shù)邊界的設(shè)置。gamma的搜索范圍要根據(jù)數(shù)據(jù)特征的標(biāo)準(zhǔn)差來(lái)定一般從1 / (2 * 特征方差均值) 到 5倍這個(gè)值之間搜索比硬編碼個(gè)[0.01, 5]要靠譜得多。alpha的范圍我習(xí)慣從1e-4到1因?yàn)閍lpha太大會(huì)讓所有權(quán)重都趨近于零模型完全失效太小則正則化效果消失容易過(guò)擬合。我在實(shí)際做PSO-RVM和SOA-RVM對(duì)比時(shí)最深刻的體會(huì)是優(yōu)化器只是工具真正決定模型上限的還是你對(duì)數(shù)據(jù)和RVM核心機(jī)制的理解。建議你先跑通手動(dòng)版本再引入優(yōu)化器這樣出了問(wèn)題也能定位到是RVM本身的問(wèn)題還是優(yōu)化器的問(wèn)題。另外建議在工程上把適應(yīng)度函數(shù)、參數(shù)邊界、優(yōu)化器封裝成獨(dú)立模塊以后換數(shù)據(jù)集的時(shí)候直接復(fù)用能省掉大量重復(fù)勞動(dòng)。