1. 項目概述一份“活”的數(shù)學(xué)復(fù)習(xí)資料最近在整理自己的數(shù)學(xué)筆記發(fā)現(xiàn)一個挺普遍的問題市面上的復(fù)習(xí)資料要么太“厚”恨不得把整本書都塞給你要么太“薄”只有干巴巴的公式用的時候根本想不起來怎么來的、怎么用。我自己在準備考試或者回顧某個數(shù)學(xué)分支時也常常需要翻好幾本書、查一堆網(wǎng)頁效率很低。所以我決定動手整理一份“自用款”的數(shù)學(xué)模型復(fù)習(xí)資料。這份資料的定位很明確它不是一本教科書而是一個“工具箱”和“備忘錄”。它的核心目標是幫助我自己以及有類似需求的你在需要時能快速定位到核心概念、關(guān)鍵公式、典型應(yīng)用場景以及最容易踩坑的地方。我會按照“為什么學(xué)-是什么-怎么用-注意什么”的邏輯來組織每個知識點力求把復(fù)雜的數(shù)學(xué)思想講得直白一些。既然是“自用款”內(nèi)容會非常主觀完全基于我個人學(xué)習(xí)和實踐中覺得重要、容易混淆、或者特別有用的部分。我會持續(xù)更新把新學(xué)到、新悟到的東西加進來所以它也是一份“活”的資料。如果你也在學(xué)習(xí)或應(yīng)用數(shù)學(xué)模型無論是為了考試、科研還是解決工作中的實際問題希望這份帶著個人視角和實戰(zhàn)經(jīng)驗的整理能給你提供一個不一樣的復(fù)習(xí)思路和參考框架。我們可以一起把它變得更實用。2. 資料的整體設(shè)計與編排邏輯2.1 核心目標從“知道”到“會用”的橋梁很多數(shù)學(xué)復(fù)習(xí)資料止步于羅列定義和定理但這離真正“會用”還差得很遠。我設(shè)計這份資料的初衷就是要填補“知識”與“應(yīng)用”之間的鴻溝。因此在編排上我遵循幾個核心原則第一問題驅(qū)動。每個數(shù)學(xué)模型的引入我都會先問“它解決什么問題”。比如講到線性回歸我不會一上來就扔出最小二乘公式而是會從一個“預(yù)測”或“關(guān)聯(lián)分析”的實際場景開始比如“根據(jù)歷史數(shù)據(jù)預(yù)測明天的銷售額”或“分析廣告投入和銷量之間的關(guān)系”。先建立直觀感受再深入數(shù)學(xué)細節(jié)。第二邏輯鏈條完整。對于一個模型我不僅會寫它“是什么”更會梳理它“從哪來”、“為什么對”、“怎么推”。例如在概率論部分講到貝葉斯公式我會從條件概率的定義出發(fā)用文氏圖直觀推導(dǎo)再解釋后驗概率、先驗概率和似然函數(shù)各自的物理意義。這個推導(dǎo)過程本身就是理解模型精髓的關(guān)鍵。第三強調(diào)假設(shè)與局限。這是最容易忽視也最致命的部分。任何一個數(shù)學(xué)模型都有其成立的前提條件。我會明確列出每個模型的核心假設(shè)比如線性回歸的誤差項獨立同分布、正態(tài)性、同方差性等并用例子說明如果這些假設(shè)被違背模型可能會得出怎樣荒謬的結(jié)論。知道模型的邊界和知道模型本身一樣重要。2.2 內(nèi)容模塊化與交叉索引為了便于查閱和建立知識網(wǎng)絡(luò)我將資料內(nèi)容進行了模塊化處理。主要分為幾大板塊微積分與優(yōu)化基礎(chǔ)、線性代數(shù)與矩陣論、概率論與數(shù)理統(tǒng)計、機器學(xué)習(xí)常用模型、動態(tài)系統(tǒng)與微分方程、圖論與網(wǎng)絡(luò)模型。每個大板塊下再細分知識點。更重要的是我建立了大量的交叉索引。數(shù)學(xué)知識不是孤立的模型之間有著千絲萬縷的聯(lián)系。比如在講解主成分分析PCA時我會直接引用到線性代數(shù)中的特征值分解以及統(tǒng)計中的方差概念并用超鏈接或顯式標注的方式指向相關(guān)章節(jié)。這樣你在復(fù)習(xí)PCA時如果對特征值模糊了可以立刻跳轉(zhuǎn)回顧形成一個閉環(huán)的學(xué)習(xí)路徑而不是碎片化的記憶。編排上的一個小心得我采用“核心卡片”的形式來組織每個最小知識點單元。一張“卡片”包含1模型/概念名稱2一句話直觀解釋3核心公式/定義加粗突出4幾何/物理意義圖解文字描述5典型應(yīng)用場景舉例6重要性質(zhì)與定理7與其它知識的聯(lián)系8常見誤區(qū)與注意事項。這種結(jié)構(gòu)強迫我對每個知識點進行多維度的思考整理的過程本身就是一次極好的深度復(fù)習(xí)。3. 核心內(nèi)容解析以幾個關(guān)鍵模型為例3.1 線性回歸不止是“擬合一條線”線性回歸恐怕是大多數(shù)人接觸到的第一個預(yù)測模型。但它的內(nèi)涵遠不止用最小二乘法找一條擬合直線那么簡單。3.1.1 最小二乘的幾何意義損失函數(shù) ∑(y_i - ?_i)2 最小化在幾何上可以理解為在由自變量張成的列空間中尋找因變量向量的正交投影。這個投影就是我們的預(yù)測值 ?。殘差向量 e y - ? 則垂直于整個列空間。這個視角完美解釋了為什么殘差和為零與全1向量正交以及為什么預(yù)測值和殘差不相關(guān)。注意許多初學(xué)者只記得求導(dǎo)令偏導(dǎo)為零得到的正規(guī)方程 (X?X)β X?y卻忽略了其背后的幾何圖景。理解幾何意義能幫你立刻看穿多重共線性問題的本質(zhì)——當自變量列向量近乎線性相關(guān)時它們張成的列空間是一個“扁平”的空間投影極其不穩(wěn)定導(dǎo)致 (X?X) 接近奇異估計值 β 方差爆炸。3.1.2 假設(shè)檢驗與模型診斷算出回歸系數(shù)后工作只完成了一半。我們必須回答這個模型可靠嗎各個系數(shù)顯著嗎這就涉及到假設(shè)檢驗。t檢驗針對單個系數(shù) β_j 0 的檢驗。統(tǒng)計量 t β?_j / SE(β?_j) ~ t(n-p-1)。這里的關(guān)鍵是標準誤 SE(β?_j) 的計算它來源于殘差方差 σ2 的估計和 (X?X)?1 矩陣的對角線元素。F檢驗檢驗整個模型是否顯著所有斜率系數(shù)是否同時為零。本質(zhì)是比較完整模型和僅含截距項的簡化模型的殘差平方和。模型診斷同樣重要。我會用四張殘差圖作為標準檢查程序殘差 vs. 擬合值圖檢查線性、同方差性。若出現(xiàn)漏斗形說明存在異方差。殘差Q-Q圖檢查誤差正態(tài)性。點是否大致在45度線附近。殘差 vs. 自變量圖檢查模型是否遺漏了該自變量的非線性項或交互項。殘差 vs. 觀測順序圖時間序列數(shù)據(jù)檢查自相關(guān)性。3.1.3 從OLS到正則化嶺回歸與Lasso當數(shù)據(jù)存在多重共線性或特征維度很高時普通最小二乘OLS估計不穩(wěn)定或不可求。正則化技術(shù)通過給損失函數(shù)增加一個懲罰項來解決。嶺回歸 (Ridge)損失函數(shù)為 ∑(y_i - ?_i)2 λ∑β_j2。L2懲罰項使得系數(shù)估計向零收縮但不會精確為零。它穩(wěn)定了估計但模型可解釋性提升有限。Lasso (L1)損失函數(shù)為 ∑(y_i - ?_i)2 λ∑|β_j|。L1懲罰項具有稀疏性能將不重要的特征系數(shù)直接壓縮至零從而實現(xiàn)特征選擇。這是Lasso最吸引人的性質(zhì)。選擇λ通常通過交叉驗證。一個實操技巧是繪制系數(shù)路徑圖coefficient path橫坐標是 log(λ)縱坐標是系數(shù)值。你可以清晰地看到隨著懲罰力度加大各個系數(shù)如何收縮至零。3.2 梯度下降優(yōu)化算法的基石無論是線性回歸還是復(fù)雜的深度學(xué)習(xí)模型參數(shù)學(xué)習(xí)本質(zhì)上都是一個優(yōu)化問題。梯度下降及其變種是解決這類問題的核心。3.2.1 直觀理解與算法步驟想象你站在一座山上蒙著眼睛要找到山谷的最低點最小化損失函數(shù)。最樸素的想法就是用腳感受一下哪個方向最陡峭梯度然后朝那個方向的反方向邁一步更新參數(shù)。這就是梯度下降。 算法步驟初始化參數(shù) θ隨機或全零。循環(huán)直到收斂 a. 計算當前參數(shù) θ 處的損失函數(shù)梯度 ?J(θ)。 b. 更新參數(shù)θ ← θ - η * ?J(θ)。其中 η 是學(xué)習(xí)率控制步長。3.2.2 學(xué)習(xí)率最關(guān)鍵的超參數(shù)學(xué)習(xí)率 η 的選擇是藝術(shù)也是科學(xué)。太大會在山谷兩邊震蕩無法收斂甚至發(fā)散太小收斂速度慢如蝸牛且容易陷入局部極小點。自適應(yīng)學(xué)習(xí)率算法為了克服手動調(diào)參的困難出現(xiàn)了AdaGrad、RMSprop、Adam等算法。它們的基本思想是為每個參數(shù)維護一個歷史梯度信息并據(jù)此動態(tài)調(diào)整學(xué)習(xí)率。例如對于頻繁更新的參數(shù)給予較小的學(xué)習(xí)率讓它慢點對于不常更新的參數(shù)給予較大的學(xué)習(xí)率讓它快點。AdamAdaptive Moment Estimation結(jié)合了動量一階矩和自適應(yīng)學(xué)習(xí)率二階矩是目前最常用、默認效果不錯的優(yōu)化器。3.2.3 批量Batch的選擇SGD, Mini-batch, Batch GD批量梯度下降每次迭代使用全部訓(xùn)練數(shù)據(jù)計算梯度。梯度方向最準但計算開銷巨大且無法處理內(nèi)存裝不下的大數(shù)據(jù)集。隨機梯度下降每次迭代隨機使用一個樣本計算梯度。更新極快可以online learning但梯度噪聲大收斂路徑曲折。小批量梯度下降折中方案。每次使用一個小的隨機樣本子集如32, 64, 128。這是深度學(xué)習(xí)中的標配。它既降低了參數(shù)更新方差使收斂更穩(wěn)定又利用了硬件GPU的并行計算能力。實操心得在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時我通常會先嘗試Adam優(yōu)化器因為它對學(xué)習(xí)率不那么敏感。將Batch Size設(shè)置為GPU內(nèi)存能容納的最大值通常是2的冪次如32、64、128這能最大化硬件利用率。同時監(jiān)控訓(xùn)練損失和驗證損失曲線如果訓(xùn)練損失下降但驗證損失上升可能是過擬合或?qū)W習(xí)率太大。3.3 貝葉斯分類概率框架下的決策樸素貝葉斯分類器雖然“樸素”但其背后的貝葉斯思想?yún)s是整個概率機器學(xué)習(xí)的基礎(chǔ)。3.3.1 貝葉斯定理的再理解公式 P(A|B) P(B|A)P(A) / P(B) 不應(yīng)只被當作一個概率公式。在分類語境下A某個類別如“垃圾郵件”。B觀測到的數(shù)據(jù)特征如郵件內(nèi)容包含“免費”、“獲獎”等詞。P(A)先驗概率?；跉v史數(shù)據(jù)一封郵件是垃圾郵件的普遍可能性。P(B|A)似然。在已知是垃圾郵件的條件下觀察到這些特征的概率。P(A|B)后驗概率。在觀察到這些特征后這封郵件是垃圾郵件的最新概率。分類決策就是計算所有類別下的后驗概率 P(類別|數(shù)據(jù))然后選擇概率最大的那個類別。3.3.2 “樸素”假設(shè)與它的威力樸素貝葉斯的“樸素”在于它假設(shè)特征之間條件獨立即給定類別下每個特征的出現(xiàn)是獨立的。P(特征1, 特征2, ... | 類別) Π P(特征_i | 類別)。這個假設(shè)在現(xiàn)實中幾乎不成立比如“免費”和“獲獎”這兩個詞很可能同時出現(xiàn)但神奇的是在許多文本分類、簡單判別問題上它的效果非常好且計算極其高效。因為假設(shè)條件獨立我們可以分別估計每個 P(特征_i | 類別)。對于離散特征這通常就是統(tǒng)計訓(xùn)練集中該特征出現(xiàn)的頻率進行平滑處理如拉普拉斯平滑避免零概率問題。對于連續(xù)特征可以假設(shè)其服從某種分布如高斯分布然后估計均值和方差。3.3.3 與邏輯回歸的聯(lián)系與區(qū)別兩者都是分類模型但哲學(xué)不同生成式模型 vs. 判別式模型樸素貝葉斯是生成式模型。它先對聯(lián)合概率 P(特征, 類別) 建模通過先驗和似然然后通過貝葉斯定理得到后驗概率 P(類別|特征)。它嘗試描述每一類數(shù)據(jù)是如何“生成”的。邏輯回歸是判別式模型它直接對后驗概率 P(類別|特征) 進行建模不關(guān)心數(shù)據(jù)的生成過程。小數(shù)據(jù) vs. 大數(shù)據(jù)當訓(xùn)練數(shù)據(jù)很少時樸素貝葉斯憑借其更強的模型假設(shè)獨立性往往比邏輯回歸表現(xiàn)更好因為它需要估計的參數(shù)更少不易過擬合。當數(shù)據(jù)量很大、特征關(guān)聯(lián)性明顯時邏輯回歸這類判別式模型通常能學(xué)到更復(fù)雜的邊界表現(xiàn)更優(yōu)。4. 復(fù)習(xí)方法與實戰(zhàn)應(yīng)用指南4.1 如何高效使用這份資料進行復(fù)習(xí)這份資料不是用來“讀”的而是用來“查”和“練”的。我建議采用“問題-檢索-推導(dǎo)-驗證”的四步法提出問題面對一個實際場景或一道習(xí)題先明確要解決的核心數(shù)學(xué)問題是什么是求極值、分類、聚類、還是降維檢索模型根據(jù)問題類型在資料的目錄或索引中快速定位可能適用的數(shù)學(xué)模型。比如如果是預(yù)測連續(xù)值首先想到回歸家族線性、多項式、嶺、Lasso如果是分兩類考慮邏輯回歸、支持向量機、樸素貝葉斯。手動推導(dǎo)找到模型后不要只看結(jié)論。合上資料或關(guān)閉頁面嘗試自己推導(dǎo)核心公式。從最基本定義出發(fā)比如從線性回歸的損失函數(shù)推導(dǎo)正規(guī)方程從貝葉斯定理推導(dǎo)樸素貝葉斯分類器。這個過程能極大加深理解。代碼驗證推導(dǎo)完成后用一小段代碼Python的NumPy/SciPy或R實現(xiàn)該模型的核心計算步驟。比如自己用矩陣運算實現(xiàn)一遍最小二乘求解再與scikit-learn的LinearRegression結(jié)果對比。用隨機生成的數(shù)據(jù)驗證梯度下降的收斂性。“紙上得來終覺淺絕知此事要躬行?！贝a是實現(xiàn)想法的終極檢驗。4.2 從理論到代碼關(guān)鍵模型的實現(xiàn)要點這里以邏輯回歸和K-Means聚類為例說明在代碼實現(xiàn)時需要注意的細節(jié)。4.2.1 邏輯回歸的數(shù)值穩(wěn)定實現(xiàn)邏輯回歸使用sigmoid函數(shù) σ(z) 1 / (1 e^{-z}) 將線性組合映射到(0,1)區(qū)間作為概率。直接計算 e^{-z} 在z很大或很小時會遇到數(shù)值上溢或下溢問題。解決方案對sigmoid函數(shù)進行數(shù)值穩(wěn)定的實現(xiàn)。import numpy as np def sigmoid_stable(z): # 避免數(shù)值溢出 mask_positive (z 0) mask_negative (z 0) result np.zeros_like(z) # 當z 0時用 1 / (1 exp(-z))此時exp(-z)不會上溢 result[mask_positive] 1.0 / (1.0 np.exp(-z[mask_positive])) # 當z 0時用 exp(z) / (1 exp(z))此時exp(z)不會上溢 result[mask_negative] np.exp(z[mask_negative]) / (1.0 np.exp(z[mask_negative])) return result在計算對數(shù)似然損失log-loss時也應(yīng)使用類似的技巧避免對零取對數(shù)。4.2.2 K-Means的初始化與收斂K-Means算法很簡單但有兩個關(guān)鍵點影響結(jié)果初始中心點的選擇隨機初始化容易導(dǎo)致收斂到局部最優(yōu)。常用的改進方法是**K-Means**初始化。其核心思想是第一個中心隨機選后續(xù)每個中心點的選擇概率與它到已有最近中心點的距離平方成正比。這樣初始中心點會盡可能分散大大提升了找到全局最優(yōu)解的概率。Scikit-learn中KMeans的initk-means是默認選項。收斂判斷迭代直到中心點不再變化或變化小于某個閾值。但要注意K-Means可能在某些迭代中中心點在兩個配置之間來回振蕩雖然不常見。因此除了設(shè)置最大迭代次數(shù)一個好的實踐是同時監(jiān)控慣性inertia即樣本到其所屬簇中心的距離平方和。當慣性在連續(xù)幾次迭代中不再顯著下降時即可停止。4.3 模型評估與選擇不只是準確率評估模型性能是建模的最后一步也是決定模型能否上線的關(guān)鍵。對于不同任務(wù)評估指標截然不同。4.3.1 分類問題精確率、召回率與F1對于二分類問題特別是類別不平衡時準確率Accuracy具有欺騙性。例如在檢測罕見疾病患病率1%時一個把所有樣本都預(yù)測為健康的“傻瓜模型”準確率高達99%但毫無用處。精確率在所有被預(yù)測為正的樣本中真正為正的比例。Precision TP / (TP FP)。關(guān)注的是預(yù)測的準不準。召回率在所有真實為正的樣本中被正確預(yù)測出來的比例。Recall TP / (TP FN)。關(guān)注的是找的全不全。F1分數(shù)精確率和召回率的調(diào)和平均數(shù)。F1 2 * (Precision * Recall) / (Precision Recall)。是綜合衡量指標。通常精確率和召回率存在權(quán)衡Trade-off。通過調(diào)整分類閾值默認0.5我們可以得到一條P-R曲線。曲線下的面積AP或綜合考慮不同閾值下的F1分數(shù)如macro-F1, micro-F1能更好地評估模型。4.3.2 回歸問題MSE, RMSE, MAE, R2均方誤差MSE (1/n) * Σ(y_i - ?_i)2。對大的誤差懲罰更重是最常用的損失函數(shù)但其量綱是原數(shù)據(jù)量綱的平方。均方根誤差RMSE sqrt(MSE)。量綱與原數(shù)據(jù)一致更易解釋。平均絕對誤差MAE (1/n) * Σ|y_i - ?_i|。對異常點不如MSE敏感更穩(wěn)健。決定系數(shù) R2R2 1 - (SS_res / SS_tot)。表示模型解釋的數(shù)據(jù)方差比例。越接近1越好但要注意在特征很多時R2會天然偏高此時調(diào)整后的R2更可靠。4.3.3 交叉驗證穩(wěn)健的泛化能力估計永遠不要用訓(xùn)練數(shù)據(jù)來評估模型性能這會導(dǎo)致極度樂觀的估計。必須使用未參與訓(xùn)練的數(shù)據(jù)進行測試。當數(shù)據(jù)量不足時K折交叉驗證是金標準。將全部訓(xùn)練數(shù)據(jù)隨機分成K個大小相似的互斥子集。每次用其中K-1個子集的數(shù)據(jù)訓(xùn)練模型用剩下的1個子集驗證模型。重復(fù)K次每次用不同的子集驗證。將K次驗證結(jié)果的平均值作為模型性能的估計。通常K取5或10。一個更極端的版本是留一法交叉驗證即K等于樣本數(shù)N。它評估最準確但計算成本也最高適用于小樣本。5. 常見誤區(qū)、疑難解答與避坑指南5.1 概率與統(tǒng)計中的經(jīng)典陷阱5.1.1 混淆條件概率P(A|B) 與 P(B|A)這是貝葉斯定理中最常見的錯誤。例如某種疾病檢測方法的準確率是99%即如果一個人患病檢測為陽性的概率是99%P(陽性|患病)0.99。如果疾病發(fā)病率是0.1%P(患病)0.001那么一個人檢測為陽性時其真正患病的概率 P(患病|陽性) 是多少很多人會脫口而出99%但根據(jù)貝葉斯公式計算 P(患病|陽性) P(陽性|患病)P(患病) / P(陽性) 0.990.001 / (0.990.001 0.01*0.999) ≈ 0.09。 只有9%原因在于健康人群基數(shù)太大即使檢測有1%的假陽性率也會產(chǎn)生大量的陽性檢測結(jié)果。5.1.2 相關(guān)不等于因果這是數(shù)據(jù)分析的“第一誡”。發(fā)現(xiàn)變量X和Y高度相關(guān)絕不能直接得出“X導(dǎo)致Y”的結(jié)論?？赡艽嬖?混淆變量一個潛在的變量Z同時影響X和Y2反向因果Y導(dǎo)致X3純屬巧合。建立因果關(guān)系需要更嚴謹?shù)脑O(shè)計如隨機對照實驗。5.1.3 過擬合與欠擬合的識別過擬合模型在訓(xùn)練集上表現(xiàn)極好損失很低準確率很高但在測試集或新數(shù)據(jù)上表現(xiàn)很差。模型過于復(fù)雜學(xué)到了訓(xùn)練數(shù)據(jù)中的噪聲和特例。診斷訓(xùn)練誤差遠小于驗證誤差。解決簡化模型減少特征、降低多項式次數(shù)、增加正則化、獲取更多數(shù)據(jù)、使用Dropout神經(jīng)網(wǎng)絡(luò)等。欠擬合模型在訓(xùn)練集和測試集上都表現(xiàn)不佳。模型過于簡單無法捕捉數(shù)據(jù)中的基本規(guī)律。診斷訓(xùn)練誤差和驗證誤差都很高。解決增加模型復(fù)雜度增加特征、使用更強大的模型、減少正則化、訓(xùn)練更長時間。5.2 線性代數(shù)在機器學(xué)習(xí)中的核心作用很多機器學(xué)習(xí)算法本質(zhì)上是線性代數(shù)運算。理解這些背后的線性代數(shù)概念能讓你看透算法本質(zhì)。5.2.1 矩陣分解SVD與PCA奇異值分解SVD是線性代數(shù)的瑞士軍刀。任何一個矩陣 A (m×n) 都可以分解為 A U Σ V?其中U和V是正交矩陣Σ是對角矩陣奇異值。 主成分分析PCA可以完美地用SVD解釋對數(shù)據(jù)中心化后的數(shù)據(jù)矩陣X進行SVD右奇異矩陣V的列就是主成分方向奇異值的平方除以n-1就是對應(yīng)主成分的方差。要降到k維只需取前k個主成分方向V的前k列對數(shù)據(jù)投影即可。SVD的數(shù)值穩(wěn)定性遠高于直接計算協(xié)方差矩陣的特征值分解是實際計算PCA的推薦方法。5.2.2 矩陣的秩與解空間在線性回歸中正規(guī)方程 (X?X)β X?y 有唯一解的充要條件是 (X?X) 可逆即X是列滿秩的rank(X) pp為特征數(shù)。如果X不是列滿秩存在多重共線性則 (X?X) 不可逆有無窮多解。此時最小二乘問題的最小范數(shù)解可以通過求偽逆 X? 得到β X? y。在數(shù)值計算中即使X滿秩但如果條件數(shù)很大近似奇異解也會極不穩(wěn)定這正是需要嶺回歸通過增加λI使矩陣條件數(shù)改善的原因。5.3 優(yōu)化算法中的實用技巧5.3.1 梯度檢查當你自己實現(xiàn)一個復(fù)雜的模型比如神經(jīng)網(wǎng)絡(luò)時如何確保你手推的梯度公式是正確的一個極其有效的方法是梯度檢查。 使用導(dǎo)數(shù)的定義進行數(shù)值近似?J/?θ_i ≈ [J(θ_i ε) - J(θ_i - ε)] / (2ε)其中ε是一個很小的數(shù)如1e-7。將你通過解析公式計算出的梯度與這個數(shù)值梯度進行比較。如果它們的相對誤差在很小的范圍內(nèi)如1e-7那么你的梯度實現(xiàn)很可能是正確的。這是調(diào)試自定義層或損失函數(shù)時的必備工具。5.3.2 學(xué)習(xí)率衰減策略固定學(xué)習(xí)率可能不是最優(yōu)的。在訓(xùn)練后期我們希望以更小的步長微調(diào)參數(shù)以接近最優(yōu)點。常用的學(xué)習(xí)率衰減策略有階梯衰減每經(jīng)過一定輪數(shù)epoch將學(xué)習(xí)率乘以一個衰減系數(shù)如0.1。指數(shù)衰減學(xué)習(xí)率按指數(shù)函數(shù)衰減η_t η_0 * γ^t其中γ是衰減率。余弦退火學(xué)習(xí)率隨訓(xùn)練過程按照余弦函數(shù)從初始值降低到0。有時會配合熱重啟在訓(xùn)練中周期性地突然將學(xué)習(xí)率調(diào)回一個較高值幫助模型跳出局部極小點。在實際操作中我通常先用一個較大的固定學(xué)習(xí)率快速下降在驗證集性能平臺期時切換到余弦退火或階梯衰減進行精細調(diào)優(yōu)。這份“自用款”復(fù)習(xí)資料的核心就是把那些散落在書本角落、課堂筆記和項目代碼里的數(shù)學(xué)洞察用一條“理解-應(yīng)用-避坑”的主線串起來。它永遠沒有最終版因為我的理解和實踐在持續(xù)更新。如果你在復(fù)習(xí)某個模型時有更巧妙的記憶方法、更深刻的理解角度、或者踩過什么有趣的坑非常歡迎交流我們可以一起讓這個“工具箱”變得更趁手。數(shù)學(xué)模型的魅力就在于它用簡潔的公式描摹著復(fù)雜世界的規(guī)律而掌握它的最好方式就是不斷地問“為什么”然后親手去驗證。