簡介《AI培訓(xùn)1-AI初體驗-人工智能通識基礎(chǔ)課》是一套面向零基礎(chǔ)學(xué)習(xí)者的人工智能入門講義圍繞AI基本概念、發(fā)展脈絡(luò)與大數(shù)據(jù)背景下的實際應(yīng)用展開幫助讀者建立通識框架并銜接后續(xù)學(xué)習(xí)。內(nèi)容從達(dá)特茅斯會議與符號主義、連接主義講起延伸到機器學(xué)習(xí)、自然語言處理、計算機視覺和機器人技術(shù)等核心分支同時涉及數(shù)據(jù)預(yù)處理、特征工程及Hadoop、Spark等平臺在AI項目中的角色并討論隱私、就業(yè)與算法歧視等倫理議題。壓縮包內(nèi)為1個PDF文件約6.25MB便于集中閱讀和隨時查閱。已有385人學(xué)習(xí)適合希望用較短時間梳理AI知識地圖、理解典型應(yīng)用并形成倫理意識的初學(xué)者。1. 從一個「訓(xùn)練集 99%、線上 62%」的落差說起一個模型在訓(xùn)練集上準(zhǔn)確率 99%上線一周掉到 62%。這不是段子是幾乎每個剛接觸人工智能項目的團(tuán)隊都會撞上的第一堵墻而且它跟算力、跟框架版本都沒關(guān)系——問題出在整條鏈路的某一環(huán)被悄悄破壞了。大多數(shù)人學(xué) AI 的順序是反的先去調(diào)包跑通一個模型再回頭補概念最后才發(fā)現(xiàn)自己根本說不清「數(shù)據(jù)是怎么進(jìn)來的」。這份人工智能通識基礎(chǔ)課的價值不在于教你調(diào)某個庫而在于把從概念、范式、大數(shù)據(jù)管道到倫理邊界這條鏈路一次鋪開讓你在動手之前就知道哪一步會塌。搞懂它你才有判斷一個 AI 需求該不該接、能不能落地的底氣而不是被人一句「上個大模型」?fàn)恐摺?. 從規(guī)則到表示學(xué)習(xí)為什么「把知識寫進(jìn) if-else」的成本會指數(shù)爆炸人工智能早期的路子非常樸素人怎么想就把這個過程翻譯成規(guī)則。符號主義那一代研究者相信智能的本質(zhì)是對符號的運算只要把世界拆成實體和關(guān)系再寫足夠多的推理規(guī)則機器就能表現(xiàn)出智能。這個信念在實驗室里成立在工業(yè)界撞了墻墻的名字叫「知識獲取瓶頸」。搞懂這個瓶頸你才能明白后面所有技術(shù)選擇為什么長成現(xiàn)在這個樣子。2.1 知識獲取瓶頸規(guī)則系統(tǒng)的成本曲線長什么樣規(guī)則系統(tǒng)的成本不是線性的。假設(shè)你做一個工單自動分類器一開始 200 條關(guān)鍵詞規(guī)則能覆蓋 80% 的工單看起來很美。等你要把覆蓋率從 80% 推到 95%得再寫 2000 條規(guī)則從 95% 推到 98%可能還要 5000 條而且每加一條新規(guī)則都要回頭檢查它會不會和已有規(guī)則沖突。規(guī)則之間的交互是組合式的N 條規(guī)則的潛在沖突面接近 N2維護(hù)成本隨規(guī)模平方增長而收益是線性甚至次線性的。更麻煩的是「邊界情況」。規(guī)則是人根據(jù)經(jīng)驗寫的人寫規(guī)則時腦子里想的是典型案例而真實數(shù)據(jù)里長尾部分永遠(yuǎn)比你預(yù)想的多。一個做票據(jù)識別的團(tuán)隊曾統(tǒng)計過他們前 300 條規(guī)則處理了標(biāo)準(zhǔn)票據(jù)后面 3000 條規(guī)則全在處理「蓋章位置偏了」「手寫體潦草」「掃描件有折痕」這類邊角料。規(guī)則越寫越像在給數(shù)據(jù)打補丁而不是在描述規(guī)律。這就是「知識獲取瓶頸」的真實含義知識明明存在專家腦子里但要把它轉(zhuǎn)成機器能執(zhí)行的符號中間那道人工翻譯的成本高到不可持續(xù)。專家會老、會走規(guī)則文檔會腐爛最后沒人敢動那個文件。血淚經(jīng)驗是凡是需要三個人以上長期維護(hù)的規(guī)則庫基本都已經(jīng)在失控邊緣。2.2 表示學(xué)習(xí)替換掉的到底是哪一層人力連接主義換了個思路不告訴機器「怎么判斷」只給機器「判斷得對不對」讓它自己去找中間表示。這一換換掉的正是那道人工翻譯工序。原始像素、原始文本、原始點擊日志直接喂進(jìn)去模型內(nèi)部自己長出「邊緣」「紋理」「詞組合」這類中間概念。這些概念沒有名字你也沒法用一句話描述它們但它們確實把原始輸入搬到了一個更容易做線性劃分的空間里。下面這段代碼是一個最小可訓(xùn)練單元它沒有任何業(yè)務(wù)規(guī)則全部參數(shù)都從數(shù)據(jù)里長出來import numpy as np # 一個最小可訓(xùn)練單元h relu(xW1 b1)logits hW2 b2 # 注意W 不是人寫的規(guī)則而是訓(xùn)練過程中被數(shù)據(jù)推出來的 rng np.random.default_rng(42) D_IN, D_HID, D_OUT 784, 128, 10 # He 初始化方差按 fan_in 縮放避免深層網(wǎng)絡(luò)激活值逐層塌縮 W1 rng.normal(0, np.sqrt(2.0 / D_IN), size(D_IN, D_HID)) b1 np.zeros(D_HID) W2 rng.normal(0, np.sqrt(2.0 / D_HID), size(D_HID, D_OUT)) b2 np.zeros(D_OUT) def forward(x): h np.maximum(0.0, x W1 b1) # 隱層把 784 維像素搬到 128 維新空間 logits h W2 b2 # 輸出層在新空間里做線性劃分 return h, logits params W1.size b1.size W2.size b2.size print(params) # 101770約 10 萬個可調(diào)數(shù)字參數(shù)量算下來是 784×128 128 128×10 10 101770。這 10 萬個數(shù)字沒有任何一個對應(yīng)「如果有『發(fā)票』二字則加分」這樣的語義它們是一組讓損失函數(shù)下降的數(shù)值解。np.sqrt(2.0 / D_IN)里的 2 來自 ReLU 把一半激活值置零、方差減半這一事實除數(shù)fan_in是輸入維度——這是為了讓每一層的輸出方差大致穩(wěn)定否則堆到十幾層時前向信號會趨近于零反向梯度會趨近于無窮訓(xùn)練直接崩。np.maximum(0, ...)這一行看起來無害它才是「表示學(xué)習(xí)」能成立的關(guān)鍵。沒有非線性兩層線性疊起來還是線性等價于一層堆多深都沒用。有了 ReLU網(wǎng)絡(luò)才有能力把輸入空間折疊成任意形狀隱層的那 128 個數(shù)字才真正成為一組「學(xué)出來的特征」替代掉原本要人手寫的特征模板。2.3 三代范式的真實關(guān)系是疊加不是替代很多人學(xué)完歷史沿革會產(chǎn)生一個錯覺符號主義被連接主義淘汰了。實際情況是三層技術(shù)疊在一起各自守著自己的地盤。符號系統(tǒng)擅長的是「規(guī)則明確、可審計、不能出錯」的場景——審批流、額度計算、合規(guī)校驗這些地方你必須要有一個能打印出來給人看的判定依據(jù)神經(jīng)網(wǎng)絡(luò)的概率輸出在這里反而是缺陷。統(tǒng)計學(xué)習(xí)那一層夾在中間它不追求理解語義只追求在特征空間里找到一條分界線。風(fēng)控里的評分卡模型就是典型特征是人挑的、可解釋的模型只負(fù)責(zé)加權(quán)。深度學(xué)習(xí)的出現(xiàn)沒有讓評分卡消失因為業(yè)務(wù)方需要知道「為什么拒絕這筆申請」而一個 128 維隱層給不出這個答案。所以判斷一個需求該不該上模型有個很土但好用的標(biāo)準(zhǔn)這個問題你能不能用三句話把判定規(guī)則寫清楚能就寫規(guī)則別上模型不能但你手上有大量「輸入-正確答案」的樣本那就是監(jiān)督學(xué)習(xí)的地盤既說不清規(guī)則又沒有樣本那才是真正麻煩的情況通常得先想辦法把數(shù)據(jù)攢出來。這條判斷線比任何算法選型表都實用。3. 三類范式的分水嶺監(jiān)督、無監(jiān)督、強化學(xué)習(xí)的「反饋信號」從哪來機器學(xué)習(xí)被切成監(jiān)督、無監(jiān)督、強化三塊教科書通常按「有沒有標(biāo)簽」來分。這個分法沒錯但不夠本質(zhì)。真正的分水嶺是你用來指導(dǎo)模型改進(jìn)的那個「反饋信號」是從哪來的它的信息量有多大它的噪聲有多大。搞清這一點你就能預(yù)判一個任務(wù)大概能做成什么樣。3.1 監(jiān)督學(xué)習(xí)損失函數(shù)其實是「答案的距離函數(shù)」監(jiān)督學(xué)習(xí)的信息量最足因為每個樣本都帶著標(biāo)準(zhǔn)答案。模型輸出一個預(yù)測損失函數(shù)計算它和答案之間的距離反向傳播把這個距離翻譯成每個參數(shù)的調(diào)整方向。整個訓(xùn)練過程就是在參數(shù)空間里沿著梯度的反方向往下走。分類任務(wù)最常用的損失是交叉熵它和 softmax 綁在一起用是有原因的import numpy as np def softmax(logits): # 減去最大值只為數(shù)值穩(wěn)定數(shù)學(xué)上等價不改變輸出分布 z logits - logits.max(axis-1, keepdimsTrue) e np.exp(z) return e / e.sum(axis-1, keepdimsTrue) logits np.array([2.0, 1.0, 0.1]) y_true 0 # 正確類別是第 0 類 p softmax(logits) # [0.6590, 0.2424, 0.0986] loss -np.log(p[y_true]) # 0.4170 grad p.copy() grad[y_true] - 1.0 # dL/dlogits softmax 輸出 - onehot 標(biāo)簽 print(p, loss, grad) # grad [-0.3410, 0.2424, 0.0986]關(guān)鍵在最后兩行。交叉熵對 logits 的梯度恰好等于「預(yù)測概率減真實標(biāo)簽」形式極其干凈預(yù)測偏高的類別得到負(fù)梯度往下壓偏低的類別得到正梯度往上抬梯度大小自動正比于預(yù)測錯得有多離譜。這就是為什么分類任務(wù)幾乎不用均方誤差——均方誤差經(jīng)過 softmax 后梯度里會多出一個p(1-p)因子當(dāng)模型錯得很自信時這個因子接近 0梯度反而消失學(xué)不動。-np.log(p[y_true])這一項還有個細(xì)節(jié)如果預(yù)測概率真的到了 0log 會變成負(fù)無窮。工程上沒人直接這么寫都是把 softmax 和交叉熵合成一個算子做數(shù)值穩(wěn)定或者給概率加一個極小的 epsilon。這是新手最常翻的車之一訓(xùn)練到一半 loss 變nan八成是在這里。監(jiān)督學(xué)習(xí)的軟肋是標(biāo)簽本身。標(biāo)簽是人標(biāo)的人會有分歧、會累、會按自己的理解偏。一個團(tuán)隊花三個月把準(zhǔn)確率從 91% 調(diào)到 93%最后發(fā)現(xiàn)標(biāo)注一致性只有 88%——上限早就被標(biāo)注質(zhì)量鎖死了后面的調(diào)優(yōu)全是在擬合標(biāo)注噪聲。3.2 無監(jiān)督學(xué)習(xí)沒有標(biāo)簽時優(yōu)化目標(biāo)是誰定的無監(jiān)督學(xué)習(xí)常被誤解成「沒有目標(biāo)」其實它有目標(biāo)只是目標(biāo)不是人給的答案而是人從數(shù)據(jù)結(jié)構(gòu)里假設(shè)出來的某種「好」。聚類假設(shè)「好的劃分是簇內(nèi)緊湊、簇間分離」降維假設(shè)「好的表示是丟掉的維度信息最少」自監(jiān)督假設(shè)「被遮住的部分可以從上下文推回來」。這些假設(shè)對不對沒有人告訴你。這就是無監(jiān)督最難受的地方優(yōu)化目標(biāo)是你自己定的所以效果好不好也得你自己判斷沒有一個客觀的 ground truth 兜底。KMeans 是最典型的例子它最小化簇內(nèi)平方和但聚類數(shù) k 必須人來指定。你給 k5它就會把數(shù)據(jù)切成 5 塊哪怕數(shù)據(jù)本來有 12 個自然簇。它不會報錯不會警告只會給你一個看起來挺整齊的結(jié)果。常見的應(yīng)對思路是換評估維度輪廓系數(shù)、簇的穩(wěn)定性換隨機種子重跑看結(jié)果是否一致、以及最土但最有效的一招——把簇心拿出來給業(yè)務(wù)方看問一句「這五類說得通嗎」。業(yè)務(wù)不認(rèn)可的聚類數(shù)學(xué)指標(biāo)再漂亮也沒用。自監(jiān)督是這幾年最值得關(guān)注的方向它的巧妙之處在于從數(shù)據(jù)本身造標(biāo)簽遮住句子里一個詞讓模型猜把同一張圖做兩種增強讓模型判斷是不是同源。這樣既有監(jiān)督學(xué)習(xí)那樣明確的損失函數(shù)又不需要人工標(biāo)注。這條路子把「無監(jiān)督?jīng)]有客觀目標(biāo)」的問題繞過去了代價是造出來的任務(wù)和真實任務(wù)之間存在偏差預(yù)訓(xùn)練學(xué)到的東西未必都對下游有用。3.3 強化學(xué)習(xí)延遲回報下的信用分配強化學(xué)習(xí)的信息形態(tài)和前兩者完全不同。它既沒有標(biāo)準(zhǔn)答案也沒有數(shù)據(jù)結(jié)構(gòu)假設(shè)只有一個標(biāo)量獎勵而且這個獎勵往往是延遲的——下圍棋要走完 200 手才知道輸贏推薦系統(tǒng)要用戶停留十分鐘才知道這次推得好不好。延遲回報帶來兩個硬問題。第一個是信用分配最終贏了到底是第 37 手那步妙棋的功勞還是第 180 手對手失誤送的常見的做法是引入折扣因子 γ把未來獎勵按 γ^t 折現(xiàn)回當(dāng)前時刻越遠(yuǎn)的獎勵權(quán)重越小。γ0.99 意味著 100 步之后的獎勵只剩三分之一的影響力這個數(shù)怎么定直接決定了模型是短視還是遠(yuǎn)視。第二個是探索與利用的權(quán)衡。模型當(dāng)前認(rèn)為最優(yōu)的動作未必真的最優(yōu)如果一直選它就永遠(yuǎn)發(fā)現(xiàn)不了更好的選擇如果一直亂試又積累不了有效經(jīng)驗。這個問題在監(jiān)督學(xué)習(xí)里根本不存在因為答案已經(jīng)擺在那里了你只需要逼近它。強化學(xué)習(xí)在通識課里通常只講概念不講實現(xiàn)原因很實際樣本效率太低。一個監(jiān)督學(xué)習(xí)任務(wù)幾千條樣本能出效果同樣的問題用強化學(xué)習(xí)可能要幾百萬次交互而且訓(xùn)練曲線抖動劇烈換個隨機種子結(jié)果能差一倍。所以真實項目里的順序一般是能用監(jiān)督學(xué)習(xí)解決就別碰強化學(xué)習(xí)實在沒有標(biāo)注數(shù)據(jù)、又必須做序列決策時才考慮它。維度監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)強化學(xué)習(xí)反饋信號每條樣本的標(biāo)準(zhǔn)答案人為構(gòu)造的結(jié)構(gòu)假設(shè)環(huán)境返回的標(biāo)量獎勵典型損失交叉熵、均方誤差簇內(nèi)平方和、重構(gòu)誤差策略梯度、時序差分誤差評估難度低有客觀指標(biāo)高需業(yè)務(wù)確認(rèn)高方差大且依賴環(huán)境主要失敗模式標(biāo)簽噪聲、數(shù)據(jù)泄漏假設(shè)不成立、k 值拍腦袋樣本效率低、獎勵設(shè)計錯誤4. 大數(shù)據(jù)管道為什么迭代訓(xùn)練受不了「落盤」以及特征工程為什么會泄漏模型只是整條鏈路的最后一環(huán)。真實項目里從原始日志到能喂進(jìn)模型的特征矩陣中間那段管道決定了效果的上限。這一段最容易被初學(xué)者忽略也最容易出那種「代碼沒報錯、結(jié)果就是不對」的隱性問題。4.1 預(yù)處理與特征工程模型效果的大頭在進(jìn)入模型之前原始數(shù)據(jù)幾乎不能直接用。缺失值要處理刪、填均值、填中位數(shù)、還是單獨標(biāo)記成一個類別每種選擇都在向模型注入假設(shè)類別變量要編碼獨熱編碼在基數(shù)上萬時會炸成幾萬列稀疏矩陣目標(biāo)編碼又極易泄漏連續(xù)值要縮放不同量綱的特征會讓梯度下降走成之字形收斂慢十倍。量綱這件事值得單獨說。一個特征范圍是 0 到 1另一個是 0 到 1000000梯度對前者幾乎是平的、對后者極其陡峭學(xué)習(xí)率沒法同時適配。標(biāo)準(zhǔn)化減均值除標(biāo)準(zhǔn)差和歸一化縮到 [0,1]解決的就是這個問題讓所有維度在同一個尺度上被平等對待。但縮放有個前提條件經(jīng)常被違反統(tǒng)計量只能來自訓(xùn)練集。下面的寫法看著很自然其實是錯的import pandas as pd train df.iloc[:8000].copy() test df.iloc[8000:].copy() # 錯誤均值和標(biāo)準(zhǔn)差用到了 test 的信息測試集不再是沒見過的數(shù)據(jù) mu_all, sd_all df[amount].mean(), df[amount].std() # 正確統(tǒng)計量只從 train 計算然后用同一組參數(shù)變換 test mu, sd train[amount].mean(), train[amount].std() train[amount_z] (train[amount] - mu) / sd test[amount_z] (test[amount] - mu) / sd # 注意用的是 train 的 mu/sd差別在哪用全量統(tǒng)計量時測試集的分布信息提前滲進(jìn)了訓(xùn)練過程模型在離線評估里表現(xiàn)會虛高一點點。連續(xù)特征上這個偏差通常很小所以它不顯眼但換成目標(biāo)編碼用標(biāo)簽均值替換類別就是災(zāi)難級的——每個類別的編碼值里都摻進(jìn)了測試樣本的標(biāo)簽離線 AUC 能沖到 0.99上線立刻打回原形。更隱蔽的是時間維度。用隨機切分做時間序列的 train/test等于讓模型用未來的數(shù)據(jù)預(yù)測過去。正確做法是按時間點切用前 8 個月訓(xùn)后 2 個月測。這一條在風(fēng)控、銷量預(yù)測、推薦里都是鐵律違反了模型學(xué)到的全是「未來信息」。4.2 從磁盤屏障到 DAG 內(nèi)存復(fù)用分布式計算范式換了什么數(shù)據(jù)量超過單機內(nèi)存時就得靠分布式。第一代方案的思路很清晰把計算拆成 map 和 reduce 兩個階段中間結(jié)果落盤靠磁盤扛住數(shù)據(jù)量。這套模型皮實、容錯簡單但有個致命傷——每一次計算都要讀盤、寫盤。機器學(xué)習(xí)訓(xùn)練恰恰是迭代式的。梯度下降要跑幾百輪每輪都要把全量數(shù)據(jù)過一遍。如果每輪都是一個獨立的批處理作業(yè)那就意味著幾百次「讀盤→算→寫盤→再讀盤」。磁盤 IO 和網(wǎng)絡(luò)傳輸成了絕對瓶頸CPU 大部分時間在等數(shù)據(jù)。有人測過在這種范式下做迭代計算真正的計算時間占比可能不到 10%。第二代方案改的是執(zhí)行計劃。它把整個計算表達(dá)成一張有向無環(huán)圖多個算子能連續(xù)執(zhí)行的就連成一個階段中間結(jié)果留在內(nèi)存里直接喂給下一個算子只在必須跨節(jié)點重分區(qū)的邊界上才落盤。注意不是「不落盤」而是把落盤次數(shù)從「每個算子一次」壓到「每次重分區(qū)一次」。容錯機制也跟著換了。既然中間結(jié)果不落盤機器掛了怎么恢復(fù)答案是記錄血緣每個數(shù)據(jù)集記住自己是由哪個數(shù)據(jù)集經(jīng)過什么算子算出來的丟了就按血緣重算那一部分。代價是重算收益是平時不用付落盤的代價。這個取舍很典型——用計算換 IO。維度批處理落盤范式DAG 內(nèi)存計算范式中間結(jié)果每個階段寫磁盤盡量留在內(nèi)存僅在重分區(qū)時落盤迭代任務(wù)每輪一個獨立作業(yè)IO 開銷巨大多輪共享同一批緩存數(shù)據(jù)容錯方式失敗重跑整個作業(yè)按血緣關(guān)系重算丟失分區(qū)適用場景一次性離線清洗、超大冷數(shù)據(jù)迭代訓(xùn)練、交互式分析、多步管道理解了這一層「為什么有些框架做迭代快、有些做批處理穩(wěn)」就不再是玄學(xué)而是執(zhí)行計劃里落盤次數(shù)的差異。選型時問一句「這個任務(wù)要迭代多少輪、數(shù)據(jù)能不能塞進(jìn)內(nèi)存」答案基本就出來了。4.3 特征泄漏最隱蔽也最致命的一類錯誤前面提了統(tǒng)計量泄漏和時間泄漏還有一類更狡猾的特征本身在預(yù)測發(fā)生的那一刻根本拿不到。比如預(yù)測用戶會不會下單你用上了「本次會話的最終成交金額」——這個字段在預(yù)測時點是不存在的但它和標(biāo)簽高度相關(guān)模型會死死抓住它離線指標(biāo)漂亮得不像話。排查這類問題的辦法很笨但很有效把每個特征拿出來問一句「這條記錄產(chǎn)生的那一秒這個值算出來了嗎」。答不上來的一律先剔除。另一個辦法是看特征重要性排名如果某個特征的重要性高得離譜比如單特征 AUC 就 0.9先懷疑泄漏別急著慶祝。5. 常見問題與排查五個把「通識」學(xué)成「玄學(xué)」的坑通識基礎(chǔ)課講完概念真正的考驗在動手。下面這幾條是初學(xué)者最容易踩的幾乎每一條我都見過有人在同一個地方反復(fù)翻車。按「現(xiàn)象 → 原因 → 解決」記下來比背公式管用。5.1 效果類故障訓(xùn)練集好看、線上難看現(xiàn)象訓(xùn)練集準(zhǔn)確率 99%驗證集 97%上線一周掉到 62%而且隨著時間推移還在往下掉。原因三種可能按概率排序。第一是數(shù)據(jù)泄漏驗證集和訓(xùn)練集之間存在信息滲透前面講的統(tǒng)計量泄漏、時間泄漏都算。第二是分布漂移線上數(shù)據(jù)的分布和訓(xùn)練時不一樣比如訓(xùn)練數(shù)據(jù)來自某幾個渠道上線后全渠道流量涌入。第三是評估口徑不一致離線算的是「所有樣本的平均準(zhǔn)確率」線上業(yè)務(wù)方看的是「高價值用戶里的準(zhǔn)確率」兩個數(shù)根本不是一回事。解決先做時間切分的驗證用最近一個月的數(shù)據(jù)當(dāng)測試集看指標(biāo)掉多少再逐個特征排查泄漏最后和業(yè)務(wù)方對齊評估口徑把線上真正關(guān)心的那一小撮樣本單獨算指標(biāo)。三件事做完通常能定位到具體是哪一環(huán)。5.2 工程類故障loss 不降、loss 變 nan、顯存爆掉現(xiàn)象訓(xùn)練跑了十輪loss 在 2.3 附近紋絲不動或者第二輪直接變成nan。原因loss 不動的頭號原因是學(xué)習(xí)率。太大參數(shù)在最優(yōu)解附近來回橫跳loss 劇烈震蕩太小十輪走不出初始化那一片平地。第二號原因是標(biāo)簽錯位——特征和標(biāo)簽沒對齊模型在學(xué)隨機噪聲這種情況下 loss 會穩(wěn)定在一個接近隨機猜測的值上二分類約 0.693。變成nan則多半是數(shù)值問題log(0)、除零、梯度爆炸。解決先跑一個極小數(shù)據(jù)集比如 32 條樣本過擬合看看如果連 32 條都擬合不了說明代碼有 bug 而不是調(diào)參問題。然后打印第一批數(shù)據(jù)的特征和標(biāo)簽人工核對是否對應(yīng)。學(xué)習(xí)率從 1e-3 開始按 3 倍網(wǎng)格搜觀察前 100 步的 loss 曲線形狀。加梯度裁剪防爆炸softmax 前減最大值防溢出。現(xiàn)象顯存把 batch size 調(diào)到 256 就 OOM調(diào)到 32 又抖得厲害。原因顯存占用大致正比于 batch size 乘以單樣本的激活值而激活值和模型深度、序列長度都相關(guān)。參數(shù)本身占的顯存反而是小頭。解決用梯度累積——batch 設(shè) 32連跑 8 次把梯度累加起來再更新一次等效 batch 是 256顯存只按 32 算。再配合混合精度顯存還能再省一半。這兩招基本能讓你在小顯存上跑出大 batch 的效果。5.3 合規(guī)類故障把不該進(jìn)模型的東西喂進(jìn)去現(xiàn)象模型效果很好但上線評審被卡住或者上線后收到用戶投訴。原因特征里混進(jìn)了敏感屬性性別、年齡、地域等模型可能學(xué)出歧視性的決策路徑或者訓(xùn)練數(shù)據(jù)里含有未脫敏的個人信息模型把它記住了。這類問題的特點是不會在指標(biāo)上暴露只會在合規(guī)審查或用戶反饋時爆出來。解決建模前先做特征清單評審把每個字段的合規(guī)屬性標(biāo)出來訓(xùn)練數(shù)據(jù)入湖前做脫敏上線前跑一遍公平性評估看不同群體的通過率差異是否在可接受范圍內(nèi)。通識課里專門講 AI 倫理不是湊數(shù)它是唯一一類「技術(shù)指標(biāo)全綠但項目直接死掉」的風(fēng)險。提示排查順序永遠(yuǎn)是「數(shù)據(jù) → 特征 → 切分 → 模型 → 超參」從上游往下游查。反過來查你會在調(diào)參上浪費掉 80% 的時間。6. 取舍的邊界為什么入門階段先學(xué)「不做什么」通識課有個繞不開的取舍是先把數(shù)學(xué)推導(dǎo)講透還是先把邊界和失敗模式講清。前者嚴(yán)謹(jǐn)?shù)鯇W(xué)者在還不會用工具的時候就被矩陣求導(dǎo)勸退后者實用代價是學(xué)員暫時說不清反向傳播的鏈?zhǔn)椒▌t細(xì)節(jié)。這門課選了后者我認(rèn)為這個選擇是對的——入門階段最大的成本不是「不會算」而是「用錯工具還渾然不覺」。判斷自己有沒有真的學(xué)進(jìn)去可以用三個問題自測給你一個業(yè)務(wù)需求你能不能說出它屬于哪類范式、需要什么樣的反饋信號給你一份數(shù)據(jù)你能不能判斷哪些字段在預(yù)測時點拿不到給你一個 99% 的離線指標(biāo)你的第一反應(yīng)是慶祝還是懷疑泄漏。三個問題都答得上來說明底層認(rèn)知已經(jīng)建起來了剩下的調(diào)參和工程細(xì)節(jié)都是時間問題。至于進(jìn)階方向我的建議是先往「數(shù)據(jù)」走而不是往「模型」走。把特征工程、數(shù)據(jù)切分、評估口徑這三件事做扎實收益遠(yuǎn)大于換一個更先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)。真實項目里模型結(jié)構(gòu)的差異往往只有一兩個點而數(shù)據(jù)管道的一個泄漏能讓指標(biāo)虛高三十個點。早年我在一個模擬項目里帶過一個組為了把離線指標(biāo)刷到 0.95 連熬了兩周換模型、調(diào)超參、加特征最后發(fā)現(xiàn)是目標(biāo)編碼時用了全量標(biāo)簽指標(biāo)是假的。刪掉那個特征之后模型的真實水平只有 0.78而這兩周里沒有一個人想過去核對一下切分邏輯。從那以后我每次拿到一份漂亮得不像話的離線結(jié)果都強制先跑一遍「這個特征在預(yù)測時點拿得到嗎」的清單一個字段一個字段過過完才允許自己高興。希望幫到你。本文還有配套的精品資源點擊獲取