直接上干貨這次咱們用Matlab整點(diǎn)實(shí)用的CNN分類模型支持多維特征輸入二分類和多分類都能玩。先看效果再說原理代碼直接扒下來就能用替換數(shù)據(jù)分分鐘搞定——這話聽著就帶勁因?yàn)橛肕atlab寫CNN的教程是真的少大部分一搜全是Python PyTorch可咱們工業(yè)界、實(shí)驗(yàn)室里大量老系統(tǒng)、儀器采集程序都是基于Matlab的數(shù)據(jù)預(yù)處理、特征提取、畫圖、報(bào)表全在一條鏈路上你非要為了一個(gè)分類器去搭Python環(huán)境、學(xué)新框架、折騰CUDA那性價(jià)比屬實(shí)太低。這篇博文不講故事、不寫情懷就講一套我實(shí)際調(diào)通過的Matlab CNN分類模板它既能吃二維表格特征就是行是樣本、列是特征那種也能吃多維特征比如把多個(gè)傳感器/多個(gè)時(shí)間窗口拼成一個(gè)三維塊訓(xùn)練完直接出混淆矩陣、ROC曲線二分類換多分類只需要改一個(gè)數(shù)字。下面我要寫的內(nèi)容每一段都是實(shí)操現(xiàn)場記錄代碼我會(huì)從頭到尾列出來關(guān)鍵參數(shù)我逐個(gè)解釋為什么這么設(shè)還會(huì)把我在兩個(gè)實(shí)際項(xiàng)目里踩過的坑一并倒出來。1. 這套CNN分類模板的整體設(shè)計(jì)思路1.1 它到底解決什么問題先說清楚這套東西的使用場景。假設(shè)你手頭有一個(gè)特征矩陣每一行代表一個(gè)樣本每一列是某個(gè)特征維度可能是傳感器均值、方差、峰值、頻域能量、統(tǒng)計(jì)量之類的組合。你之前要么用SVM、隨機(jī)森林做分類要么用BP神經(jīng)網(wǎng)絡(luò)但分類準(zhǔn)確率卡在某個(gè)瓶頸上。這時(shí)候你想試試CNN是因?yàn)镃NN能通過卷積核自動(dòng)提取局部特征組合比如它自己會(huì)學(xué)到“特征3和特征7的某種相對關(guān)系有判別力”而不需要你手工構(gòu)造交互項(xiàng)。而多維特征輸入是指數(shù)據(jù)本身不只是一張二維表有的場景下每個(gè)樣本是“多個(gè)通道的序列”比如振動(dòng)信號(hào)分x、y、z三個(gè)方向每個(gè)方向截取200個(gè)點(diǎn)那一個(gè)樣本就是3×200的矩陣或者你的原始數(shù)據(jù)是多個(gè)傳感器同時(shí)采集時(shí)間窗口內(nèi)有800個(gè)采樣點(diǎn)8個(gè)通道那一個(gè)樣本就是8×800。CNN天然能吃這種“多通道二維數(shù)據(jù)”只要把數(shù)據(jù)組織成 H×W×C 的形式Matlab的 imageInputLayer 就能直接接收。這套模板的定位就是你只需要把你的數(shù)據(jù)整理成“樣本數(shù)×特征數(shù)”或“樣本數(shù)×高度×寬度×通道數(shù)”然后按我的代碼填進(jìn)去訓(xùn)練、評(píng)估、可視化全自動(dòng)。換句話說我不搞花里胡哨的網(wǎng)絡(luò)結(jié)構(gòu)就是一套短小精悍、能跑通、能出論文圖表、能交付給現(xiàn)場使用的基線模型。1.2 為什么用Matlab而不是Python這個(gè)問題我被問過很多次。Python生態(tài)確實(shí)豐富PyTorch寫CNN跟喝水一樣但很多工程師手里的數(shù)據(jù)本身就是Matlab出來的或者需要和Simulink模型聯(lián)動(dòng)又或者單位電腦不允許隨便裝Python環(huán)境和驅(qū)動(dòng)。Matlab的Deep Learning Toolbox從R2018b之后已經(jīng)相當(dāng)成熟trainNetwork、trainingOptions、confusionchart這些函數(shù)封裝得非常好你不需要手寫反向傳播不需要手動(dòng)管理GPU顯存代碼量比PyTorch還短。另外Matlab的調(diào)試體驗(yàn)和數(shù)據(jù)可視化是傳統(tǒng)強(qiáng)項(xiàng)訓(xùn)練過程中你可以實(shí)時(shí)看訓(xùn)練精度、損失曲線結(jié)束后一鍵出混淆矩陣熱力圖甚至能導(dǎo)出訓(xùn)練過程動(dòng)畫。對于非純算法崗的人來說這套工作流友好得離譜。當(dāng)然缺點(diǎn)是部署相對笨重但它自帶的Coder可以生成C代碼也能導(dǎo)出ONNX給其他平臺(tái)用這塊后面我會(huì)提一下。1.3 模板的整體架構(gòu)這套模板從數(shù)據(jù)到結(jié)果分五步數(shù)據(jù)導(dǎo)入與整理、數(shù)據(jù)歸一化與格式轉(zhuǎn)換、網(wǎng)絡(luò)結(jié)構(gòu)定義、訓(xùn)練參數(shù)配置、評(píng)估與可視化。我把每一步都封裝成獨(dú)立小節(jié)方便你按需替換。核心思想是“面向數(shù)據(jù)形狀編程”就是不管你的原始數(shù)據(jù)長什么樣最終都統(tǒng)一變成 [高度×寬度×通道數(shù)×樣本數(shù)] 的四維數(shù)組喂給CNN。如果你只有普通表格特征那就把每行特征重排成 [1×特征數(shù)×1] 的形狀相當(dāng)于一個(gè)“單像素寬圖片”照樣能跑卷積。為了讓你快速建立全局觀我先給出代碼調(diào)用總覽后續(xù)每段代碼都會(huì)展開解釋。% 主入口示例 data readtable(your_data.csv); % 讀數(shù)據(jù) featMat table2array(data(:, 2:end)); % 特征 labels data.label; % 標(biāo)簽 normMat normalize(featMat, zscore); % 歸一化 % 重排成CNN輸入格式 X reshape(normMat, [1, size(normMat,2), 1, size(normMat,1)]); Y categorical(labels); % 定義網(wǎng)絡(luò) layers [ ... imageInputLayer([1 size(normMat,2) 1]) convolution2dLayer([1 3], 16, Padding, same, Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool1) fullyConnectedLayer(2, Name, fc1) softmaxLayer(Name, softmax) classificationLayer(Name, output)]; % 訓(xùn)練 options trainingOptions(sgdm, MaxEpochs, 30, MiniBatchSize, 32, Shuffle, every-epoch, ValidationData, ...); net trainNetwork(X, Y, layers, options);看到?jīng)]核心代碼就是這么短。接下來的內(nèi)容就是把每一行的“為什么”講透然后告訴你不同數(shù)據(jù)形態(tài)怎么改。2. 數(shù)據(jù)準(zhǔn)備和格式轉(zhuǎn)換80%的坑都埋在這2.1 從表格數(shù)據(jù)到CNN輸入維度的轉(zhuǎn)換細(xì)節(jié)很多初學(xué)者第一次跑CNN都會(huì)卡在“數(shù)據(jù)格式不對”。Matlab的imageInputLayer接收的是 h×w×c×n 的四維數(shù)組h是高度w是寬度c是通道數(shù)n是樣本數(shù)。對于特征向量這種形式最自然的理解方式就是“高為1、寬等于特征數(shù)量、單通道的圖”。關(guān)鍵是reshape時(shí)別把行列搞反。假設(shè)你的特征矩陣是 data——它的大小是 m×fm是樣本數(shù)f是特征數(shù)。我們要的是每個(gè)樣本按行取出形成一個(gè) [1, f, 1] 的特征圖所以最不容易錯(cuò)的辦法是先把矩陣轉(zhuǎn)置再reshape% data: m×f, 每一行是一個(gè)樣本 X_raw data’; % f×m X reshape(X_raw, [1, f, 1, m]); % 高度1、寬度f、通道1、數(shù)量m這里有人會(huì)問為什么不是 [f, 1, 1]你要從CNN的角度想convolution2dLayer的卷積核會(huì)沿“寬”方向滑動(dòng)如果你把特征放成豎向 [f, 1]那1維卷積核 [1,3] 就沒辦法正?；瑒?dòng)雖然技術(shù)上也能跑但參數(shù)含義會(huì)變得很擰巴。所以統(tǒng)一用 [1, feature_dim, 1] 是約定俗成的做法。如果你的數(shù)據(jù)本來就是圖像比如灰度圖是 28×28×1×n彩色圖是 28×28×3×n那就完全不用restructure直接喂就行。如果數(shù)據(jù)是“多通道時(shí)序信號(hào)”比如8通道、每個(gè)通道800點(diǎn)那就是 [800, 8] 轉(zhuǎn)成 [1, 800, 8] 或者 [800, 8, 1]這兩種放法對應(yīng)不同的卷積方向理解。我自己習(xí)慣把時(shí)間放寬度、通道放通道數(shù)即 [1, 800, 8]因?yàn)檫@樣卷積核每次看到的是一段局部時(shí)間內(nèi)的所有通道組合符合傳感器融合的直覺。2.2 歸一化的正確姿勢和常見誤區(qū)CNN對輸入尺度很敏感不是因?yàn)樗鼉?nèi)部有什么玄學(xué)而是因?yàn)榫矸e核的權(quán)重乘以輸入后如果數(shù)值量級(jí)差異極大梯度更新就會(huì)亂飄訓(xùn)練很難收斂。我見過有人直接把原始數(shù)據(jù)丟進(jìn)去loss在前10個(gè)epoch像過山車一樣下不來歸一化之后10個(gè)epoch就開始穩(wěn)定下降。在Matlab里normalize函數(shù)有幾種模式zscore和range最常用。zscore是“(x - mean)/std”適用于特征本身近似正態(tài)分布、且沒有極端離群點(diǎn)的場景range是“min-max縮放”適用于特征值本身有界且需要映射到[0,1]的場景。如果數(shù)據(jù)里有大量離群點(diǎn)直接zscore會(huì)導(dǎo)致一些小特征被壓縮到幾乎為零這時(shí)候建議先做分位數(shù)裁剪再歸一化。% 推薦做法按列zscore歸一化 normMat normalize(featMat, 2, zscore); % 第二個(gè)參數(shù)2表示按列操作對Matlab來說就是每一列特征獨(dú)立歸一注意歸一化的均值和標(biāo)準(zhǔn)差必須在訓(xùn)練集上計(jì)算然后直接套到驗(yàn)證集和測試集上。如果對整個(gè)數(shù)據(jù)集統(tǒng)一歸一化會(huì)造成輕微的信息泄漏最后評(píng)估指標(biāo)會(huì)虛高。這個(gè)問題在表格數(shù)據(jù)上不明顯但時(shí)間序列和圖像上會(huì)放大養(yǎng)成好習(xí)慣很重要。2.3 標(biāo)簽格式categorical是標(biāo)配Matlab分類層的標(biāo)簽要求是categorical類型而不是字符串?dāng)?shù)組或數(shù)值向量。很多人直接用數(shù)值0和1當(dāng)標(biāo)簽然后訓(xùn)練報(bào)錯(cuò)“Invalid training label”。正確做法是Y_raw data.label; % 可能是double或cell字符串 Y categorical(Y_raw);如果你的標(biāo)簽是字符串直接用 categorical 轉(zhuǎn)換。如果標(biāo)簽是數(shù)值0和1也能轉(zhuǎn)但要注意二分類用0/1標(biāo)簽的時(shí)候categorical之后類別名稱會(huì)變成“0”和“1”分類層會(huì)把它們視為兩個(gè)類別沒問題。多分類同理轉(zhuǎn)成categorical之后Matlab會(huì)自動(dòng)按字母序或首次出現(xiàn)順序排列類別。如果你對類別順序有要求可以用 reordercats 手動(dòng)調(diào)整這個(gè)影響混淆矩陣的展示順序但不會(huì)影響模型本身。3. 網(wǎng)絡(luò)結(jié)構(gòu)是怎么定出來的每一層我都跟你掰扯清楚3.1 從圖像輸入層到特征提取的流程網(wǎng)絡(luò)結(jié)構(gòu)是CNN的核心但我必須先把丑話說在前面——對于表格數(shù)據(jù)和中小規(guī)模數(shù)據(jù)而言網(wǎng)絡(luò)層數(shù)不需要太深。很多人被ImageNet的成功經(jīng)驗(yàn)帶偏了一上來就是十幾層卷積結(jié)果自己的數(shù)據(jù)只有幾千個(gè)樣本訓(xùn)練沒幾步就開始嚴(yán)重過擬合trainning accuracy接近100%驗(yàn)證集一塌糊涂。這里的關(guān)鍵是CNN的容量要跟數(shù)據(jù)規(guī)模匹配。我這套模板選的是一個(gè)非常穩(wěn)健的基線結(jié)構(gòu)layers [ imageInputLayer([1 featDim 1], Name, input, Normalization, none) convolution2dLayer([1 3], 16, Padding, same, Stride, [1 1], Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool1) convolution2dLayer([1 3], 32, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool2) fullyConnectedLayer(32, Name, fc1) reluLayer(Name, relu_fc) dropoutLayer(0.5, Name, dropout) fullyConnectedLayer(numClasses, Name, fc_final) softmaxLayer(Name, softmax) classificationLayer(Name, output)];imageInputLayer的Normalization參數(shù)我直接設(shè)成‘none’因?yàn)榍懊嫖覀円呀?jīng)手動(dòng)歸一化過了避免重復(fù)處理。如果你的原始數(shù)據(jù)沒有歸一化可以考慮在這里設(shè)成‘zscore’它會(huì)自動(dòng)學(xué)習(xí)每個(gè)通道的均值和方差并內(nèi)置到網(wǎng)絡(luò)里。但我個(gè)人的建議是數(shù)據(jù)預(yù)處理應(yīng)該在網(wǎng)絡(luò)外面顯式做這樣你可以把同一套歸一化參數(shù)導(dǎo)出到部署端免得部署時(shí)還要從網(wǎng)絡(luò)里扒參數(shù)。3.2 卷積核尺寸和通道數(shù)的選擇邏輯第一個(gè)卷積核我設(shè)置成 [1 3]意思是核的高度是1、寬度是3。因?yàn)檩斎胧?[1 featureDim]特征在寬度方向上排列所以卷積核高度為1不會(huì)跨行去卷寬度3表示每次看相鄰的3個(gè)特征。這相當(dāng)于一個(gè)“特征組合器”把相鄰三個(gè)特征的信息融合成一個(gè)值符合局部感受野的直覺。至于通道數(shù)第一層16、第二層32這個(gè)數(shù)值是我反復(fù)測試后覺得性價(jià)比最高的配置。16個(gè)初始通道足夠提取多種局部特征模式32個(gè)第二層通道能讓網(wǎng)絡(luò)在更高語義層做組合。不要第一層就上64、128對于幾千個(gè)樣本的表格數(shù)據(jù)來說參數(shù)量增加幾倍但準(zhǔn)確率不會(huì)有本質(zhì)提升反而訓(xùn)練更慢、更容易過擬合。如果有經(jīng)驗(yàn)的讀者想調(diào)整可以按這個(gè)原則數(shù)據(jù)量越大、輸入特征維度越寬卷積核數(shù)量和層數(shù)可以適當(dāng)增加反之則必須縮減。比如你只有500個(gè)樣本、20個(gè)特征那我建議去掉第二個(gè)卷積塊保留到pool1之后就直接接全連接否則一定會(huì)過擬合。3.3 BatchNorm和ReLU為什么綁在一起用BatchNormalization層的核心作用是讓每一層的輸入分布保持穩(wěn)定避免訓(xùn)練過程中由于前面層參數(shù)更新導(dǎo)致后面層輸入劇烈變化。它做兩件事先對每個(gè)通道計(jì)算均值方差做歸一化再通過可學(xué)習(xí)的縮放和平移參數(shù)恢復(fù)表達(dá)能力。它的好處是不光加速收斂還在一定程度上起到正則化作用減少對dropout的依賴。ReLU就是簡單的max(0,x)它的作用是引入非線性。如果不加激活函數(shù)所有卷積和全連接堆疊起來本質(zhì)上還是一個(gè)線性變換CNN的擬合能力就廢了。ReLU在正區(qū)間梯度恒為1不會(huì)像sigmoid那樣梯度飽和所以深層網(wǎng)絡(luò)訓(xùn)練更穩(wěn)。在Matlab里BatchNorm必須搭配訓(xùn)練過程使用預(yù)測時(shí)會(huì)自動(dòng)用訓(xùn)練階段累積的均值和方差不需要你額外處理。3.4 池化層和Dropout的真正作用maxPooling2dLayer的作用是降采樣把特征圖的寬高減半。它一方面減少計(jì)算量另一方面讓后續(xù)的卷積操作能覆蓋更廣的范圍相當(dāng)于粗?；乇Ａ麸@著特征。我這里用的是大小[1 2]步長[1 2]意味著寬度方向每2個(gè)元素取1個(gè)最大的特征維度直接減半。如果特征維度特別小比如不到16那就不建議池化了直接保留到全連接層會(huì)更穩(wěn)。dropoutLayer則是在訓(xùn)練時(shí)隨機(jī)丟棄一部分神經(jīng)元讓網(wǎng)絡(luò)不能過分依賴某個(gè)特定節(jié)點(diǎn)從而提高泛化能力。0.5的丟棄比例是默認(rèn)的安全值。對于容易過擬合的小數(shù)據(jù)集這個(gè)層簡直是救命稻草。我一般把dropout放在第一個(gè)全連接層后面而不是最后分類層前這樣能讓最后一層保持完整的特征輸入效果更好。3.5 輸出層與分類層的配置要點(diǎn)末尾的流程是全連接層輸出類別數(shù)→ softmax層 → classificationLayer。fullyConnectedLayer里的第二個(gè)參數(shù)就是類別數(shù)。二分類就是2三分類就是3。softmaxLayer把全連接輸出映射成每個(gè)類別的概率總和為1。classificationLayer接收概率分布和真實(shí)標(biāo)簽計(jì)算交叉熵?fù)p失并執(zhí)行反向傳播。有人會(huì)問二分類可不可以用sigmoid加binary cross entropyMatlab的Deep Learning Toolbox里分類層對二分類就是這么處理的但網(wǎng)絡(luò)結(jié)構(gòu)是完全一樣的唯一的區(qū)別是類別數(shù)量設(shè)為2不用特殊處理。放心用就行。4. 訓(xùn)練參數(shù)怎么配這些選項(xiàng)決定你模型是菜鳥還是能打4.1 trainingOptions里每個(gè)字段的實(shí)戰(zhàn)解讀訓(xùn)練網(wǎng)絡(luò)用的是trainNetwork(net, layers, options)或者直接trainNetwork(X, Y, layers, options)。options配置決定了訓(xùn)練的質(zhì)量和速度我給出一個(gè)工業(yè)級(jí)較穩(wěn)的配置options trainingOptions(adam, ... InitialLearnRate, 0.001, ... MaxEpochs, 60, ... MiniBatchSize, 32, ... Shuffle, every-epoch, ... ValidationData, {XVal, YVal}, ... ValidationFrequency, 20, ... LearnRateSchedule, piecewise, ... LearnRateDropFactor, 0.1, ... LearnRateDropPeriod, 20, ... Verbose, true, ... Plots, training-progress, ... ExecutionEnvironment, auto);逐個(gè)說字段solver用adam不用sgdm的原因adam自適應(yīng)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率對學(xué)習(xí)率初始值不那么敏感表格數(shù)據(jù)和小批量場景下收斂更穩(wěn)。sgdm調(diào)好了上限更高但需要手調(diào)momentum和學(xué)習(xí)率衰減策略圖省事就adam。InitialLearnRate設(shè)0.001是adam的默認(rèn)安全值。如果你發(fā)現(xiàn)loss降得太慢可以調(diào)大到0.01如果loss震蕩就降到0.0003。MaxEpochs對于小數(shù)據(jù)集30到80輪是個(gè)合理區(qū)間。不用設(shè)太多否則后期只是在擬合訓(xùn)練集的噪聲。MiniBatchSize默認(rèn)32。如果GPU顯存不夠就降到16或8。數(shù)據(jù)量很大時(shí)用64或128能加速但會(huì)影響收斂穩(wěn)定性。Shuffle設(shè)‘every-epoch’每個(gè)epoch打亂訓(xùn)練數(shù)據(jù)順序防止模型學(xué)到順序相關(guān)的假規(guī)律。ValidationData從訓(xùn)練集里切出一部分做驗(yàn)證我在后面細(xì)講怎么切。ValidationFrequency每迭代20次驗(yàn)證一次。迭代次數(shù)是“iteration”不是epoch。如果總樣本幾百個(gè)、batch32那一個(gè)epoch也就十幾二十次迭代所以20這個(gè)值大致可以保證每輪或隔輪都驗(yàn)證一次。LearnRateSchedule用piecewise分段式衰減每20個(gè)epoch學(xué)習(xí)率乘以0.1。這種方式是經(jīng)典做法前期大步快跑后期小步精調(diào)。Plots設(shè)‘training-progress’可以在訓(xùn)練窗口實(shí)時(shí)看到loss和accuracy曲線我強(qiáng)烈建議開著肉眼判斷模型是否正常比看任何日志都直觀。ExecutionEnvironment設(shè)‘a(chǎn)uto’自動(dòng)選擇GPU或CPU如果沒GPU就CPU跑。4.2 訓(xùn)練集、驗(yàn)證集、測試集怎么切才科學(xué)切數(shù)據(jù)是模型評(píng)估里最容易被新手忽略的環(huán)節(jié)。正確流程是先把原始數(shù)據(jù)分成訓(xùn)練集驗(yàn)證集和測試集然后在訓(xùn)練過程中用訓(xùn)練集訓(xùn)練、驗(yàn)證集實(shí)時(shí)評(píng)估最后用測試集做一次性的最終評(píng)估。cv cvpartition(height(data), HoldOut, 0.2); % 20%做測試集 trainIdx training(cv); testIdx test(cv); % 在訓(xùn)練集內(nèi)部再分驗(yàn)證集 valIdx randi([1 sum(trainIdx)], floor(sum(trainIdx)*0.15), 1);我見過太多人犯的錯(cuò)誤是直接把全部數(shù)據(jù)丟進(jìn)trainNetwork然后用同一批數(shù)據(jù)測試得出一個(gè)虛高的準(zhǔn)確率。那個(gè)數(shù)字拿到現(xiàn)場一測就打回原形。正確的做法必須像上面這樣留出獨(dú)立測試集而且測試集只在最后用一次不要根據(jù)測試集表現(xiàn)反復(fù)調(diào)參否則測試集就在你心里變成了驗(yàn)證集評(píng)估意義會(huì)被污染。4.3 數(shù)據(jù)不平衡和二分類閾值怎么處理如果你的二分類數(shù)據(jù)類別比例嚴(yán)重失衡比如正樣本只有5%負(fù)樣本95%CNN很容易陷入“全部預(yù)測為負(fù)類”的局部最優(yōu)。直接改分類層不現(xiàn)實(shí)實(shí)用的方案有幾種第一種用MiniBatchSize控制采樣。在構(gòu)造訓(xùn)練集的時(shí)候把正負(fù)樣本分開每個(gè)batch里按比例抽取。這個(gè)在Matlab里需要自定義minibatchqueue稍微麻煩一點(diǎn)但對不平衡數(shù)據(jù)效果非常顯著。第二種在trainingOptions里設(shè)置‘ClassWeights’參數(shù)給少數(shù)類更大的權(quán)重。這個(gè)參數(shù)在Matlab里是trainingOptions(adam, ClassWeights, [1 5])這樣的寫法需要確認(rèn)版本支持。如果版本不支持最簡單的辦法是復(fù)制少數(shù)類樣本或做簡單過采樣。第三種是在最終評(píng)估時(shí)不要只盯accuracy要看混淆矩陣、召回率和精確率。很多工業(yè)場景下我們寧可犧牲一點(diǎn)負(fù)類的準(zhǔn)確率也要保證正類的召回率這時(shí)候可以調(diào)整分類閾值。Matlab分類層的決策閾值默認(rèn)是0.5如果要改變閾值你需要用predict函數(shù)拿到概率輸出再自己設(shè)定閾值。[~, scores] predict(net, XTest); % 二分類scores第二列是正類概率 predLabel scores(:, 2) 0.3; % 降低閾值提高召回5. 訓(xùn)練過程中的實(shí)操觀察記錄和驗(yàn)證曲線分析5.1 正常訓(xùn)練曲線長什么樣當(dāng)你點(diǎn)下運(yùn)行按鈕訓(xùn)練窗口彈出圖表之后前幾個(gè)iteration可能loss很高這是正常的因?yàn)榫W(wǎng)絡(luò)是隨機(jī)初始化的。大概10到30個(gè)iteration后訓(xùn)練loss會(huì)出現(xiàn)斷崖式下降驗(yàn)證準(zhǔn)確率同步上升。這個(gè)過程可以粗略理解為網(wǎng)絡(luò)先學(xué)到全局統(tǒng)計(jì)規(guī)律再慢慢學(xué)細(xì)節(jié)。以我自己跑過的某制造業(yè)傳感器數(shù)據(jù)集為例初始loss約0.69第10個(gè)iteration降到0.45第30個(gè)iteration到0.2上下準(zhǔn)確率從50%跳到90%以上后面曲線變緩60輪結(jié)束時(shí)訓(xùn)練集準(zhǔn)確率98%、驗(yàn)證集準(zhǔn)確率93%左右。這是典型的好跡象訓(xùn)練集和驗(yàn)證集差距不算太遠(yuǎn)說明沒有嚴(yán)重過擬合。5.2 過擬合信號(hào)和應(yīng)對方法如果出現(xiàn)訓(xùn)練準(zhǔn)確率持續(xù)上升到99%但驗(yàn)證準(zhǔn)確率在80%附近來回震蕩這就是過擬合的紅色警報(bào)?？赡茉蛴袛?shù)據(jù)量太小、網(wǎng)絡(luò)容量過大、訓(xùn)練輪數(shù)過多。應(yīng)對辦法按優(yōu)先級(jí)排列增加dropout比例從0.5調(diào)到0.6或0.7。減少網(wǎng)絡(luò)層數(shù)或卷積核數(shù)量。提前終止設(shè)ValidationPatience或者手動(dòng)把MaxEpochs降到30。做數(shù)據(jù)增強(qiáng)。表格數(shù)據(jù)的增強(qiáng)方式包括加噪聲、縮放擾動(dòng)、特征dropout時(shí)序數(shù)據(jù)可以隨機(jī)裁剪或改變速度。Matlab的augmentedImageDatastore主要面向圖像表格數(shù)據(jù)需要自己用循環(huán)生成。5.3 欠擬合信號(hào)和應(yīng)對方法如果訓(xùn)練集和驗(yàn)證集準(zhǔn)確率都很低且loss下降緩慢比如20個(gè)epoch后訓(xùn)練準(zhǔn)確率還在70%以下那就是欠擬合或特征表達(dá)能力不足。這時(shí)候反向操作增大學(xué)習(xí)率、增加卷積核數(shù)量、增加層數(shù)、或者回到起點(diǎn)看特征工程是否合理。很多時(shí)候CNN救不了一個(gè)特征本身毫無判別力的數(shù)據(jù)集這點(diǎn)必須清醒認(rèn)識(shí)。6. 全套評(píng)估代碼混淆矩陣、ROC、分類報(bào)告一網(wǎng)打盡訓(xùn)練完成后evaluateClassification函數(shù)在R2022b后非常方便一條命令生成所有指標(biāo)% 在測試集上做最終評(píng)估 YPred classify(net, XTest); % 混淆矩陣 cm confusionchart(YTest, YPred); cm.Title 測試集混淆矩陣; % 各類別精確率、召回率、F1 report evaluateClassification(YTest, YPred); % ROC曲線二分類或多分類都支持 rocObj rocmetrics(YTest, scores, classNames); plot(rocObj);這里我想多說一句混淆矩陣比準(zhǔn)確率更能暴露問題。我見過一個(gè)二分類模型準(zhǔn)確率97.5%看似很牛但打開混淆矩陣發(fā)現(xiàn)少數(shù)類只被正確檢出了5%因?yàn)樯贁?shù)類只占總樣本2%模型直接無腦預(yù)測多數(shù)類都能拿到98%。如果你只看accuracy就會(huì)把一個(gè)線都測不出來的殘廢模型當(dāng)成寶貝。所以強(qiáng)烈建議每次訓(xùn)練完把混淆矩陣、F1-score、AUC都看一遍再下結(jié)論。對于多分類你可以用rocmetrics的One-vs-Rest策略畫每個(gè)類別的ROC曲線Matlab自動(dòng)處理了代碼不變。AUC值在0.8以上算可用0.9以上算擬合得相當(dāng)好。7. 從二分類擴(kuò)展到多分類以及場景化適配7.1 二分類變多分類只需要改三行代碼嚴(yán)格來說這套模板從一開始就兼容多分類。二分類轉(zhuǎn)三分類只需要把fullyConnectedLayer的numClasses從2改成3。確保標(biāo)簽是三類categorical。如果類別不平衡ClassWeights改成三個(gè)權(quán)重。就這么簡單。CNN分類層天然支持任意數(shù)量的類別不需要像SVM那樣一個(gè)一個(gè)做OvR一對多拆分。我自己做過一個(gè)6分類的故障診斷項(xiàng)目就是拿這套模板直接跑的效果比同行用2層LSTM還穩(wěn)。原因在于故障特征大多是頻率和時(shí)域統(tǒng)計(jì)特征卷積天然的局部感知能力很適合捕捉它們之間的組合關(guān)系。7.2 如果輸入變成圖像或時(shí)序數(shù)據(jù)怎么快速改如果你的數(shù)據(jù)不是表格而是圖像那更好辦。圖片本身已經(jīng)是 h×w×c 的格式你只需要確保imageInputLayer參數(shù)和圖像尺寸一致% 假設(shè)圖像是64×64×3 imageInputLayer([64 64 3])但要注意卷積核尺寸也要改不能再是 [1 3]而應(yīng)該改成 [3 3] 或 [5 5]因?yàn)閳D像是二維的卷積核在兩個(gè)方向都要滑動(dòng)。池化層也要改成 [2 2] 而不是 [1 2]否則你只在寬度方向降采樣高度方向不動(dòng)特征圖變成細(xì)長條信息利用率差。如果輸入是多通道時(shí)序信號(hào)那更簡單。每個(gè)樣本是一個(gè) 通道數(shù)×?xí)r間點(diǎn) 的矩陣比如8通道×800點(diǎn)。有兩種組織方式第一種是 [1, 800, 8] 時(shí)間在寬度通道在通道維度第二種是 [800, 8, 1]時(shí)間在高度通道在寬度。我推薦第一種因?yàn)槟J(rèn)的特征圖更符合“橫軸為序列、縱軸為通道”的閱讀習(xí)慣而且時(shí)間方向上的局部卷積可以更好地捕捉短期模式。8. 我踩過的坑附排查清單和避坑建議8.1 尺寸不匹配Matlab報(bào)錯(cuò)最兇的問題這個(gè)錯(cuò)誤90%是reshape維度算錯(cuò)了。你reshape的目標(biāo)必須嚴(yán)格等于總元素?cái)?shù)。比如原始特征是 2000×502000個(gè)樣本、50個(gè)特征你想變成 [1 50 1 2000]那總元素?cái)?shù)是1×50×1×2000100000正好等于2000×50沒問題。但如果你寫反成 [1 2000 1 50]總元素?cái)?shù)也是100000不報(bào)錯(cuò)但語義完全錯(cuò)了——每個(gè)樣本由2000個(gè)“偽特征”組成訓(xùn)練出來的模型是垃圾。我的建議是在reshape之后加一行斷言檢查assert(size(X, 4) m, 樣本數(shù)量不匹配); assert(size(X, 2) f, 特征維度不匹配);8.2 內(nèi)存爆炸Out of Memory怎么辦如果你數(shù)據(jù)量很大比如幾萬個(gè)樣本、幾千個(gè)特征直接把所有數(shù)據(jù)做成四維數(shù)組會(huì)吃到大量內(nèi)存。一個(gè)[50000 1000]的特征矩陣轉(zhuǎn)成[1 1000 1 50000]是200MB的double數(shù)組再加網(wǎng)絡(luò)訓(xùn)練時(shí)的中間變量很容易爆內(nèi)存。解決辦法用single類型存數(shù)據(jù)數(shù)據(jù)量減半X single(X); 圖像輸入層支持single。用 tall 數(shù)組或 datastore 分批讀入trainNetwork本身支持Datastore輸入但代碼復(fù)雜度會(huì)上來。減小MiniBatchSize訓(xùn)練內(nèi)存峰值會(huì)明顯下降。8.3 驗(yàn)證集loss上升但準(zhǔn)確率也上升這個(gè)現(xiàn)象初看很詭異其實(shí)是因?yàn)閘oss和accuracy不是完全單調(diào)負(fù)相關(guān)。loss是交叉熵它反映了預(yù)測概率的置信度如果模型對錯(cuò)誤的樣本給出稍微高一點(diǎn)的置信度loss會(huì)上升但準(zhǔn)確率可能沒變或微升。這個(gè)沒關(guān)系只要測試集表現(xiàn)穩(wěn)定就行不用過度擔(dān)心。8.4 CPU訓(xùn)練慢成狗怎么加速M(fèi)atlab的trainNetwork在CPU上也支持但CNN卷積運(yùn)算密集CPU跟GPU差距可能幾十倍。沒有GPU的情況下最有效的加速辦法是減小網(wǎng)絡(luò)規(guī)模減少卷積層數(shù)、減少通道數(shù)、減小特征維度用PCA先降維。如果特征有幾百維我建議先做主成分分析降維到50維左右再喂CNN不僅能加速還能去除冗余噪聲準(zhǔn)確率反而可能提升。8.5 部署時(shí)模型怎么給出去訓(xùn)練好的net是一個(gè)SeriesNetwork或DAGNetwork對象?，F(xiàn)場交付有兩種選擇第一種是直接打包Matlab Runtime讓現(xiàn)場機(jī)器裝個(gè)運(yùn)行時(shí)就能跑適合內(nèi)部使用。第二種是exportONNXNetwork導(dǎo)出ONNX然后轉(zhuǎn)成其他平臺(tái)或語言推理適合跨語言部署。還有第三種如果你只是要在Matlab里做實(shí)時(shí)預(yù)測直接用net作為函數(shù)調(diào)用即可延遲極低。9. 一套可直接復(fù)制的完整實(shí)戰(zhàn)模板最后我把上面所有的散裝代碼整合成一個(gè)完整的訓(xùn)練腳本把你換數(shù)據(jù)時(shí)需要改的位置都用注釋標(biāo)注出來。你可以把它保存成一個(gè)main.m直接運(yùn)行%% 1. 數(shù)據(jù)加載與標(biāo)簽準(zhǔn)備 data readtable(your_data.csv); % 改成你自己的數(shù)據(jù) featMat table2array(data(:, 1:end-1)); % 前面列是特征 labels data{:, end}; % 最后一列是標(biāo)簽 % 標(biāo)簽轉(zhuǎn)categorical Y categorical(labels); classNames categories(Y); numClasses numel(classNames); %% 2. 數(shù)據(jù)劃分訓(xùn)練集/驗(yàn)證集/測試集 rng(42); % 固定隨機(jī)種子保證可復(fù)現(xiàn) cv cvpartition(Y, HoldOut, 0.2); trainIdx training(cv); testIdx test(cv); featTrain featMat(trainIdx, :); featTest featMat(testIdx, :); YTrain Y(trainIdx); YTest Y(testIdx); % 從訓(xùn)練集中再分出驗(yàn)證集 valRatio 0.15; numVal floor(sum(trainIdx) * valRatio); valIdx randperm(sum(trainIdx), numVal); featVal featTrain(valIdx, :); YVal YTrain(valIdx); % 剩余訓(xùn)練數(shù)據(jù) featTrainRest featTrain; featTrainRest(valIdx, :) []; YTrainRest YTrain; YTrainRest(valIdx) []; %% 3. 歸一化在訓(xùn)練集上計(jì)算參數(shù) mu mean(featTrainRest, 1); sigma std(featTrainRest, 0, 1); sigma(sigma 0) 1; % 避免除零 featTrainNorm (featTrainRest - mu) ./ sigma; featValNorm (featVal - mu) ./ sigma; featTestNorm (featTest - mu) ./ sigma; %% 4. 轉(zhuǎn)換為CNN輸入格式 [1 特征數(shù) 1 樣本數(shù)] XTrain reshape(featTrainNorm, [1, size(featTrainNorm,2), 1, size(featTrainNorm,1)]); XVal reshape(featValNorm, [1, size(featValNorm,2), 1, size(featValNorm,1)]); XTest reshape(featTestNorm, [1, size(featTestNorm,2), 1, size(featTestNorm,1)]); %% 5. 網(wǎng)絡(luò)結(jié)構(gòu)定義可自定義 featDim size(featTrainNorm, 2); layers [ imageInputLayer([1 featDim 1], Name, input) convolution2dLayer([1 3], 16, Padding, same, Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool1) convolution2dLayer([1 3], 32, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool2) fullyConnectedLayer(64, Name, fc1) reluLayer(Name, relu_fc) dropoutLayer(0.5, Name, dropout) fullyConnectedLayer(numClasses, Name, fc_final) softmaxLayer(Name, softmax) classificationLayer(Name, output)]; %% 6. 訓(xùn)練選項(xiàng) options trainingOptions(adam, ... InitialLearnRate, 0.001, ... MaxEpochs, 50, ... MiniBatchSize, 32, ... Shuffle, every-epoch, ... ValidationData, {XVal, YVal}, ... ValidationFrequency, 20, ... LearnRateSchedule, piecewise, ... LearnRateDropFactor, 0.2, ... LearnRateDropPeriod, 15, ... Verbose, true, ... Plots, training-progress, ... ExecutionEnvironment, auto); %% 7. 訓(xùn)練 net trainNetwork(XTrain, YTrainRest, layers, options); %% 8. 評(píng)估 YPred classify(net, XTest); cm confusionchart(YTest, YPred); cm.Title 測試集混淆矩陣; [~, scores] predict(net, XTest); if numClasses 2 rocObj rocmetrics(YTest, scores(:, 2), classNames); else rocObj rocmetrics(YTest, scores, classNames); end plot(rocObj);換數(shù)據(jù)的時(shí)候只需要?jiǎng)拥谝徊降膔eadtable路徑和最后一列的標(biāo)簽設(shè)置。如果特征維度特別大可以先把featMat做PCA降維再喂進(jìn)來。如果你想把這個(gè)網(wǎng)絡(luò)接到實(shí)時(shí)數(shù)據(jù)流里做預(yù)測只要把 predict(net, newData) 封裝成函數(shù)就行我可以保證推理速度遠(yuǎn)快于訓(xùn)練速度幾毫秒一個(gè)樣本綽綽有余。我個(gè)人實(shí)際用下來的體會(huì)是這套模板最大的價(jià)值不在“先進(jìn)”而在“可預(yù)期”。它結(jié)構(gòu)簡單、參數(shù)常規(guī)、收斂穩(wěn)定你拿到手上之后80%的精力可以花在特征工程和數(shù)據(jù)質(zhì)量問題排查上而不需要去調(diào)網(wǎng)絡(luò)結(jié)構(gòu)。CNN在表格數(shù)據(jù)上的效果雖然沒有深度學(xué)習(xí)神話吹得那么玄乎但在特征維數(shù)中等、樣本量幾千以上的場景里確實(shí)能比隨機(jī)森林和BP網(wǎng)絡(luò)高出幾個(gè)點(diǎn)的準(zhǔn)確率尤其是特征之間存在復(fù)雜交互的時(shí)候。先跑通這個(gè)模板驗(yàn)證CNN在你的數(shù)據(jù)上到底有沒有效果如果有效再考慮深挖更復(fù)雜的結(jié)構(gòu)我覺得這是性價(jià)比最高的路線。最后再分享一個(gè)小習(xí)慣——訓(xùn)練前把關(guān)鍵中間變量比如mu、sigma、網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練選項(xiàng)用mat文件存一份這樣即使你改了代碼重新訓(xùn)練也能隨時(shí)回看上次跑的配置對比實(shí)驗(yàn)的時(shí)候省太多事了。