簡(jiǎn)介針對(duì)可穿戴傳感器時(shí)間序列數(shù)據(jù)的數(shù)據(jù)增強(qiáng)需求提供一套完整的 Jupyter Notebook 示例代碼面向從事移動(dòng)健康、帕金森病監(jiān)測(cè)等方向的研究者與算法工程師。方法參考 ICMI 2017 論文通過(guò)對(duì)原始信號(hào)施加多種失真變換生成更多訓(xùn)練樣本可提升卷積神經(jīng)網(wǎng)絡(luò)等模型的效果并降低過(guò)擬合風(fēng)險(xiǎn)。包體為 ZIP 壓縮格式共 5 個(gè)文件約 892KB包含可直接運(yùn)行的 ipynb 筆記本、配套 py 腳本、示例數(shù)據(jù) npy、說(shuō)明文檔 md 及效果圖 png方便按演示—運(yùn)行—理解流程學(xué)習(xí)。已有 475 人學(xué)習(xí)下載。下載后可獲得帶注釋的增強(qiáng)代碼、真實(shí)傳感器樣本與 README 使用說(shuō)明。資源結(jié)構(gòu)簡(jiǎn)潔適合快速遷移到自己的時(shí)間序列項(xiàng)目中也可作為數(shù)據(jù)擴(kuò)充預(yù)處理的參考起點(diǎn)。1. 可穿戴傳感器時(shí)間序列數(shù)據(jù)增強(qiáng)跑通一套Python增強(qiáng)代碼前先想清楚的事做可穿戴跌倒檢測(cè)那陣子我最大的瓶頸不是模型選型而是數(shù)據(jù)不夠用。一塊IMU掛在手腕上一個(gè)動(dòng)作類別攢了一千多條有效樣本另一個(gè)類別只有兩百多條直接拿去訓(xùn)練時(shí)間序列分類器過(guò)擬合幾乎是必然的。可穿戴傳感器數(shù)據(jù)本質(zhì)上就是時(shí)間序列數(shù)據(jù)數(shù)據(jù)增強(qiáng)要做的事是在不破壞動(dòng)作語(yǔ)義的前提下用Python生成更多形狀合理、標(biāo)簽可靠的樣本讓模型在小樣本和不平衡場(chǎng)景下也能泛化。這套方法在Jupyter里跑通很容易但跑通和有效之間隔著不少參數(shù)和邊界。這篇文章就是從切窗、選變換、寫代碼到驗(yàn)證收益的完整路徑適合手里握著加速度計(jì)、陀螺儀或心率數(shù)據(jù)的開發(fā)者想用數(shù)據(jù)增強(qiáng)把模型效果和穩(wěn)定性頂上去而不是只在訓(xùn)練日志里多看一個(gè)過(guò)擬合的數(shù)字。2. 增強(qiáng)策略怎么選可穿戴時(shí)序的四個(gè)現(xiàn)實(shí)約束與前置處理圖像增強(qiáng)可以對(duì)整張圖做翻轉(zhuǎn)、裁剪、色彩擾動(dòng)因?yàn)檎Z(yǔ)義在像素層面是冗余的可穿戴時(shí)間序列不行。加速度計(jì)、陀螺儀和心率的每一個(gè)采樣點(diǎn)背后都有物理含義增強(qiáng)做過(guò)頭會(huì)直接改掉動(dòng)作類別。這一章先把四個(gè)影響成敗的現(xiàn)實(shí)約束講清楚再給你一張選型表。很多人在Jupyter里復(fù)制別人的增強(qiáng)代碼跑出奇怪結(jié)果通常不是代碼本身錯(cuò)而是沒想清楚這些前提。2.1 樣本長(zhǎng)度怎么定窗口、重疊率與采樣率可穿戴設(shè)備吐出來(lái)的是連續(xù)流增強(qiáng)的第一步是把流切成樣本。常見做法是固定窗口加滑動(dòng)重疊先確定窗口長(zhǎng)度再按步長(zhǎng)滑動(dòng)切窗。窗口長(zhǎng)度由動(dòng)作周期決定日?；顒?dòng)識(shí)別里的單個(gè)動(dòng)作比如站立、坐下、走路、揮手周期大概在 0.5 到 3 秒之間所以 2 到 5 秒的窗口是大多數(shù)項(xiàng)目的起步值。如果采樣率是 50Hz2 秒窗口就是 100 個(gè)采樣點(diǎn)如果是 125Hz就是 250 個(gè)點(diǎn)。窗口太短會(huì)把動(dòng)作切碎增強(qiáng)后學(xué)不到上下文窗口太長(zhǎng)又會(huì)把兩個(gè)相鄰動(dòng)作混進(jìn)同一個(gè)標(biāo)簽增強(qiáng)做得越花哨標(biāo)簽越不可信。切窗的代碼在 Jupyter 里就是個(gè)循環(huán)import numpy as np def sliding_window(x, window_size, step_size): 把一維或多通道的連續(xù)信號(hào)切成固定長(zhǎng)度窗口。 x: (n_samples, n_channels) 的原始傳感器流 window_size: 每個(gè)窗口的采樣點(diǎn)數(shù) step_size: 滑動(dòng)步長(zhǎng)控制重疊率 n_samples, n_channels x.shape windows [] for start in range(0, n_samples - window_size 1, step_size): window x[start:start window_size] windows.append(window) return np.stack(windows) # (n_windows, window_size, n_channels)步長(zhǎng)和窗口大小共同決定重疊率。步長(zhǎng)等于窗口大小時(shí)樣本完全不重疊步長(zhǎng)取窗口的一半重疊率就是 50%。重疊率高會(huì)顯著放大樣本量但相鄰樣本高度相似訓(xùn)練集和驗(yàn)證集如果按時(shí)間順序切很容易出現(xiàn)泄漏。我給可穿戴項(xiàng)目切窗時(shí)通常先設(shè) 50% 重疊拿一版基線再視類別不平衡程度往下調(diào)。注意這里切的是“訓(xùn)練集和測(cè)試集各自內(nèi)部的流”等做好增強(qiáng)后再統(tǒng)一劃分組別是為了避免同一段物理信號(hào)同時(shí)出現(xiàn)在訓(xùn)練和驗(yàn)證兩側(cè)。2.2 離線增強(qiáng)還是在線增強(qiáng)什么時(shí)候做、怎么做增強(qiáng)有兩種落地方式。離線增強(qiáng)是在預(yù)處理階段把所有變換一次性跑完把生成的樣本存成 numpy 數(shù)組或 npz 文件之后再訓(xùn)練在線增強(qiáng)是在訓(xùn)練循環(huán)里對(duì)每個(gè) batch 做隨機(jī)變換每次 epoch 看到的樣本都略不一樣。可穿戴時(shí)序數(shù)據(jù)集的規(guī)模通常不大百萬(wàn)級(jí)樣本已經(jīng)很夸張離線增強(qiáng)的內(nèi)存壓力完全可控。我在 Jupyter 里探索階段一律先用離線增強(qiáng)因?yàn)樗茏屇惆言鰪?qiáng)前后的樣本畫出來(lái)看能檢查標(biāo)簽有沒有跟著變能比較分布差異這些事在訓(xùn)練腳本里做起來(lái)很別扭。在線增強(qiáng)的優(yōu)勢(shì)是省內(nèi)存、天然防過(guò)擬合但它要求增強(qiáng)函數(shù)是純隨機(jī)且可復(fù)用的。如果你在 Jupyter 里先離線把參數(shù)試好再搬到 PyTorch 的 Dataset 或 TensorFlow 的 tf.data 里重寫一遍兩種優(yōu)勢(shì)都能拿到。要注意的是無(wú)論哪種方式增強(qiáng)只應(yīng)該作用在訓(xùn)練集上驗(yàn)證集和測(cè)試集必須保持原始數(shù)據(jù)否則你評(píng)估的“增強(qiáng)帶來(lái)的提升”很可能是數(shù)據(jù)泄漏帶來(lái)的幻覺。2.3 通道、軸與重力分量增強(qiáng)前的傳感器先驗(yàn)處理可穿戴數(shù)據(jù)的典型形狀是 (樣本數(shù), 時(shí)間步數(shù), 通道數(shù))最常見的是加速度計(jì)三軸加陀螺儀三軸一共六個(gè)通道。增強(qiáng)時(shí)有一個(gè)很容易被忽略的前提三個(gè)加速度軸不是獨(dú)立無(wú)關(guān)的通道它們之間有重力分量和方向語(yǔ)義。如果直接對(duì)加速度計(jì)的 XYZ 軸做隨機(jī)大幅旋轉(zhuǎn)動(dòng)作的物理含義就變了跌倒檢測(cè)里“面朝下”和“側(cè)倒”可能被旋轉(zhuǎn)成同一個(gè)樣本標(biāo)簽已經(jīng)不可靠。常見的處理是先去掉重力分量再做增強(qiáng)尤其對(duì)加速度計(jì)數(shù)據(jù)。用一個(gè)高通濾波器把靜息重力去掉是加速度計(jì)預(yù)處理里的常規(guī)操作from scipy import signal def remove_gravity(x, fs50.0, cutoff_hz0.5, axis2): 可穿戴加速度計(jì)去重力。 x: (n_samples, n_channels) 或 (n_windows, n_timesteps, n_channels) fs: 采樣率單位 Hz cutoff_hz: 高通截止頻率通常 0.5Hz 以下 axis: 對(duì)哪個(gè)軸做濾波三軸數(shù)據(jù)默認(rèn)時(shí)間是第 1 維 b, a signal.butter(2, cutoff_hz / (fs / 2), btypehigh) return signal.filtfilt(b, a, x, axisaxis)截止頻率取 0.5Hz 是因?yàn)殪o態(tài)重力是直流附近的分量動(dòng)作信號(hào)的頻率通常更高。做完這一步再對(duì)樣本做縮放、加噪或時(shí)間扭曲語(yǔ)義風(fēng)險(xiǎn)會(huì)小得多。如果你手里的數(shù)據(jù)已經(jīng)做過(guò)歸一化不知道原始單位建議先畫幾段原始波形確認(rèn)重力分量是否存在再?zèng)Q定要不要做這步。設(shè)備采樣率不一致的情況也常遇到兩臺(tái)手表一臺(tái) 50Hz 一臺(tái) 100Hz 拼在一起增強(qiáng)前先統(tǒng)一重采樣到低頻那臺(tái)的采樣率避免窗口長(zhǎng)度對(duì)不上。2.4 常見增強(qiáng)方法的分層選型表把可穿戴時(shí)序上常用的方法整理成一張表選型能省很多時(shí)間。核心原則是樣本少先用輕量時(shí)域變換類別不平衡嚴(yán)重就疊加采樣策略頻域方法專門對(duì)付模型對(duì)相位和周期性不魯棒的情況生成式方法放在最后數(shù)據(jù)量不夠時(shí)很容易翻車。方法操作對(duì)象關(guān)鍵參數(shù)主要風(fēng)險(xiǎn)白噪聲原始信號(hào)加噪noise_level0.02~0.05g信噪比下降特征被淹沒幅值縮放整段幅度縮放系數(shù)區(qū)間 0.9~1.1縮放過(guò)大改變動(dòng)作強(qiáng)度語(yǔ)義時(shí)間扭曲時(shí)間軸拉伸/壓縮max_stretch0.1~0.2破壞瞬時(shí)動(dòng)作的節(jié)律窗口平移按時(shí)間偏移重切窗偏移量與重疊率相關(guān)標(biāo)簽和時(shí)間戳錯(cuò)位頻域相位擾動(dòng)FFT 相位隨機(jī)旋轉(zhuǎn)shift_range0.05~0.15 弧度信號(hào)邊界出現(xiàn)振鈴Mixup同類樣本線性插值λ~Beta(0.2, 0.2)生成樣本偏均值多樣性下降DBA 重心平均同類樣本 DTW 平均參與平均的樣本數(shù)過(guò)平滑樣本同質(zhì)化VAE/GAN 合成潛空間采樣再重構(gòu)潛變量維數(shù)、訓(xùn)練輪數(shù)模式崩潰、多樣性差這里所有的參數(shù)都不是拍腦袋定的。我給加速度計(jì)數(shù)據(jù)加噪聲時(shí)默認(rèn)從 0.02g 試起因?yàn)槎鄶?shù)動(dòng)作信號(hào)的能量在 0.1g 到 2g 之間0.02g 足夠擾動(dòng)又不會(huì)蓋過(guò)動(dòng)作?？s放系數(shù) 0.9 到 1.1 意味著最多把動(dòng)作幅度拉伸或壓縮 10%超過(guò)這個(gè)范圍就會(huì)讓“輕碰”和“重?fù)簟边@兩個(gè)類別開始混淆。選型時(shí)不要把所有方法疊在一起常見誤用是先用噪聲再縮放再做時(shí)間扭曲再來(lái)一次頻域擾動(dòng)最后生成的樣本面目全非模型學(xué)到的全是變換帶來(lái)的偽特征。3. 在Jupyter里復(fù)現(xiàn)四類增強(qiáng)方法時(shí)域、頻域、互類與生成式這一章給出可以直接復(fù)制的四組 Python 函數(shù)。默認(rèn)輸入是 (n_samples, n_timesteps, n_channels) 的 numpy 數(shù)組標(biāo)簽是 (n_samples,) 的整數(shù)數(shù)組。不管你是用瀏覽器開 Jupyter notebook還是在 PyCharm 里調(diào) Jupyter或者用 VS Code 接入 Jupyter 內(nèi)核代碼都通用只要內(nèi)核是 Python3。缺庫(kù)的時(shí)候在單元格里跑!pip install numpy scikit-learn scipy matplotlib就能補(bǔ)齊。3.1 時(shí)域變換加噪、縮放、時(shí)間扭曲與漂移時(shí)域變換是最容易理解也最容易寫對(duì)的一類增強(qiáng)。它對(duì)每個(gè)樣本直接修改波形。下面這組函數(shù)覆蓋了四種最常見的操作import numpy as np def add_noise(X, noise_level0.02, seedNone): 加性白噪聲。noise_level 是噪聲標(biāo)準(zhǔn)差。 rng np.random.default_rng(seed) return X rng.normal(0.0, noise_level, sizeX.shape) def scale_signal(X, low0.9, high1.1, seedNone): 幅值縮放每個(gè)樣本隨機(jī)乘一個(gè)系數(shù)保留通道間比例。 rng np.random.default_rng(seed) factors rng.uniform(low, high, size(X.shape[0], 1, 1)) return X * factors def add_drift(X, max_drift0.01, seedNone): 基線漂移每個(gè)通道疊加一條線性趨勢(shì)模擬傳感器溫度漂移。 rng np.random.default_rng(seed) n, t, c X.shape slope rng.uniform(-max_drift, max_drift, size(n, 1, c)) time_axis np.linspace(0, 1, t).reshape(1, -1, 1) return X slope * time_axis def time_warp(X, max_stretch0.2, seedNone): 時(shí)間扭曲對(duì)每個(gè)通道做輕微的時(shí)間軸拉伸或壓縮。 rng np.random.default_rng(seed) n, t, c X.shape out np.empty_like(X) old_idx np.arange(t) for i in range(n): for ch in range(c): k 1.0 rng.uniform(-max_stretch, max_stretch) new_len max(2, int(t * k)) new_idx np.linspace(0, t - 1, new_len) out[i, :, ch] np.interp(old_idx, new_idx, X[i, :, ch]) return out四組函數(shù)的設(shè)計(jì)思路是加噪和漂移讓模型對(duì)傳感器自身的噪聲和溫度變化不敏感縮放讓模型對(duì)佩戴松緊、動(dòng)作力度變化不敏感時(shí)間扭曲模擬的是同一個(gè)動(dòng)作做得快或慢。參數(shù)落在 0.9 到 1.1 的縮放區(qū)間對(duì)多數(shù)活動(dòng)識(shí)別任務(wù)比較安全因?yàn)閯?dòng)作幅度差異通常遠(yuǎn)小于這個(gè)范圍。seed參數(shù)建議在可復(fù)現(xiàn)實(shí)驗(yàn)里固定尤其當(dāng)你要對(duì)比增強(qiáng)前后效果時(shí)隨機(jī)種子一變結(jié)論可能也跟著變。使用時(shí)要特別注意add_noise的noise_level如果你不清楚輸入數(shù)據(jù)的單位先看波形量級(jí)。如果數(shù)據(jù)歸一化到 [-1,1]0.02 可能太小可以試 0.05如果數(shù)據(jù)是原始的加速度 g 值0.02g 是個(gè)穩(wěn)當(dāng)起點(diǎn)。時(shí)間扭曲里np.interp(old_idx, new_idx, X[i, :, ch])的含義是把拉伸后的時(shí)間軸重新映射回原來(lái)的長(zhǎng)度這樣輸出形狀不變可以直接拼進(jìn)訓(xùn)練集。3.2 頻域增強(qiáng)FFT相位擾動(dòng)與低通濾波可穿戴信號(hào)里的走路、跑步、揮手都有較明顯的節(jié)律頻域結(jié)構(gòu)是動(dòng)作類別的重要特征。頻域增強(qiáng)的思路是保留幅度譜只對(duì)相位做隨機(jī)擾動(dòng)這樣能量分布和頻率成分基本不變但波形細(xì)節(jié)會(huì)有變化模型不容易記住特定樣本。def fft_phase_shift(X, shift_range0.1, seedNone): 頻域相位擾動(dòng)。shift_range 是相位偏移的弧度范圍。 rng np.random.default_rng(seed) n, t, c X.shape out np.empty_like(X) for i in range(n): for ch in range(c): spectrum np.fft.rfft(X[i, :, ch]) freqs spectrum.shape[0] phase rng.uniform(-shift_range * 2 * np.pi, shift_range * 2 * np.pi, size(freqs,)) shifted spectrum * np.exp(1j * phase) out[i, :, ch] np.fft.irfft(shifted, nt) return outshift_range是這段代碼最需要謹(jǐn)慎調(diào)的參數(shù)0.1 表示相位偏移最大是 0.1 倍圓周也就是正負(fù) 36 度。大于 0.2 時(shí)波形會(huì)出現(xiàn)明顯的振鈴效應(yīng)也就是在信號(hào)突變的位置產(chǎn)生來(lái)回震蕩的假波這種假波在加速度計(jì)數(shù)據(jù)里表現(xiàn)得像高頻抖動(dòng)模型很容易把它當(dāng)成動(dòng)作特征學(xué)進(jìn)去。更穩(wěn)的用法是只擾動(dòng)中頻段的相位直流分量和最高頻分量保持不動(dòng)這樣既保留基線又增加多樣性。如果你只是想濾掉傳感器隨機(jī)抖動(dòng)直接用 scipy 的 butter 低通濾波器即可頻率截止設(shè)在動(dòng)作信號(hào)帶寬的 1.5 倍附近。3.3 互類增強(qiáng)Mixup與DBA的輕量實(shí)現(xiàn)互類增強(qiáng)的思想是從同類樣本里生成新的混合樣本。時(shí)序 Mixup 在可穿戴分類任務(wù)里性價(jià)比極高實(shí)現(xiàn)只要十行def mixup_same_class(X, y, alpha0.2, seedNone): 同類樣本線性插值。返回增強(qiáng)后的樣本和對(duì)應(yīng)標(biāo)簽。 rng np.random.default_rng(seed) n X.shape[0] # 為每個(gè)樣本隨機(jī)選一個(gè)同類樣本 indices np.empty(n, dtypeint) for label in np.unique(y): cls_idx np.where(y label)[0] for i in cls_idx: candidates cls_idx[cls_idx ! i] indices[i] rng.choice(candidates) if len(candidates) 0 else i lam rng.beta(alpha, alpha, size(n, 1, 1)) X_aug lam * X (1 - lam) * X[indices] return X_aug, y.copy()Mixup 在圖像上常用lambda從 Beta 分布采樣時(shí)序里同樣適用。alpha0.2時(shí)采樣值更偏向 0 或 1生成的樣本更接近兩個(gè)原始樣本之一alpha1.0時(shí)偏向 0.5生成的是兩個(gè)樣本的中間形態(tài)。我這里特意強(qiáng)調(diào)“同類”因?yàn)榭纱┐鲃?dòng)作標(biāo)簽天然互斥跨類插值會(huì)造出語(yǔ)義不明確的樣本比如“站立”和“跑步”的中間狀態(tài)標(biāo)簽沒法定義。同類 Mixup 能擴(kuò)大類內(nèi)多樣性又不會(huì)污染類別邊界。比 Mixup 更復(fù)雜的是 DBADTW Barycenter Averaging它用動(dòng)態(tài)時(shí)間規(guī)整找到一組同類樣本的“平均重心”生成一個(gè)代表性的模板樣本。DBA 對(duì)小樣本類別特別有效但它會(huì)把一批樣本平均成一個(gè)如果參與平均的樣本本身形態(tài)差異大得到的是過(guò)平滑的中間形態(tài)反而壓掉類內(nèi)差異。tslearn 庫(kù)里有現(xiàn)成的 barycenter 模塊使用時(shí)注意輸入樣本長(zhǎng)度必須一致否則要預(yù)先 padding 或截?cái)?。我的?jīng)驗(yàn)是Mixup 先上DBA 作為備選不要兩個(gè)同時(shí)用。3.4 生成式增強(qiáng)PCA潛空間噪聲注入的輕量方案真正的生成式增強(qiáng)比如 VAE 或 GAN在可穿戴時(shí)序上最容易遇到的問(wèn)題就是訓(xùn)練不穩(wěn)定數(shù)據(jù)量太小的時(shí)候模式崩潰很常見。有一個(gè)更穩(wěn)的低門檻做法先用 PCA 把訓(xùn)練樣本壓縮到低維潛空間在潛空間里加擾動(dòng)再重構(gòu)回原始空間。這相當(dāng)于一個(gè)線性 VAE不涉及對(duì)抗訓(xùn)練在 Jupyter 里能穩(wěn)定產(chǎn)出看起來(lái)合理的樣本。from sklearn.decomposition import PCA def pca_augment(X_train, n_components8, noise_std0.2, seedNone): PCA潛空間加噪重構(gòu)生成合成樣本。 X_train: (n_samples, n_timesteps, n_channels) n_components: 潛空間維數(shù)通常取 4~16 noise_std: 潛空間加噪標(biāo)準(zhǔn)差 rng np.random.default_rng(seed) n, t, c X_train.shape X_flat X_train.reshape(n, -1) pca PCA(n_componentsn_components) pca.fit(X_flat) Z pca.transform(X_flat) Z_aug Z rng.normal(0.0, noise_std, sizeZ.shape) X_aug_flat pca.inverse_transform(Z_aug) return X_aug_flat.reshape(n, t, c)n_components決定潛空間保留多少信息。取 4 到 16 對(duì)大多數(shù) 6 通道可穿戴信號(hào)夠用太小會(huì)丟失通道間的相關(guān)性重構(gòu)出來(lái)的樣本像被磨平了太大等于沒壓縮加噪后基本就是原始樣本加噪聲。noise_std從 0.1 起步不要超過(guò) 0.5否則潛空間里的擾動(dòng)會(huì)重構(gòu)出幅度異常的信號(hào)。這一招適合在樣本量少到 Mixup 都不太夠用時(shí)補(bǔ)一刀但它的多樣性有限只能作為組合增強(qiáng)里的一個(gè)組成部分不能獨(dú)挑大梁。如果你后續(xù)要用 LSTM 做時(shí)間序列預(yù)測(cè)或分類增強(qiáng)數(shù)據(jù)記得保持 (n, t, c) 的固定形狀PCA 重構(gòu)出的樣本形狀不會(huì)變可以直接拼接進(jìn)訓(xùn)練數(shù)組。4. 增強(qiáng)不是玄學(xué)用分布對(duì)比與Baseline分類器驗(yàn)證效果增強(qiáng)做完不驗(yàn)證等于白做。這一章講兩件事增強(qiáng)前后的樣本分布是否合理以及增強(qiáng)到底有沒有提升分類效果。驗(yàn)證用的代碼都是輕量的在 Jupyter 里跑幾分鐘就能出結(jié)果。4.1 增強(qiáng)前后分布可視化PCA降維與樣本波形對(duì)照先把原始樣本和增強(qiáng)樣本合并用 PCA 降維到二維看它們?cè)谔卣骺臻g里的分布是否有重疊。如果增強(qiáng)樣本完全落在原始樣本的分布之外說(shuō)明變換參數(shù)過(guò)強(qiáng)如果完全重疊說(shuō)明增強(qiáng)太平淡多樣性不夠。注意這里用的“分布”不是原始波形而是統(tǒng)計(jì)特征我習(xí)慣提取均值、標(biāo)準(zhǔn)差和 FFT 幅值均值def extract_features(X): 從時(shí)序樣本里提取統(tǒng)計(jì)特征用于分類和可視化。 X: (n_samples, n_timesteps, n_channels) 返回: (n_samples, n_channels * 3) features [] for i in range(X.shape[0]): sample X[i] f np.concatenate([ sample.mean(axis0), sample.std(axis0), np.abs(np.fft.rfft(sample, axis0)).mean(axis0) ]) features.append(f) return np.array(features)然后在 Jupyter 里運(yùn)行import matplotlib.pyplot as plt from sklearn.decomposition import PCA def plot_augmentation_distribution(X_orig, X_aug): feats_orig extract_features(X_orig) feats_aug extract_features(X_aug) feats_cat np.concatenate([feats_orig, feats_aug], axis0) pca PCA(n_components2) emb pca.fit_transform(feats_cat) fig, ax plt.subplots(figsize(6, 5)) ax.scatter(emb[:len(X_orig), 0], emb[:len(X_orig), 1], s6, alpha0.5, labeloriginal) ax.scatter(emb[len(X_orig):, 0], emb[len(X_orig):, 1], s6, alpha0.5, labelaugmented) ax.set_xlabel(PC1) ax.set_ylabel(PC2) ax.legend() plt.show()理想狀態(tài)是增強(qiáng)樣本散落在原始樣本周圍而不是聚集在一個(gè)角落。如果看到增強(qiáng)樣本形成獨(dú)立的小團(tuán)就要懷疑過(guò)強(qiáng)的噪聲或過(guò)大的縮放系數(shù)。分布圖還能暴露另一個(gè)問(wèn)題當(dāng)原始數(shù)據(jù)類別極少t-SNE 或 PCA 的投影會(huì)給出誤導(dǎo)性的視覺結(jié)論這時(shí)候要結(jié)合波形圖看。隨機(jī)抽幾個(gè)增強(qiáng)樣本畫波形和原始樣本并排比對(duì)確認(rèn)波形形態(tài)沒有被破壞。如果在 Jupyter 里畫圖時(shí)橫坐標(biāo)刻度太密集用plt.MaxNLocator(5)限制坐標(biāo)軸刻度數(shù)量否則標(biāo)簽會(huì)疊成一團(tuán)。4.2 用Baseline分類器量化增強(qiáng)收益分布圖是定性驗(yàn)證真正要說(shuō)服自己和團(tuán)隊(duì)的是數(shù)字。用一個(gè)輕量分類器做 baseline分別跑不增強(qiáng)和增強(qiáng)兩組實(shí)驗(yàn)對(duì)比準(zhǔn)確率或 F1。因?yàn)檫@里驗(yàn)證的是增強(qiáng)的價(jià)值不是模型的天花板我用邏輯回歸加特征提取就能看出趨勢(shì)。from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline from sklearn.model_selection import train_test_split def evaluate_augmentation(X_orig, y, X_aug, y_aug): # 原始數(shù)據(jù)做 baseline X_feat_orig extract_features(X_orig) X_train, X_test, y_train, y_test train_test_split( X_feat_orig, y, test_size0.2, stratifyy, random_state42) baseline make_pipeline(StandardScaler(), LogisticRegression(max_iter500)) baseline.fit(X_train, y_train) base_acc baseline.score(X_test, y_test) # 增強(qiáng)數(shù)據(jù)拼進(jìn)訓(xùn)練集測(cè)試集仍舊用原始數(shù)據(jù) X_train_aug np.concatenate([X_feat_orig, extract_features(X_aug)], axis0) y_train_aug np.concatenate([y, y_aug], axis0) X_test X_feat_orig # 注意這里測(cè)試集是原始數(shù)據(jù)避免泄漏 y_test y aug_model make_pipeline(StandardScaler(), LogisticRegression(max_iter500)) aug_model.fit(X_train_aug, y_train_aug) aug_acc aug_model.score(X_test, y_test) print(fbaseline acc: {base_acc:.4f}) print(faugmented acc: {aug_acc:.4f}) return base_acc, aug_acc這段代碼有個(gè)關(guān)鍵點(diǎn)測(cè)試集始終是原始數(shù)據(jù)的隨機(jī)劃分增強(qiáng)樣本只進(jìn)訓(xùn)練集。如果你把增強(qiáng)樣本也放進(jìn)劃分再隨機(jī)切同一個(gè)原始樣本的多個(gè)增強(qiáng)版本很可能同時(shí)出現(xiàn)在訓(xùn)練和測(cè)試?yán)餃?zhǔn)確率虛高。這里的評(píng)估方式雖然簡(jiǎn)單但能告訴你兩個(gè)信息增強(qiáng)把準(zhǔn)確率往上頂了還是壓下去了以及它在驗(yàn)證集上的穩(wěn)定性。數(shù)字跑出來(lái)如果增強(qiáng)后準(zhǔn)確率反而下降先不要急著調(diào)參回到 4.1 看分布圖大概率是變換參數(shù)過(guò)強(qiáng)。4.3 評(píng)估指標(biāo)準(zhǔn)確率、F1與類別召回準(zhǔn)確率在可穿戴分類任務(wù)里經(jīng)常騙人。比如“正常行走”這類樣本量大的類別把準(zhǔn)確率抬得很高但“跌倒”這類小樣本類別表現(xiàn)極差準(zhǔn)確率數(shù)字卻看不出來(lái)。增強(qiáng)最應(yīng)該解決的恰恰是小樣本類別的召回率。所以在 baseline 評(píng)估里不要讓準(zhǔn)確率當(dāng)唯一指標(biāo)至少要同時(shí)記錄 macro F1 和每個(gè)類別的召回率。指標(biāo)適合場(chǎng)景說(shuō)明準(zhǔn)確率類別均衡時(shí)直觀但小樣本類別失效時(shí)看不出來(lái)macro F1類別不平衡每個(gè)類別 F1 平均小類被同等對(duì)待每類召回率跌倒檢測(cè)等安全場(chǎng)景漏報(bào)比誤報(bào)代價(jià)更高直接看這個(gè)可穿戴任務(wù)里如果增強(qiáng)只帶來(lái)準(zhǔn)確率上升 1 個(gè)百分點(diǎn)但跌倒類別的召回率從 0.6 漲到 0.85這個(gè)增強(qiáng)就是有效的。我在實(shí)際項(xiàng)目里會(huì)把這三項(xiàng)指標(biāo)打出來(lái)再?zèng)Q定要不要調(diào)整增強(qiáng)參數(shù)。單獨(dú)追求準(zhǔn)確率的提升很容易被增強(qiáng)帶來(lái)的過(guò)擬合掩蓋。5. 可穿戴時(shí)序增強(qiáng)的避坑記錄五個(gè)親身踩過(guò)的邊界這一章是我自己在可穿戴項(xiàng)目里真實(shí)踩過(guò)的坑按“現(xiàn)象-原因-解決”的格式記錄希望能省掉你幾天的排查時(shí)間。5.1 增強(qiáng)后標(biāo)簽錯(cuò)位樣本和標(biāo)簽尾部對(duì)不上現(xiàn)象是訓(xùn)練時(shí)準(zhǔn)確率忽高忽低畫混淆矩陣發(fā)現(xiàn)很多預(yù)測(cè)標(biāo)簽比真實(shí)標(biāo)簽慢了一個(gè)或幾個(gè)位置。原因是滑動(dòng)窗口切窗和增強(qiáng)用了不同的索引體系。比如先對(duì)整條傳感器流做了噪聲增強(qiáng)再切窗增強(qiáng)后的數(shù)組長(zhǎng)度沒變但內(nèi)存布局變了或者你用sliding_window切完窗后又對(duì)重疊區(qū)域單獨(dú)做縮放導(dǎo)致某個(gè)樣本實(shí)際上覆蓋了相鄰動(dòng)作的波形但標(biāo)簽還是原來(lái)的。解決方法是把“切窗 標(biāo)簽對(duì)齊 增強(qiáng)”放在同一個(gè)函數(shù)里每生成一個(gè)窗口就立刻確認(rèn)窗口的起始時(shí)間戳和標(biāo)簽對(duì)應(yīng)。增強(qiáng)函數(shù)只接受已經(jīng)帶標(biāo)簽的樣本數(shù)組不要對(duì)完整傳感器流先增強(qiáng)再切窗。另外離線增強(qiáng)后用np.savez保存時(shí)把 X_aug 和 y_aug 同時(shí)寫進(jìn)去下次加載時(shí)先檢查len(X_aug) len(y_aug)這個(gè)斷言能攔住大多數(shù)索引錯(cuò)位問(wèn)題。5.2 歸一化順序反了增強(qiáng)白做甚至有害現(xiàn)象是增強(qiáng)后的樣本在驗(yàn)證集上表現(xiàn)還不如不增強(qiáng)畫波形發(fā)現(xiàn)增強(qiáng)樣本的幅度整體偏小且與原始樣本的量綱不一致。原因是先做了標(biāo)準(zhǔn)化歸一化再對(duì)標(biāo)準(zhǔn)化后的樣本加噪聲或縮放而標(biāo)準(zhǔn)化時(shí)用的均值方差來(lái)自原始訓(xùn)練集增強(qiáng)樣本等于被二次縮放分布整體漂移。正確的順序是先做數(shù)據(jù)增強(qiáng)再擬合標(biāo)準(zhǔn)化器。也就是把StandardScaler放在增強(qiáng)之后只擬合增強(qiáng)后的訓(xùn)練集驗(yàn)證集和測(cè)試集用同一個(gè) scaler 做變換。如果你希望增強(qiáng)前后的樣本都處在同一量綱可以單獨(dú)畫增強(qiáng)前后每個(gè)通道的均值和標(biāo)準(zhǔn)差對(duì)比偏差超過(guò) 10% 就說(shuō)明順序或參數(shù)有問(wèn)題。這個(gè)小檢查成本很低值得養(yǎng)成習(xí)慣。5.3 頻域相位擾動(dòng)過(guò)頭振鈴偽影變成新特征現(xiàn)象是頻域增強(qiáng)后準(zhǔn)確率提升但換一個(gè)設(shè)備驗(yàn)證時(shí)效果暴跌模型對(duì)新設(shè)備的信號(hào)完全不魯棒。原因是shift_range設(shè)得太大相位擾動(dòng)在信號(hào)突變點(diǎn)附近產(chǎn)生了明顯的振鈴模型把振鈴當(dāng)成了動(dòng)作特征而真實(shí)設(shè)備里沒有這個(gè)偽影。解決方法是把shift_range控制在 0.05 到 0.15 之間并且擾動(dòng)時(shí)不動(dòng)直流分量和最高頻分量只擾動(dòng)能量占比靠前的 30% 到 50% 的頻率分量。還可以直接拿增強(qiáng)樣本和原始樣本的頻譜做對(duì)比畫在一張圖上如果頻譜包絡(luò)形狀明顯改變就調(diào)小范圍。我自己在加速度計(jì)數(shù)據(jù)上一般用 0.1再大就出偽影。5.4 生成式增強(qiáng)把樣本變同質(zhì)多樣性不升反降現(xiàn)象是 PCA 增廣后訓(xùn)練集的分類準(zhǔn)確率上升但測(cè)試集準(zhǔn)確率沒有同步上升甚至下降畫分布圖發(fā)現(xiàn)增強(qiáng)樣本全部集中在原始樣本中心附近的一小片區(qū)域。原因是潛空間加噪的標(biāo)準(zhǔn)差太小PCA 重構(gòu)時(shí)把噪聲壓縮掉了產(chǎn)出的樣本幾乎就是原始樣本的均值形態(tài)多樣性幾乎沒有增加反而讓模型在訓(xùn)練時(shí)反復(fù)看到同質(zhì)的平均樣本變相加重了對(duì)訓(xùn)練分布的過(guò)度擬合。解決辦法是先畫出潛空間投影的分布Z的每一維標(biāo)準(zhǔn)差大概是多少noise_std取到這些標(biāo)準(zhǔn)差的一半到等量級(jí)。比如Z第一維標(biāo)準(zhǔn)差是 3.2noise_std從 1.0 試起而不是拍腦袋設(shè)個(gè) 0.2。檢查合成樣本和原始樣本的類內(nèi)距離增強(qiáng)后的類內(nèi)平均距離如果比原始類內(nèi)距離還小說(shuō)明多樣性不足加大噪聲或換用 Mixup。5.5 內(nèi)存不夠與隨機(jī)種子不一致實(shí)驗(yàn)結(jié)果沒法復(fù)現(xiàn)現(xiàn)象是在 Jupyter 里增強(qiáng)跑得正歡突然內(nèi)核崩了或者同一個(gè) notebook 重復(fù)跑兩遍出來(lái)的準(zhǔn)確率不一樣。原因有二一是離線增強(qiáng)把所有方法、所有倍率一次性全部生成數(shù)組數(shù)量翻了十幾倍直接爆內(nèi)存二是增強(qiáng)函數(shù)里的隨機(jī)種子沒有固定每次跑的樣本都不同自然不能復(fù)現(xiàn)。解決方式是分批生成、及時(shí)釋放。增強(qiáng)數(shù)據(jù)可以每生成一批就np.savez追加寫入不要一直攢在變量里單批樣本量控制在幾萬(wàn)以內(nèi)。每個(gè)增強(qiáng)函數(shù)都接受seed參數(shù)在 notebook 開頭定義一個(gè)全局的SEED 42所有函數(shù)傳進(jìn)去。如果你在一個(gè)單元格里連續(xù)跑多個(gè)增強(qiáng)函數(shù)還要注意每個(gè)函數(shù)內(nèi)部如果不重置numpy.random的全局狀態(tài)后面的隨機(jī)序列會(huì)被前面的調(diào)用影響所以顯式用np.random.default_rng(seed)是更穩(wěn)的寫法。Jupyter 本身對(duì)長(zhǎng)任務(wù)也不友好數(shù)據(jù)量超過(guò)幾十萬(wàn)樣本后建議把增強(qiáng)腳本抽成.py在終端跑跑完存盤再回 notebook 做分析。6. 進(jìn)階按受試者分組交叉驗(yàn)證把增強(qiáng)放進(jìn)嚴(yán)格評(píng)估管線可穿戴實(shí)驗(yàn)里最容易被忽略的泄漏不是增強(qiáng)樣本進(jìn)了測(cè)試集而是同一個(gè)受試者的數(shù)據(jù)同時(shí)出現(xiàn)在訓(xùn)練和測(cè)試集中。模型會(huì)記住佩戴者的個(gè)體特征而不是動(dòng)作類別本身。這個(gè)問(wèn)題在加了增強(qiáng)之后會(huì)被放大因?yàn)樵鰪?qiáng)能讓同一個(gè)人的樣本出現(xiàn)幾十次泄漏效果更強(qiáng)。解決方法是按受試者分組做交叉驗(yàn)證。先把數(shù)據(jù)按受試者 ID 組織然后用GroupKFold劃分確保同一個(gè)人的所有窗口只出現(xiàn)在同一個(gè) foldfrom sklearn.model_selection import GroupKFold def evaluate_grouped(X, y, groups, X_aug, y_aug, aug_groups): 按受試者分組評(píng)估增強(qiáng)效果。 groups: 每個(gè)樣本所屬的受試者 ID X_aug: 增強(qiáng)后的樣本 aug_groups: 增強(qiáng)樣本對(duì)應(yīng)的受試者 ID gkf GroupKFold(n_splits5) scores [] for train_idx, test_idx in gkf.split(X.reshape(X.shape[0], -1), y, groups): # 只把 train_idx 對(duì)應(yīng)的訓(xùn)練樣本與增強(qiáng)樣本拼接 X_train np.concatenate([X[train_idx], X_aug], axis0) y_train np.concatenate([y[train_idx], y_aug], axis0) # 注意增強(qiáng)樣本必須只來(lái)自訓(xùn)練 fold 的受試者 X_test, y_test X[test_idx], y[test_idx] model make_pipeline(StandardScaler(), LogisticRegression(max_iter500)) model.fit(extract_features(X_train), y_train) acc model.score(extract_features(X_test), y_test) scores.append(acc) return scores這段代碼里最需要注意的是X_aug的來(lái)源。增強(qiáng)樣本只能由訓(xùn)練 fold 內(nèi)的原始樣本生成不能拿測(cè)試 fold 的樣本來(lái)造否則 leaking。嚴(yán)謹(jǐn)?shù)淖龇ㄊ窃诿總€(gè) fold 內(nèi)部重新對(duì)訓(xùn)練部分做增強(qiáng)而不是在 fold 外提前生成一份增強(qiáng)數(shù)組。上面的寫法為了示意簡(jiǎn)化了這一點(diǎn)實(shí)際落地時(shí)把增強(qiáng)代碼放進(jìn) fold 循環(huán)內(nèi)部只接收X[train_idx]。交叉驗(yàn)證跑完你會(huì)得到五組得分。我的習(xí)慣是同時(shí)跑一版不帶增強(qiáng)的GroupKFold兩邊的均值差才是增強(qiáng)的真實(shí)收益。如果增強(qiáng)后均值上升但方差也變大說(shuō)明增強(qiáng)對(duì)某些受試者效果好、對(duì)另一些不穩(wěn)定這時(shí)要按類別和受試者分別看召回率不要只盯著平均分。我自己做可穿戴項(xiàng)目時(shí)有個(gè)堅(jiān)持了很久的習(xí)慣每次增強(qiáng)調(diào)參前先跑一版嚴(yán)格分組的 baseline任何增強(qiáng)方案如果在這個(gè) baseline 上沒有提升就不讓它進(jìn)訓(xùn)練管線。這個(gè)做法擋掉過(guò)很多看起來(lái)漂亮的增強(qiáng)方法。數(shù)據(jù)增強(qiáng)的價(jià)值最終要體現(xiàn)在沒見過(guò)的人戴上傳感器的表現(xiàn)上而不是 notebook 里的訓(xùn)練曲線。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取