簡(jiǎn)介面向計(jì)算機(jī)、人工智能、醫(yī)學(xué)影像、通信、自動(dòng)化等相關(guān)專業(yè)的學(xué)生、教師或從業(yè)者這份以Python實(shí)現(xiàn)的3D-CT影像肺結(jié)節(jié)檢測(cè)項(xiàng)目來自個(gè)人畢業(yè)設(shè)計(jì)答辯評(píng)審98分全部代碼經(jīng)過調(diào)試測(cè)試可直接運(yùn)行復(fù)現(xiàn)。包內(nèi)共53個(gè)文件以38個(gè)Python腳本為主體覆蓋DICOM數(shù)據(jù)轉(zhuǎn)換、圖像預(yù)處理、肺結(jié)節(jié)檢測(cè)與分類網(wǎng)絡(luò)、訓(xùn)練評(píng)估等環(huán)節(jié)另有CSV標(biāo)注、NPY特征數(shù)據(jù)、PNG效果圖、Shell運(yùn)行腳本和Markdown說明ZIP壓縮包約9.6MB目錄結(jié)構(gòu)緊湊適合課程設(shè)計(jì)、期末大作業(yè)或小白進(jìn)階。從內(nèi)容預(yù)覽看項(xiàng)目保留了檢測(cè)與分類的完整流程以及候選區(qū)提取、標(biāo)簽整理、模型配置等細(xì)節(jié)模塊便于理解算法思路并在其基礎(chǔ)上改進(jìn)也可替換數(shù)據(jù)或調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)做進(jìn)一步實(shí)驗(yàn)。目前已有125人學(xué)習(xí)下載對(duì)希望系統(tǒng)掌握醫(yī)學(xué)影像結(jié)節(jié)檢測(cè)流程的讀者有較高參考價(jià)值。1. 3D-CT肺結(jié)節(jié)檢測(cè)這個(gè)標(biāo)題背后的一套完整方案醫(yī)學(xué)影像AI里肺結(jié)節(jié)檢測(cè)是最常被拿來當(dāng)入門項(xiàng)目、畢業(yè)設(shè)計(jì)、甚至橫向課題選題的方向。原因很實(shí)際數(shù)據(jù)公開、標(biāo)注明確、訓(xùn)練目標(biāo)直接——在3D-CT影像里把肺結(jié)節(jié)的位置和大小找出來?？烧嬲鲜值娜舜蠖鄷?huì)卡在同一個(gè)地方2D檢測(cè)里跑得通的套路搬到3D CT上就各種翻車光一個(gè)體素間距不一致就能讓模型輸出一堆廢料。標(biāo)題里提到的這個(gè)“基于python的3D-CT影像的肺結(jié)節(jié)檢測(cè)算法源碼數(shù)據(jù)集項(xiàng)目說明”本質(zhì)上就是一套把數(shù)據(jù)預(yù)處理、3D模型訓(xùn)練、后處理串聯(lián)起來的完整工程。本文會(huì)從數(shù)據(jù)集預(yù)處理開始講到模型選型與訓(xùn)練最后落在FROC評(píng)估和參數(shù)調(diào)優(yōu)上全程給出可直接復(fù)制跑的代碼。適合正準(zhǔn)備做這個(gè)方向、或者已經(jīng)在訓(xùn)練但被假陽性搞到懷疑人生的開發(fā)者。2. 數(shù)據(jù)先過關(guān)LUNA16數(shù)據(jù)集與3D切片重采樣2.1 為什么首選LUNA16而不是自建數(shù)據(jù)集做3D-CT肺結(jié)節(jié)檢測(cè)繞不開的就是LUNA16。這個(gè)數(shù)據(jù)集來源于LIDC/IDRI經(jīng)過篩選剩下888個(gè)CT掃描原論文拆分后?？吹降氖?88/1010兩個(gè)數(shù)字實(shí)際要看版本每個(gè)掃描都標(biāo)注了肺結(jié)節(jié)的中心坐標(biāo)和直徑還附帶可以判斷醫(yī)生標(biāo)注一致性的信息。它之所以被當(dāng)成這個(gè)方向的默認(rèn)起點(diǎn)是因?yàn)闃?biāo)注質(zhì)量好、文件格式統(tǒng)一MHD/RAW更重要的是有一個(gè)官方評(píng)估服務(wù)器跑出來的結(jié)果能直接對(duì)比別人的方案。自建數(shù)據(jù)集在這個(gè)方向上絕大多數(shù)情況是坑。原因在于劃痕、偽影、肺實(shí)質(zhì)分割錯(cuò)誤都會(huì)干擾檢測(cè)而醫(yī)院拿到的DICOM數(shù)據(jù)往往沒做過歸一化切片厚度、管電壓、重建核全不一樣。我見過太多人在自建數(shù)據(jù)上折騰兩三個(gè)月最后還是要回到LUNA16做基準(zhǔn)測(cè)試。所以如果你的目標(biāo)是把“肺結(jié)節(jié)檢測(cè)”真正跑通并得到可信評(píng)估結(jié)果第一選擇應(yīng)該是LUNA16而不是去醫(yī)院導(dǎo)數(shù)據(jù)。2.2 MHD/RAW文件讀取與體素間距歸一化LUNA16的每個(gè)樣本由兩部分組成一個(gè).mhd文件文本頭記錄CT體積的尺寸、體素間距、原點(diǎn)坐標(biāo)等和同名的.raw文件實(shí)際CT體數(shù)據(jù)。讀取時(shí)官方給的工具是SimpleITK這比直接去解析numpy數(shù)組穩(wěn)妥得多。下面是最小的讀取代碼import SimpleITK as sitk import numpy as np def load_ct_image(mhd_path: str): 讀取MHD/RAW格式的CT影像返回(體數(shù)據(jù)數(shù)組, 體素間距) itk_img sitk.ReadImage(mhd_path) # 體素間距是( x, y, z )對(duì)應(yīng)(列間距, 行間距, 層間距) spacing itk_img.GetSpacing() img_array sitk.GetArrayFromImage(itk_img) # 形狀為(z, y, x) return img_array, spacing # 使用示例讀取一個(gè)LUNA16樣本 img_array, spacing load_ct_image(subset0/1.3.6.1.4.1.14519.5.2.1.6279.6001.108197895896616976576845685026.mhd) print(體數(shù)據(jù)形狀:, img_array.shape) # 例如 (z, 512, 512) print(體素間距:, spacing) # 例如 (0.7, 0.7, 1.25)單位mm代碼邏輯說明sitk.GetArrayFromImage返回的數(shù)組維度順序是(z, y, x)很多人在這里第一次踩坑——用np.loadtxt或者別的庫讀raw文件讀出來維度是反的直接導(dǎo)致后續(xù)數(shù)據(jù)增強(qiáng)全部錯(cuò)位。讀取之后要立刻記錄spacing因?yàn)楹罄m(xù)所有歸一化操作都要依賴它。0.7,0.7,1.25這個(gè)組合在LUNA16里很典型意思是切片內(nèi)分辨率高、層間厚這種非對(duì)稱分辨率如果直接在網(wǎng)絡(luò)里當(dāng)正方形處理會(huì)有問題。參數(shù)說明spacing的三個(gè)值順序是(x, y, z)而數(shù)組形狀是(z, y, x)兩者順序相反。讀完后建議立即打印確認(rèn)不要憑記憶斷言。讀取之后需要做的第一件事是CT值歸一化。CT影像的原始值是HUHounsfield Unit范圍通常在-1000到3000之間而肺窗里最關(guān)注的范圍是-1000空氣到400骨頭左右。常見的做法是先做窗寬窗位截?cái)嘣贇w一化到0到1區(qū)間def normalize_ct(img_array: np.ndarray, window_min: int -1000, window_max: int 400): 把CT值截?cái)嗟椒未胺秶w一化到[0,1] img_array np.clip(img_array, window_min, window_max) img_array (img_array - window_min) / (window_max - window_min) return img_array.astype(np.float32)這個(gè)窗寬窗位的選擇不是瞎定的。-1000對(duì)應(yīng)空氣400約等于致密骨肺結(jié)節(jié)軟組織密度和血管都在這個(gè)區(qū)間內(nèi)。如果直接把原始HU值丟給網(wǎng)絡(luò)大多數(shù)模型的BatchNorm都會(huì)被少數(shù)極端值帶偏訓(xùn)練波動(dòng)會(huì)很大。實(shí)測(cè)下來不做截?cái)嗟挠?xùn)練相比做截?cái)嗟氖諗克俣嚷壹訇栃月势摺?.3 體素間距重采樣與坐標(biāo)轉(zhuǎn)換的邊界坑LUNA16標(biāo)注給出的是世界坐標(biāo)毫米而模型操作的是體素坐標(biāo)索引兩者之間必須做一次轉(zhuǎn)換。同時(shí)不同樣本的spacing不一樣如果直接把原始體素喂給網(wǎng)絡(luò)模型需要同時(shí)學(xué)習(xí)“不同的分辨率”和“結(jié)節(jié)形態(tài)”難度指數(shù)級(jí)上升。標(biāo)準(zhǔn)做法是重采樣到統(tǒng)一spacing常見的目標(biāo)spacing是(1.0, 1.0, 1.0)或(0.7, 0.7, 1.25)。我這里一般選擇(1.0, 1.0, 1.0)因?yàn)橛?jì)算量可控且重采樣造成的細(xì)節(jié)損失對(duì)檢測(cè)結(jié)果影響最小。核心轉(zhuǎn)換代碼如下import SimpleITK as sitk def resample_to_spacing(itk_img: sitk.Image, target_spacing(1.0, 1.0, 1.0)): 將CT圖像重采樣到目標(biāo)體素間距 original_spacing itk_img.GetSpacing() original_size itk_img.GetSize() new_size [ int(round(orig_sz * orig_spc / target_spc)) for orig_sz, orig_spc, target_spc in zip(original_size, original_spacing, target_spacing) ] resampler sitk.ResampleImageFilter() resampler.SetOutputSpacing(target_spacing) resampler.SetSize(new_size) resampler.SetOutputDirection(itk_img.GetDirection()) resampler.SetOutputOrigin(itk_img.GetOrigin()) resampler.SetInterpolator(sitk.sitkLinear) return resampler.Execute(itk_img)邏輯說明這段代碼的關(guān)鍵是new_size的計(jì)算——用原始尺寸乘以原始間距得到物理尺寸再除以目標(biāo)間距得到新尺寸。如果寫成int(orig_sz / target_spc)就錯(cuò)了因?yàn)楹雎粤嗽璼pacing。方向矩陣和原點(diǎn)必須保留否則后續(xù)把預(yù)測(cè)結(jié)果映射回原始坐標(biāo)時(shí)全部錯(cuò)誤。回調(diào)時(shí)對(duì)應(yīng)的坐標(biāo)轉(zhuǎn)換公式def world_to_voxel(world_coord, origin, spacing, direction): 把毫米坐標(biāo)轉(zhuǎn)換為體素索引坐標(biāo) voxel_coord (np.array(world_coord) - np.array(origin)) / np.array(spacing) # 如果direction不是單位矩陣需要先做逆變換但LUNA16的direction基本都為單位矩陣 return np.round(voxel_coord).astype(int)這里的邊界坑在于LUNA16的標(biāo)注是“直徑”而非“分割mask”意味著標(biāo)注中心點(diǎn)附近不一定全是結(jié)節(jié)體素。當(dāng)頭direction不是單位矩陣時(shí)這個(gè)簡(jiǎn)化公式會(huì)錯(cuò)好在絕大多數(shù)情況下LUNA16的CT掃描方向都是標(biāo)準(zhǔn)軸位。轉(zhuǎn)換后建議做一次可視化把結(jié)節(jié)中心切片畫出來看一眼再繼續(xù)往下。3. 模型選型與訓(xùn)練從3D U-Net基線到正負(fù)樣本平衡策略3.1 檢測(cè)方案選型分割出候選再做分類而不是一步到位檢測(cè)肺結(jié)節(jié)檢測(cè)在LUNA16上表現(xiàn)最好的方案長(zhǎng)期由兩條技術(shù)路線主導(dǎo)一條是直接做3D目標(biāo)檢測(cè)類似3D Faster R-CNN另一條是先做3D語義分割得到候選結(jié)節(jié)再用一個(gè)分類網(wǎng)絡(luò)做假陽性抑制。對(duì)于“源碼數(shù)據(jù)集”這個(gè)規(guī)模的項(xiàng)目后者更可靠。它把問題拆成兩個(gè)清晰階段每個(gè)階段都可以單獨(dú)調(diào)試、單獨(dú)評(píng)估而直接檢測(cè)路線在小數(shù)據(jù)集上容易過擬合且網(wǎng)絡(luò)收斂不定。第一階段模型選型有一個(gè)默認(rèn)基線3D U-Net或它的變體V-Net。輸入是重采樣后的CT塊輸出是每個(gè)體素是結(jié)節(jié)的概率圖。這個(gè)網(wǎng)絡(luò)對(duì)稱的編碼-解碼結(jié)構(gòu)在3D醫(yī)學(xué)分割任務(wù)上魯棒性極強(qiáng)。更復(fù)雜的選擇是nnUNet但它會(huì)自動(dòng)執(zhí)行一套完整的預(yù)處理訓(xùn)練流程如果你是想學(xué)習(xí)原理、調(diào)整細(xì)節(jié)nnUNet的抽象程度偏高。先跑通3D U-Net再去對(duì)比nnUNet這個(gè)順序最穩(wěn)。3.2 訓(xùn)練數(shù)據(jù)生成patch采樣與標(biāo)簽距離變換3D U-Net訓(xùn)練有一個(gè)顯存問題整張CT體積一次輸入不可能放進(jìn)GPU。標(biāo)準(zhǔn)做法是patch采樣每次裁剪一個(gè)固定大小的3D塊喂進(jìn)網(wǎng)絡(luò)。patch大小在24GB顯存上可以做到(64, 192, 192)更小的顯存建議降到(32, 128, 128)。采樣時(shí)不能純隨機(jī)因?yàn)榻Y(jié)節(jié)在整張CT里的占比極低隨機(jī)采樣的batch基本全是背景。我一般采取“結(jié)節(jié)區(qū)域與背景區(qū)域按比例混合采樣”的策略import numpy as np from scipy import ndimage def generate_train_patches(img_norm: np.ndarray, nodule_mask: np.ndarray, patch_size(64, 192, 192), pos_ratio0.5): 生成訓(xùn)練patch正樣本(包含結(jié)節(jié)區(qū)域)與負(fù)樣本各占一半 參數(shù): img_norm: 歸一化后的CT體數(shù)據(jù) nodule_mask: 結(jié)節(jié)分割mask(0/1) patch_size: 裁剪塊大小 pos_ratio: 正樣本比例 z_len, y_len, x_len img_norm.shape pz, py, px patch_size # 獲取所有結(jié)節(jié)體素坐標(biāo)用于錨定正樣本 pos_coords np.argwhere(nodule_mask 0) n_pos int(len(pos_coords) * pos_ratio) # 正樣本數(shù)量 patches [] labels [] for _ in range(n_pos): if len(pos_coords) 0: # 隨機(jī)選一個(gè)結(jié)節(jié)體素作為patch中心 center pos_coords[np.random.randint(len(pos_coords))] cz, cy, cx center # 中心點(diǎn)加上隨機(jī)偏移防止老裁剪同一個(gè)區(qū)域 cz int(np.clip(cz np.random.randint(-8, 8), pz//2, z_len - pz//2)) cy int(np.clip(cy np.random.randint(-8, 8), py//2, y_len - py//2)) cx int(np.clip(cx np.random.randint(-8, 8), px//2, x_len - px//2)) else: continue patch img_norm[cz-pz//2:czpz//2, cy-py//2:cypy//2, cx-px//2:cxpx//2] patch_mask nodule_mask[cz-pz//2:czpz//2, cy-py//2:cypy//2, cx-px//2:cxpx//2] patches.append(patch) labels.append(patch_mask) # 負(fù)樣本采樣在離結(jié)節(jié)至少20mm遠(yuǎn)的位置隨機(jī)裁剪 n_neg n_pos # 負(fù)樣本數(shù)量與正樣本相同 bg_mask (nodule_mask 0) for _ in range(n_neg): # 實(shí)際做法從背景區(qū)域隨機(jī)采點(diǎn)檢查該位置周圍無結(jié)節(jié) attempts 0 while attempts 100: cz np.random.randint(pz//2, z_len - pz//2) cy np.random.randint(py//2, y_len - py//2) cx np.random.randint(px//2, x_len - px//2) # 要求中心附近20體素范圍內(nèi)無結(jié)節(jié) if bg_mask[cz-20:cz20, cy-20:cy20, cx-20:cx20].all(): break attempts 1 patch img_norm[cz-pz//2:czpz//2, cy-py//2:cypy//2, cx-px//2:cxpx//2] patch_mask nodule_mask[cz-pz//2:czpz//2, cy-py//2:cypy//2, cx-px//2:cxpx//2] patches.append(patch) labels.append(patch_mask) return np.array(patches, dtypenp.float32), np.array(labels, dtypenp.float32)參數(shù)說明pos_ratio控制正負(fù)樣本比例我習(xí)慣設(shè)為0.5。實(shí)測(cè)全部正樣本pos_ratio1.0會(huì)讓模型只見過結(jié)節(jié)、背景多樣性不夠推理時(shí)在血管、支氣管上的假陽性率猛增。正負(fù)各一半在3D U-Net上通常是質(zhì)量和穩(wěn)定性的折中點(diǎn)。負(fù)樣本采樣里那個(gè)20體素的“無結(jié)節(jié)安全距離”也很關(guān)鍵——太靠近結(jié)節(jié)的背景體素和結(jié)節(jié)極其相似會(huì)讓網(wǎng)絡(luò)學(xué)不到區(qū)分特征。顯存不夠時(shí)可以同時(shí)減小patch_size并調(diào)低batch_size到2甚至1。3D網(wǎng)絡(luò)在batch size1時(shí)訓(xùn)練波動(dòng)大建議打開梯度累積等于是用時(shí)間換空間。3.3 損失函數(shù)與訓(xùn)練循環(huán)這個(gè)分割任務(wù)的輸出是結(jié)節(jié)概率圖。類別不平衡在patch采樣后已經(jīng)被緩解但背景體素依然占多數(shù)。推薦使用DiceLoss或Focal Loss的組合。我一般用Dice BCE各一半Focal Loss在調(diào)節(jié)難例權(quán)重時(shí)更靈活但gamma值需要額外調(diào)試在項(xiàng)目初期增加了變量。下面是訓(xùn)練的簡(jiǎn)化代碼用PyTorchimport torch import torch.nn as nn class DiceBCELoss(nn.Module): Dice Loss BCE的組合適合正樣本占比低的分割任務(wù) def __init__(self, dice_weight0.5, bce_weight0.5): super().__init__() self.dice_weight dice_weight self.bce_weight bce_weight def forward(self, pred, target): # pred: (B, 1, D, H, W) 概率圖 # target: (B, 1, D, H, W) 0/1 mask smooth 1e-5 pred_flat pred.view(pred.size(0), -1) target_flat target.view(target.size(0), -1) intersection (pred_flat * target_flat).sum(dim1) dice (2.0 * intersection smooth) / (pred_flat.sum(dim1) target_flat.sum(dim1) smooth) dice_loss 1 - dice.mean() bce_loss nn.functional.binary_cross_entropy(pred, target) return self.dice_weight * dice_loss self.bce_weight * bce_loss代碼邏輯說明Dice損失對(duì)正負(fù)樣本比例不敏感但單獨(dú)用Dice訓(xùn)練會(huì)陷入“梯度集中在分割邊界”的局部最優(yōu)加BCE幫助網(wǎng)絡(luò)在像素級(jí)上更精確。pred已是sigmoid輸出所以直接用binary_cross_entropy不需要再套logits。訓(xùn)練時(shí)有一個(gè)常見誤用是直接對(duì)2D slice做loss導(dǎo)致3D上下文信息被破壞訓(xùn)練出來的模型在z軸方向上抖動(dòng)嚴(yán)重。要始終以(B,1,D,H,W)的形式組織數(shù)據(jù)。訓(xùn)練循環(huán)的優(yōu)化器我固定用AdamW初始學(xué)習(xí)率1e-4配合Cosine退火。3D U-Net在同一個(gè)目標(biāo)上AdamW和SGD的差距不大但AdamW對(duì)初學(xué)更友好不需要手動(dòng)調(diào)動(dòng)量。每個(gè)epoch后跑一次驗(yàn)證集的候選點(diǎn)檢測(cè)得到這一輪的FROC評(píng)分保存最優(yōu)權(quán)重——比單純保存loss最小的權(quán)重實(shí)用得多因?yàn)閘oss低不代表結(jié)節(jié)檢得全。3.4 推理階段滑動(dòng)窗口的坑與顯存控制推理時(shí)整張CT依然放不進(jìn)顯存。標(biāo)準(zhǔn)做法是滑動(dòng)窗口sliding window加overlap。窗口大小和patch_size一致overlap至少要有patch_size的一半否則拼接處的結(jié)節(jié)會(huì)被切碎。這一步的坑在于如果直接將每個(gè)patch的預(yù)測(cè)概率拼接邊界處會(huì)出現(xiàn)明顯的“接縫”后續(xù)連通域分析會(huì)把這些接縫誤判成結(jié)節(jié)邊界。推薦的推理流程是滑動(dòng)窗口 → 對(duì)每個(gè)窗口做預(yù)測(cè) → 用高斯權(quán)重中心權(quán)重高、邊緣權(quán)重低在重疊區(qū)域加權(quán)融合。下面是一個(gè)最小的高斯權(quán)重生成代碼def gaussian_3d_weights(patch_size: tuple): 生成與patch同形狀的高斯權(quán)重中心權(quán)重最高 pz, py, px patch_size cz, cy, cx pz/2, py/2, px/2 sigma_factor 0.25 # 控制權(quán)重衰減速度 z np.linspace(0, pz, pz) y np.linspace(0, py, py) x np.linspace(0, px, px) Z, Y, X np.meshgrid(z, y, x, indexingij) w np.exp(-((Z-cz)**2/(2*(pz*sigma_factor)**2) (Y-cy)**2/(2*(py*sigma_factor)**2) (X-cx)**2/(2*(px*sigma_factor)**2))) return w / w.max()邏輯說明這個(gè)高斯權(quán)重的作用是讓中心區(qū)域的預(yù)測(cè)“更有發(fā)言權(quán)”而邊緣重疊區(qū)域以相鄰窗口的預(yù)測(cè)為主。如果不加權(quán)重而是簡(jiǎn)單平均窗口邊緣的偽影會(huì)被放大表現(xiàn)為檢測(cè)結(jié)果中出現(xiàn)細(xì)長(zhǎng)的條狀假陽性。overlap越大結(jié)果越平滑但推理時(shí)間線性增加。我一般用50-75%的overlap作為平衡點(diǎn)全圖推理時(shí)還需要把相同位置不同窗口的預(yù)測(cè)做一次對(duì)齊檢查防止三維坐標(biāo)偏移。推理速度優(yōu)化方面在LUNA16上純Python預(yù)測(cè)會(huì)很慢建議用torch.no_grad()加torch.inference_mode()包裹推理并開啟torch.backends.cudnn.benchmark True。實(shí)測(cè)速度提升在20%左右屬于可以免費(fèi)拿到的性能。4. 推理后處理與評(píng)估連通域清洗、NMS與FROC閾值決策4.1 從概率圖到結(jié)節(jié)候選框模型輸出的是每個(gè)體素的結(jié)節(jié)概率但最后評(píng)估需要的是“候選結(jié)節(jié)列表”即每個(gè)結(jié)節(jié)的三維中心坐標(biāo)和直徑。這一步需要把概率圖二值化再做連通域分析。二值化閾值不是工程里隨便定的0.5而是一個(gè)需要根據(jù)驗(yàn)證集FROC曲線調(diào)的超參數(shù)。常見范圍是0.3~0.6閾值越高假陽性越少但敏感度掉得快反之亦然。連通域清洗的標(biāo)準(zhǔn)流程是先做閾值二值化再用scipy.ndimage.label標(biāo)記連通域最后根據(jù)體素?cái)?shù)量過濾過小的區(qū)域。單個(gè)結(jié)節(jié)的直徑一般在3mm到30mm之間按1mm等距spacing換算體素?cái)?shù)量從27到27000不等過濾器低于27個(gè)體素的“候選區(qū)”絕大多數(shù)是噪聲直接丟棄。下面代碼實(shí)現(xiàn)了這一步from scipy import ndimage def extract_candidates_from_probmap(prob_map: np.ndarray, threshold: float 0.5, min_voxel: int 27, spacing(1.0,1.0,1.0)): 從概率圖提取結(jié)節(jié)候選框 返回: (z, y, x, diameter_mm) 列表 # 二值化 binary (prob_map threshold).astype(np.int8) if binary.sum() 0: return [] # 連通域標(biāo)記 labeled, num_features ndimage.label(binary) candidates [] for label_id in range(1, num_features 1): region_voxels (labeled label_id) voxel_count region_voxels.sum() if voxel_count min_voxel: continue # 用連通域質(zhì)心作為結(jié)節(jié)中心 coords np.argwhere(region_voxels) center_voxel coords.mean(axis0) # 估算直徑用等效球體體積直徑 # 先算體素?cái)?shù)再換算成等效體積再求直徑 volume_mm3 voxel_count * (spacing[0] * spacing[1] * spacing[2]) diameter_mm (6 * volume_mm3 / np.pi) ** (1.0/3.0) center_mm center_voxel * np.array(spacing) candidates.append([*center_mm, diameter_mm]) return candidates邏輯說明用質(zhì)心而不取最大激活體素是為了防止結(jié)節(jié)內(nèi)部空心導(dǎo)致的中心偏移。等效球體直徑算的是“體積直徑”對(duì)不規(guī)則形狀的結(jié)節(jié)只是一個(gè)近似值但在FROC評(píng)估里已經(jīng)夠用如果要更精確可以沿著三個(gè)軸分別計(jì)算最大徑取平均值。注意spacing參數(shù)要傳重采樣后的目標(biāo)間距如果傳原始間距而概率圖是重采樣坐標(biāo)系坐標(biāo)會(huì)錯(cuò)位。4.2 NMS合并重疊候選與3D IoU計(jì)算滑動(dòng)窗口推理經(jīng)常把同一個(gè)結(jié)節(jié)在相鄰位置預(yù)測(cè)出多個(gè)候選框——相鄰patch的預(yù)測(cè)概率都超過閾值連通域分析出來兩個(gè)重疊區(qū)域。這個(gè)問題靠NMS非極大值抑制解決但3D NMS和2D NMS有一個(gè)關(guān)鍵差異2D NMS用bbox的面積IoU3D要用體素級(jí)別的重疊率。因?yàn)榻Y(jié)節(jié)通常近似球形體積IoU可以用兩個(gè)球體的交并比近似復(fù)雜但可接受。一個(gè)簡(jiǎn)潔的3D球體IoU實(shí)現(xiàn)如下def sphere_intersection(center1, diameter1, center2, diameter2, num_samples1000): 用蒙特卡洛近似兩個(gè)球體的交集體積 r1 diameter1 / 2.0 r2 diameter2 / 2.0 # 兩個(gè)球心的距離 dist np.linalg.norm(np.array(center1) - np.array(center2)) if dist r1 r2: return 0.0 if dist min(r1, r2) max(r1, r2): # 一個(gè)球完全包含在另一個(gè)中 return (4/3) * np.pi * min(r1, r2)**3 # 蒙特卡洛采樣在包含兩個(gè)球體的大立方體內(nèi)隨機(jī)采樣 max_r max(r1, r2) min_bound np.min([center1, center2], axis0) - max_r max_bound np.max([center1, center2], axis0) max_r vol_total np.prod(max_bound - min_bound) samples np.random.uniform(min_bound, max_bound, size(num_samples, 3)) in1 np.sum((samples - center1)**2, axis1) r1**2 in2 np.sum((samples - center2)**2, axis1) r2**2 intersection_frac np.mean(in1 in2) return intersection_frac * vol_total def compute_3d_iou(cand1, cand2): 計(jì)算3D候選框之間的IoU輸入為[center_xyz, diameter] inter sphere_intersection(cand1[:3], cand1[3], cand2[:3], cand2[3]) vol1 (4/3) * np.pi * (cand1[3]/2)**3 vol2 (4/3) * np.pi * (cand2[3]/2)**3 union vol1 vol2 - inter return inter / union if union 0 else 0.0邏輯說明蒙特卡洛采樣雖然比解析球交公式慢但實(shí)現(xiàn)簡(jiǎn)單不易出錯(cuò)適合在驗(yàn)證階段跑通。NMS的IoU閾值要設(shè)得保守常用0.1到0.2區(qū)間——因?yàn)榍蝮w重疊超過10%時(shí)大概率是同一個(gè)結(jié)節(jié)用2D檢測(cè)里習(xí)慣的0.5閾值會(huì)放過大量重復(fù)候選。NMS的排序依據(jù)是概率圖里該區(qū)域的最大概率值通常這也和連通域的體素均值排序結(jié)果一致。4.3 FROC評(píng)估與CPM分?jǐn)?shù)的意義LUNA16官方評(píng)估用的是FROC曲線Free-response Receiver Operating Characteristic。每一份預(yù)測(cè)結(jié)果計(jì)算在不同假陽性率下的敏感度最終用7個(gè)關(guān)鍵點(diǎn)FPR1/8, 1/4, 1/2, 1, 2, 4, 8 per scan的平均敏感度作為CPM分?jǐn)?shù)。實(shí)操時(shí)如果只在自己的驗(yàn)證集上評(píng)估邏輯如下def compute_froc_score(pred_candidates, true_nodules, fpr_points(0.125, 0.25, 0.5, 1, 2, 4, 8)): 簡(jiǎn)化版FROC評(píng)估 pred_candidates: 每個(gè)掃描的預(yù)測(cè)候選框列表 true_nodules: 每個(gè)掃描的真實(shí)結(jié)節(jié)列表 # 逐掃描匹配預(yù)測(cè)與真實(shí)結(jié)節(jié)通過距離和直徑判斷是否命中 all_scores [] # 每個(gè)預(yù)測(cè)候選的置信度和是否TP for scan_preds, scan_trues in zip(pred_candidates, true_nodules): matched_trues set() for cand in scan_preds: found_match False for idx, true_nod in enumerate(scan_trues): if idx in matched_trues: continue # 若預(yù)測(cè)中心與真實(shí)中心距離小于一個(gè)半徑閾值判定為擊中 dist np.linalg.norm(cand[:3] - true_nod[:3]) if dist (true_nod[3] / 2): matched_trues.add(idx) found_match True break all_scores.append((cand[4], found_match)) # cand[4]是置信度 # 預(yù)測(cè)中未匹配的都當(dāng)FP最后根據(jù)閾值密度計(jì)算FPR # 按置信度排序計(jì)算每個(gè)掃描的TP和FP數(shù)量 # 具體計(jì)算省略核心是控制每掃描FP數(shù)量達(dá)到目標(biāo)FPR ...邏輯說明FROC的匹配規(guī)則和檢測(cè)框IoU不同——它用的是中心點(diǎn)距離判定距離小于真實(shí)結(jié)節(jié)半徑則算命中。這意味著就算預(yù)測(cè)到的位置偏了一點(diǎn)只要中心在結(jié)節(jié)范圍內(nèi)也算檢測(cè)成功反過來兩個(gè)真實(shí)結(jié)節(jié)離得太近時(shí)會(huì)互相競(jìng)爭(zhēng)匹配。實(shí)際計(jì)算時(shí)每掃描需要的目標(biāo)FP數(shù)量是FPR_value逐個(gè)打開候選直到FP數(shù)達(dá)到目標(biāo)。這個(gè)評(píng)估函數(shù)在Kaggle這類平臺(tái)上有現(xiàn)成版本但自己寫一遍能更好理解為什么后處理要把FPR壓到這么低的水平。FROC評(píng)估相比mAP的優(yōu)勢(shì)在于它對(duì)漏檢和誤檢的分布更敏感階梯式的閾值設(shè)計(jì)也更貼近臨床使用習(xí)慣。不會(huì)有人想要一個(gè)敏感度99%但每張CT產(chǎn)生20個(gè)假陽性的系統(tǒng)——FROC就是用來衡量這種權(quán)衡的。5. 常見問題與避坑3D醫(yī)學(xué)影像項(xiàng)目最容易翻車的5個(gè)點(diǎn)5.1 體素間距不一致導(dǎo)致的坐標(biāo)全亂現(xiàn)象訓(xùn)練時(shí)loss正常下降推理結(jié)果也不錯(cuò)畫出來的檢測(cè)框卻明顯地偏到結(jié)節(jié)旁邊可視化后好像整體偏移了一個(gè)固定量。原因概率圖在重采樣坐標(biāo)系生成候選框中心坐標(biāo)用的是重采樣后的體素索引乘以目標(biāo)間距但評(píng)估或可視化時(shí)用的是原始CT的坐標(biāo)。解決所有坐標(biāo)轉(zhuǎn)換統(tǒng)一用世界坐標(biāo)毫米單位作為中間層。重采樣時(shí)保留原始o(jì)rigin和direction推理后先用world_to_voxel把世界坐標(biāo)轉(zhuǎn)回原始圖像索引。另外每次讀MHD后都要確認(rèn)spacing因?yàn)長(zhǎng)UNA16里層間距有1.0、1.25、1.5、2.5等多種值任何一處的硬編碼都會(huì)導(dǎo)致系統(tǒng)性偏移。5.2 顯存OOM為什么總在訓(xùn)練后的第一個(gè)epoch現(xiàn)象第一個(gè)epoch跑得好好的第二個(gè)epoch開始報(bào)CUDA OOM而且不是批大小問題。原因3D數(shù)據(jù)增強(qiáng)在CPU上做顯存占用峰值往往出現(xiàn)在torchvision.transforms之類的庫處理異常尺寸patch時(shí)。尤其是隨機(jī)旋轉(zhuǎn)和crop如果沒固定輸出尺寸某個(gè)batch突然生成了超大patch就會(huì)頂爆顯存。解決推薦把數(shù)據(jù)增強(qiáng)獨(dú)立在CPU上做禁止在GPU上直接torch.rot90等操作。每次crop后的尺寸做一次斷言# 在數(shù)據(jù)加載器里強(qiáng)制檢查patch尺寸 assert patch.shape (1, 64, 192, 192), fUnexpected patch shape: {patch.shape}這樣做能盡早暴露尺寸異常而不是等到訓(xùn)練中斷才回頭排查。另外num_workers設(shè)置過高會(huì)復(fù)現(xiàn)這個(gè)現(xiàn)象——建議從4開始逐步調(diào)不要一上來就12。5.3 訓(xùn)練loss不降的主體陷阱現(xiàn)象DiceBCE組合下loss穩(wěn)定在某個(gè)值附近不再下降但驗(yàn)證集可視化發(fā)現(xiàn)網(wǎng)絡(luò)輸出全圖0或全圖1。原因最常見的是標(biāo)簽嚴(yán)重錯(cuò)位。生成訓(xùn)練patch時(shí)如果直接用原始mask而沒對(duì)mask做同樣的重采樣模型會(huì)學(xué)到“所有位置都是結(jié)節(jié)”或“所有位置都是背景”。另一種可能是BCE權(quán)重過大讓模型傾向于把全部輸出壓到0。解決訓(xùn)練loader里每個(gè)batch返回(image, mask)后立即做一次可視化檢查把mask疊到image上保存成png。這一步只要做一次能省下后面三天排查時(shí)間。同時(shí)檢查mask的數(shù)值分布——如果正樣本比例低于0.01%就要重新審視patch采樣邏輯。我一般要求訓(xùn)練集中每個(gè)patch至少包含一個(gè)直徑3mm以上的目標(biāo)區(qū)域。5.4 窗寬窗位直接套網(wǎng)絡(luò)導(dǎo)致邊緣被斬掉現(xiàn)象訓(xùn)練時(shí)用原始HU直接歸一化模型對(duì)血管和胸壁邊緣特別敏感產(chǎn)生大量假陽性。原因CT值的絕對(duì)值范圍太寬而肺結(jié)節(jié)這種軟組織目標(biāo)在-100~100HU區(qū)間直接用全范圍歸一化會(huì)把結(jié)節(jié)的對(duì)比度壓縮到極低的水平。解決先把HU值截?cái)嗟椒未?1000~400再做歸一化。如果效果還不夠好可以在預(yù)處理里同時(shí)輸出“骨窗”和“肺窗”兩個(gè)通道讓網(wǎng)絡(luò)自己決定關(guān)注哪個(gè)。開窗前后務(wù)必保存對(duì)比圖不要把完整CT和肺窗放在同一個(gè)目錄下搞混了。5.5 驗(yàn)證集FROC分?jǐn)?shù)虛高提交后崩盤現(xiàn)象本地驗(yàn)證集CPM分?jǐn)?shù)0.89換到另一個(gè)測(cè)試集直接掉到0.75差了整整一檔。原因驗(yàn)證集劃分和訓(xùn)練集存在信息泄漏。最常見的做法是把同一個(gè)患者的多個(gè)CT切片在隨機(jī)split時(shí)分到兩個(gè)集里模型在訓(xùn)練階段已經(jīng)見過患者的部分切片。此外如果驗(yàn)證集只從“容易”的子集里選出FROC自然偏低。解決按患者劃分?jǐn)?shù)據(jù)集確保同一個(gè)人的CT不出現(xiàn)在訓(xùn)練和驗(yàn)證兩端。LUNA16里同一個(gè)病人可能對(duì)應(yīng)多個(gè)掃描必須用獨(dú)立的patient_id字段去劃分。驗(yàn)證集的候選框過濾閾值要固定在訓(xùn)練階段就用到的那個(gè)不要在評(píng)估時(shí)來回調(diào)。FROC是一個(gè)整體指標(biāo)調(diào)閾值使驗(yàn)證集好看在真實(shí)場(chǎng)景下大概率崩掉。6. 進(jìn)階驗(yàn)證技巧把CPM從0.80推到0.88以上的有效杠桿CPM在0.80附近意味著“能打但不夠穩(wěn)”推到0.88以上需要在后處理和模型設(shè)計(jì)上下真功夫而不是只調(diào)學(xué)習(xí)率。我自己實(shí)踐下來最有效的三個(gè)杠桿分別是跨尺度驗(yàn)證、假陽性抑制二分類網(wǎng)絡(luò)、以及分直徑段調(diào)閾值。跨尺度驗(yàn)證的做法是這樣的模型對(duì)8mm以下的微小結(jié)節(jié)和20mm以上的大結(jié)節(jié)響應(yīng)完全不同。如果你把驗(yàn)證集的結(jié)節(jié)按直徑分成三組——小于6mm、6mm到15mm、大于15mm——你會(huì)看到前兩組敏感度明顯偏低。針對(duì)這種情況可以在推理時(shí)用兩種spacing分別推理一次1.0mm等距間距保細(xì)節(jié)2.0mm等距間距抓大目標(biāo)然后把兩組候選框合并后做一次NMS。合并時(shí)小直徑候選框優(yōu)先保留大框在重疊嚴(yán)重時(shí)反而讓步。這個(gè)操作對(duì)CPM的提升常年在0.02~0.04左右實(shí)現(xiàn)成本很低。第二段分類網(wǎng)絡(luò)是另一個(gè)成本可控的改動(dòng)。分割網(wǎng)絡(luò)把結(jié)節(jié)和血管分得不好是假陽性的大頭。常見的做法是把所有候選框包含TP和FP裁剪成32的3D patch訓(xùn)練一個(gè)輕量級(jí)3D分類網(wǎng)絡(luò)輸入patch、輸出是否結(jié)節(jié)再對(duì)分割階段的所有輸出做二次過濾。這個(gè)分類網(wǎng)絡(luò)不需要自己找候選框直接從第一階段的TP/FP抽樣訓(xùn)練速度快但對(duì)假陽性的壓制非常直接。在我的項(xiàng)目中這個(gè)階段能把FPR從每掃描2個(gè)壓到每掃描0.5個(gè)敏感度只損失不到1個(gè)百分點(diǎn)。最后是閾值的小心機(jī)。FROC的7個(gè)FPR點(diǎn)里最終CPM是敏感度的均值。把閾值調(diào)低比如從0.5降到0.3會(huì)提高高FPR段的敏感度拉高CPM但會(huì)讓低FPR段的表現(xiàn)惡化。沒有絕對(duì)正確的閾值——我在驗(yàn)證集上習(xí)慣同時(shí)打印7個(gè)點(diǎn)的敏感度而不是只打印CPM。如果那7個(gè)敏感度與之差起伏太大模型狀態(tài)就不健康如果低FPR點(diǎn)表現(xiàn)差問題多半在后處理參數(shù)而非模型本身。最后提醒一個(gè)會(huì)被忽略的工程習(xí)慣每一次預(yù)處理變更、每個(gè)系數(shù)調(diào)整全部記錄成實(shí)驗(yàn)日志。這個(gè)項(xiàng)目的非技術(shù)坑集中在“模型的輸出看起來挺好但忘了自己改過窗寬窗位導(dǎo)致坐標(biāo)系錯(cuò)位”之類的事情上。我吃過一次大虧花了一周調(diào)出來的權(quán)重發(fā)現(xiàn)用的訓(xùn)練數(shù)據(jù)是已經(jīng)被裁剪過尺寸的MHD、而驗(yàn)證集用的是原始MHD出來的結(jié)果完全不可比。這個(gè)方向的技術(shù)含量其實(shí)都在這些基礎(chǔ)環(huán)節(jié)里——把它當(dāng)成一件工科活做每一步都留日志留對(duì)比圖CPM分?jǐn)?shù)自然會(huì)往上走。希望這些經(jīng)驗(yàn)?zāi)軒湍阍谧鲞@個(gè)項(xiàng)目時(shí)少走彎路。本文還有配套的精品資源點(diǎn)擊獲取