人工智能計算機視覺預訓練【免費下載鏈接】PaddleSegEasy-to-use image segmentation library with awesome pre-trained model zoo, supporting wide-range of practical tasks in Semantic Segmentation, Interactive Segmentation, Panoptic Segmentation, Image Matting, 3D Segmentation, etc.項目地址https://gitcode.com/gh_mirrors/pa/PaddleSeg點擊查看免費下載本指南基于 PaddleSeg 倉庫中的 MedicalSeg 醫(yī)學圖像分割子項目系統講解其三級 YAML 配置 → 一鍵數據準備 → 一鍵訓練評估 → 靜態(tài)圖導出與推理部署 → 自定義數據集擴展的完整工作流并以 COVID-19 CT 肺部分割VNet 模型為主線給出可直接復制的命令與參數說明。讀完本文你將掌握 MedicalSeg 的配置體系、核心訓練/評估/導出命令的每一個參數含義并能獨立把任意新數據集接入該框架完成訓練與部署。1. 參數配置三級 YAML 配置體系MedicalSeg 采用_base_繼承式的多級 YAML 配置設計讓數據/損失/優(yōu)化器與模型結構解耦同一個數據集配置二級配置可以搭配任意多個模型配置三級配置只需新建一個幾行的三級配置即可換模型。1.1 配置目錄結構以configs/目錄為根配置按如下層次組織見 configs 目錄├── _base_ # 一級基礎配置后面所有的二級配置都需要繼承它你可以在這里設置自定義的數據路徑確保它有足夠的空間來存儲數據。 │ └── global_configs.yml ├── lung_coronavirus # 每個數據集/器官有個獨立的文件夾這里是 COVID-19 CT scans 數據集的路徑。 │ ├── lung_coronavirus.yml # 二級配置繼承一級配置關于損失、數據、優(yōu)化器等配置在這里。 │ ├── README.md │ └── vnet_lung_coronavirus_128_128_128_15k.yml # 三級配置關于模型的配置不同的模型可以輕松擁有相同的二級配置。 └── schedulers # 用于規(guī)劃兩階段的配置暫時還沒有使用它。 └── two_stage_coarseseg_fineseg.yml一級配置_base_/global_configs.yml目前只定義全局數據根目錄其內容為data_root: data/所有數據下載、預處理產物都默認落在此目錄下。如果你的磁盤空間緊張只需修改這里的路徑指向一個容量充足的目錄全部二級配置都會自動繼承。二級配置以lung_coronavirus/lung_coronavirus.yml為代表集中了數據集、數據增強、優(yōu)化器、學習率調度與損失函數等訓練要素。三級配置如vnet_lung_coronavirus_128_128_128_15k.yml只負責定義模型結構通過_base_: lung_coronavirus.yml繼承二級配置。這樣同一數據集下切換 VNet、UNETR、Swin-UNet 等模型時二級配置無需任何改動。倉庫中已經預置了多個數據集/器官的配置目錄包括acdc心臟、mri_spine_seg脊柱 MRI、msd_brain_seg腦部、synapse腹部多器官以及nnunetMedical Segmentation Decathlon 標準流程可作為參照模板。1.2 二級配置參數詳解以 configs/lung_coronavirus/lung_coronavirus.yml 為例逐段解釋_base_: ../_base_/global_configs.yml batch_size: 6 iters: 15000 train_dataset: type: LungCoronavirus dataset_root: lung_coronavirus/lung_coronavirus_phase0 result_dir: lung_coronavirus/lung_coronavirus_phase1 transforms: - type: RandomResizedCrop3D size: 128 scale: [0.8, 1.2] - type: RandomRotation3D degrees: 90 - type: RandomFlip3D mode: train num_classes: 3 val_dataset: type: LungCoronavirus dataset_root: lung_coronavirus/lung_coronavirus_phase0 result_dir: lung_coronavirus/lung_coronavirus_phase1 num_classes: 3 transforms: [] mode: val dataset_json_path: data/lung_coronavirus/lung_coronavirus_raw/dataset.json optimizer: type: sgd momentum: 0.9 weight_decay: 1.0e-4 lr_scheduler: type: PolynomialDecay decay_steps: 15000 learning_rate: 0.001 end_lr: 0 power: 0.9 loss: types: - type: MixedLoss losses: - type: CrossEntropyLoss weight: Null - type: DiceLoss coef: [1, 1] coef: [1]關鍵字段說明_base_指向繼承的一級配置或上一級二級配置相對路徑以當前文件所在目錄為基準。batch_size/iters單卡批大小與總迭代數。本示例為 6 與 15000也可在命令行用--batch_size、--iters臨時覆蓋。train_dataset/val_datasettype對應 medicalseg/datasets/lung_coronavirus.py 中注冊的LungCoronavirus類dataset_root指向預處理后的phase0數據目錄result_dir用于存放訓練/評估過程中產生的預測結果。num_classes: 3對應背景、左肺、右肺三個類別。transforms3D 專用數據增強訓練集啟用RandomResizedCrop3D隨機裁剪縮放到 1283 體素、尺度范圍 0.8~1.2、RandomRotation3D90° 隨機旋轉、RandomFlip3D隨機翻轉驗證集transforms: []不做增強保證評估結果可復現。optimizerSGD動量 0.9權重衰減 1e-4。訓練時權重衰減會作用于所有可訓練參數幫助抑制過擬合。lr_scheduler多項式衰減調度器從 0.001 線性/多項式衰減到end_lr: 0power: 0.9控制衰減曲線形狀decay_steps與總迭代數保持一致。loss使用MixedLoss組合交叉熵損失CrossEntropyLoss與 Dice 損失DiceLosscoef: [1, 1]表示兩者等權相加外層coef: [1]是該混合損失在總損失中的權重。交叉熵保證逐體素分類精度Dice 損失直接優(yōu)化分割區(qū)域的重疊度兩者結合對醫(yī)學影像中常見的類別不均衡問題更穩(wěn)健。1.3 三級配置參數詳解vnet_lung_coronavirus_128_128_128_15k.yml 內容非常精簡_base_: lung_coronavirus.yml model: type: VNet elu: False in_channels: 1 num_classes: 3 pretrained: https://bj.bcebos.com/paddleseg/dygraph/lung_coronavirus/vnet_lung_coronavirus_128_128_128_15k/pretrain/model.pdparamstype: VNet指定 3D 分割網絡 VNet以 128×128×128 體素輸入訓練 15k 迭代配置文件名即這三要素的縮寫。elu是否在 VNet 中使用 ELU 激活函數False時使用默認激活。in_channels: 1CT 為單通道灰度體數據。num_classes: 3輸出 3 類背景、左肺、右肺。pretrained預訓練權重地址。模型首次加載時會自動下載也可在本地準備好該權重后離線訓練。2. 數據準備一鍵下載、預處理與切分MedicalSeg 為每個數據集提供了獨立的準備腳本將下載原始數據 → 解壓 → 歸一化/重采樣 → 轉成 numpy → 劃分訓練/驗證集 → 生成索引文件全流程自動化。以 COVID-19 CT scans 為例見 tools/prepare_lung_coronavirus.pypython tools/prepare_lung_coronavirus.py # 以 COVID-19 CT scans 為例。2.1 腳本內部做了什么從源碼看該腳本繼承prepare.py中的Prep基類并完成四件事下載并解壓內置lung_infection.zip、lung_mask.zip、infection_mask.zip、20_ncov_scan.zip四個壓縮包的下載地址自動下載并解壓到data/lung_coronavirus/lung_coronavirus_raw/下的20_ncov_scan、infection_mask、lung_infection、lung_mask等目錄。預處理對 CT 圖像執(zhí)行 HU 歸一化HUnorm隨后用resample把體數據統一重采樣到[128, 128, 128]尺寸——圖像使用order1線性插值保留灰度細節(jié)標簽使用order0最近鄰插值避免產生新類別值。保存為 numpy將處理結果以.npy文件寫入lung_coronavirus_phase0/下的images/與labels/目錄命名規(guī)則與原始病例一一對應。劃分數據集以train_split0.7575% 訓練、25% 驗證的比例生成train_list.txt與val_list.txt并在dataset.json中登記模態(tài)CT與類別語義0: background、1: left lung、2: right lung。2.2 預處理產物的目錄規(guī)范預處理完成后得到如下結構這也是后續(xù)所有數據集必須遵循的輸入約定├── lung_coronavirus_phase0 # 預處理后的文件路徑 │ ├── images │ │ ├── imagexx.npy │ │ ├── ... │ ├── labels │ │ ├── labelxx.npy │ │ ├── ... │ ├── train_list.txt # 訓練數據格式: /path/to/img_name_xxx.npy /path/to/label_names_xxx.npy │ └── val_list.txt # 評估數據格式: img_name_xxx.npy label_names_xxx.npytrain_list.txt與val_list.txt的每一行由圖像 npy 路徑 空格 標簽 npy 路徑組成是數據加載器讀取樣本的唯一索引。倉庫tools/目錄下還提供了prepare_abdomen.py、prepare_acdc.py、prepare_mri_spine_seg.py、prepare_msd.py、prepare_msd_brain_seg.py、prepare_prostate.py等腳本分別對應腹部、心臟、脊柱、MSD 等多個公開數據集用法完全相同只需運行對應腳本。3. 訓練與評估一條命令全流程配置與數據就緒后運行 run-vnet.sh 即可依次完成訓練、評估、導出與推理實現一鍵訓練推理# 設置使用的單卡 GPU id export CUDA_VISIBLE_DEVICES3 # 設置配置文件名稱和保存路徑 config_namevnet_lung_coronavirus_128_128_128_15k ymllung_coronavirus/${config_name} save_dir_allsaved_model save_dirsaved_model/${config_name} mkdir -p $save_dir # 模型訓練 python3 train.py --config configs/${yml}.yml \ --save_dir $save_dir \ --save_interval 500 --log_iters 100 \ --num_workers 6 --do_eval --use_vdl \ --keep_checkpoint_max 5 --seed 0 $save_dir/train.log # 模型評估 python3 val.py --config configs/${yml}.yml \ --save_dir $save_dir/best_model --model_path $save_dir/best_model/model.pdparams \ # 模型導出 python export.py --config configs/${yml}.yml \ --model_path $save_dir/best_model/model.pdparams # 模型預測 python deploy/python/infer.py --config output/deploy.yaml --image_path data/lung_coronavirus/lung_coronavirus_phase0/images/coronacases_org_007.npy --benchmark True也可以只運行腳本的前半段單獨訓練與評估# 設置使用的單卡 GPU id export CUDA_VISIBLE_DEVICES0 # 設置配置文件名稱和保存路徑 ymlvnet_lung_coronavirus_128_128_128_15k save_dirsaved_model/${yml} mkdir -p $save_dir # 訓練模型 python3 train.py --config configs/lung_coronavirus/${yml}.yml \ --save_dir $save_dir \ --save_interval 500 --log_iters 100 \ --num_workers 6 --do_eval --use_vdl \ --keep_checkpoint_max 5 --seed 0 $save_dir/train.log # 評估模型 python3 val.py --config configs/lung_coronavirus/${yml}.yml \ --save_dir $save_dir/best_model --model_path $save_dir/best_model/model.pdparams3.1 train.py 參數全解train.py 的完整命令行參數如下均可覆蓋配置文件中的對應項參數默認值說明--config必填三級配置 YAML 路徑--iters由配置決定覆蓋總訓練迭代數--batch_size由配置決定覆蓋單卡批大小--learning_rate由配置決定覆蓋初始學習率--save_interval1000每隔多少迭代保存一次模型快照--resume_modelNone斷點續(xù)訓傳入已有模型權重路徑--save_dir./output模型快照保存目錄--keep_checkpoint_max5最多保留的檢查點數量超出自動清理舊權重--num_workers0DataLoader 子進程數6 左右可明顯加速數據讀取--do_evalFalse開關訓練過程中每隔save_interval在驗證集上評估--log_iters100每 N 個迭代打印一次訓練日志--use_vdlFalse開關是否將訓練指標寫入 VisualDL 可視化--seedNone固定隨機種子Paddle/numpy/python 三處同時設置--data_formatNCHW僅 DeepLabV3P 支持 NHWC--precisionfp32fp16 時啟用 AMP 混合精度訓練--nnunetFalse開關切換到 nnUNet 訓練流程--profiler_optionsNone開啟訓練性能剖析值得注意的實現細節(jié)train.py通過Config把命令行傳入的learning_rate、iters、batch_size合并進配置字典后再構造數據集、損失與模型見 train.py因此這三個參數既可以在 YAML 中預設也可以每次運行時按需覆蓋--do_eval開啟后訓練過程中會自動執(zhí)行驗證并把最優(yōu)權重保存為best_model/model.pdparams這正是后續(xù)評估、導出命令直接引用該路徑的原因。3.2 val.py 參數全解val.py 負責加載訓練好的權重進行離線評估參數默認值說明--config必填與訓練一致的配置 YAML--model_pathsaved_model/.../best_model/model.pdparams待評估的權重路徑--save_dirsaved_model/.../best_model評估結果保存目錄預測圖等--num_workers0DataLoader 子進程數--print_detailTrue是否逐類打印評估指標--use_vdlTrue是否用 VisualDL 記錄結果圖像--auc_rocFalse是否額外計算 AUC-ROC 指標評估的核心流程是讀取配置 → 加載權重utils.load_entire_model→ 在val_dataset上逐樣本推理 → 輸出逐類與總體指標并將預測結果寫入save_dir。--auc_roc對需要 ROC 曲線的分類/分割任務特別有用。4. 模型部署導出靜態(tài)圖并加速推理訓練完成后export.py 會把動態(tài)圖模型轉換為 Paddle Inference 靜態(tài)圖model.pdmodelmodel.pdiparams并生成配套的deploy.yaml部署描述文件。完整命令如下詳見 deploy/python/README.mdcd MedicalSeg/ # 用訓練好的模型進行靜態(tài)圖導出 python export.py --config configs/lung_coronavirus/vnet_lung_coronavirus_128_128_128_15k.yml --model_path /path/to/your/trained/model # 使用 Paddle Inference 進行推理 python deploy/python/infer.py \ --config /path/to/model/deploy.yaml \ --image_path /path/to/image/path/or/dir/ \ --benchmark True # 在安裝了 AutoLog 之后打開benchmark可以看到推理速度等信息安裝方法可以見 deploy/python/README.md如果有 Finish 輸出說明導出成功并且可以進行推理加速。4.1 export.py 的關鍵機制從源碼看export.py 的導出流程為從配置構建模型并加載--model_path權重默認輸入形狀為[None, 1, None, None, None]NCDHW 五維通道數 1、空間維度可動態(tài)也可用--input_shape指定固定形狀以換取更優(yōu)的算子融合用paddle.jit.to_staticpaddle.jit.save生成靜態(tài)圖model.pdmodel與model.pdiparams自動寫出deploy.yaml其中登記了transforms、inference_helper、模型與參數字段名推理端直接讀取該文件即可復現預處理。導出時還可通過兩個開關定制網絡尾部--with_softmax在輸出前追加 softmax輸出概率圖--without_argmax去掉默認的 argmax輸出原始 logits。兩者配合可以滿足輸出類別索引或輸出概率/連續(xù)值兩種下游需求。4.2 推理與性能基準deploy/python/infer.py接收deploy.yaml與--image_path支持單張.npy文件或整個目錄--benchmark True時會在安裝 AutoLog 的前提下打印推理耗時、吞吐等性能數據方便對比不同硬件/不同輸入尺寸下的加速效果。5. 在自己的數據上訓練四步擴展新數據集如果想在自有數據集上訓練需要按下面的模式新增四類文件配置目錄、數據預處理腳本、數據集類、訓練腳本。下面以 COVID-19 CT scans 為參照模板分步說明。5.1 增加配置目錄首先按照與lung_coronavirus相同的模式新增一個與數據集對應的配置目錄參考 configs 目錄結構├── _base_ │ └── global_configs.yml ├── lung_coronavirus │ ├── lung_coronavirus.yml │ ├── README.md │ └── vnet_lung_coronavirus_128_128_128_15k.yml其中二級配置負責數據、增強、優(yōu)化器與損失三級配置繼承二級配置只寫模型部分這樣未來換模型時無需改動數據/訓練設置。5.2 增加數據集預處理文件所有數據需要經過預處理轉換成 numpy 數據并進行數據集劃分參考 tools/prepare_lung_coronavirus.py。該腳本繼承Prep基類你只需重寫四塊內容數據下載地址與解壓配置urls、uncompress_params預處理流水線如 HU 歸一化、重采樣到固定尺寸圖像用order1、標簽用order0generate_txt中train_list.txt/val_list.txt的生成邏輯與劃分比例默認train_split0.75通過generate_dataset_json登記模態(tài)與類別語義。產物必須滿足統一的 numpy 目錄規(guī)范├── lung_coronavirus_phase0 # 預處理后的文件路徑 │ ├── images │ │ ├── imagexx.npy │ │ ├── ... │ ├── labels │ │ ├── labelxx.npy │ │ ├── ... │ ├── train_list.txt # 訓練數據格式: /path/to/img_name_xxx.npy /path/to/label_names_xxx.npy │ └── val_list.txt # 評估數據格式: img_name_xxx.npy label_names_xxx.npy5.3 增加數據集文件所有的數據集都繼承MedicalDataset基類并通過上一步生成的train_list.txt和val_list.txt來獲取數據。代碼示例見 medicalseg/datasets/lung_coronavirus.py。以該文件為模板新的數據集類需要繼承MedicalDataset在__init__中透傳dataset_root、result_dir、transforms、num_classes、mode、ignore_index、dataset_json_path等參數使用manager.DATASETS.add_component裝飾器注冊類名使配置文件中type: YourDataset能正確解析到該類無需自己實現復雜的文件遍歷邏輯——基類會基于train_list.txt/val_list.txt完成樣本加載并配合配置中的 3D 增強流水線輸出(1, D, H, W)的圖像與(D, H, W)的標簽。5.4 增加訓練腳本訓練腳本能自動化訓練推理過程我們提供了 run-vnet.sh 示例供參考只需要復制并按照需要修改三處即可一鍵完成訓練→評估→導出→推理CUDA_VISIBLE_DEVICES改成你要使用的 GPU 編號config_name改成你的三級配置文件名不含.yml后綴按需調整--save_interval、--num_workers、--keep_checkpoint_max等訓練超參。修改后執(zhí)行腳本即可在自有數據上復現與 COVID-19 CT 分割完全一致的端到端流程訓練日志寫入saved_model/config_name/train.log最優(yōu)權重保存在best_model/model.pdparams最終靜態(tài)圖與deploy.yaml輸出到output/目錄隨后deploy/python/infer.py直接對新的.npy體數據做推理預測。6. 小結MedicalSeg 通過三級配置解耦 一鍵腳本串聯的設計把醫(yī)學圖像分割從數據準備到部署的全鏈路收斂為極低的操作成本_base_級配置統一數據根目錄二級配置沉淀數據/損失/優(yōu)化器三級配置只換模型prepare_*.py腳本一鍵完成下載、預處理、切分run-vnet.sh一條命令打通訓練、評估、導出、推理。對于自有數據集只需按第 5 節(jié)的四步模板補齊配置、預處理腳本、數據集類與訓練腳本即可無縫復用 VNet、UNETR、nnUNet 等 3D 分割模型實現從算法到落地的快速閉環(huán)。贊分享人工智能計算機視覺預訓練【免費下載鏈接】PaddleSegEasy-to-use image segmentation library with awesome pre-trained model zoo, supporting wide-range of practical tasks in Semantic Segmentation, Interactive Segmentation, Panoptic Segmentation, Image Matting, 3D Segmentation, etc.項目地址https://gitcode.com/gh_mirrors/pa/PaddleSeg點擊查看免費下載相關推薦終極網盤直鏈下載助手完整指南一鍵獲取九大網盤真實下載鏈接的免費解決方案終極網盤直鏈下載助手完整指南一鍵獲取九大網盤真實下載鏈接的免費解決方案 你是否厭倦了網盤下載的種種限制 網盤直鏈下載助手 LinkSwift是一款基于J人工智能計算機視覺預訓練SuperGradients 姿態(tài)估計實戰(zhàn)指南DEKR 模型訓練、評估與自定義數據集接入SuperGradients 姿態(tài)估計實戰(zhàn)指南DEKR 模型訓練、評估與自定義數據集接入 姿態(tài)估計Pose Estimation是計算機視覺的核心任務之一深度學習計算機視覺預訓練人工智能PaddleSeg PP-LiteSeg實時輕量語義分割模型的訓練、評估與部署實戰(zhàn)指南PaddleSeg PP LiteSeg實時輕量語義分割模型的訓練、評估與部署實戰(zhàn)指南 PP LiteSeg 是 PaddleSeg 中面向實時語義分割任務的人工智能計算機視覺預訓練上一篇pi-computer-use navigate_browser實戰(zhàn)事件驅動導航替代截圖輪詢下一篇精通Audacity音頻編輯器從多軌混音到實時效果處理的進階指南創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考