應用、模型可視化與MMDetection3D集成之路)
從論文到落地SPVNAS實戰(zhàn)應用、模型可視化與MMDetection3D集成之路【免費下載鏈接】spvnas[ECCV 2020] Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution項目地址: https://gitcode.com/gh_mirrors/sp/spvnasSPVNAS 是 ECCV 2020 論文《Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution》的官方開源項目。它通過稀疏點-體素卷積 自動網(wǎng)絡搜索AutoML為激光雷達點云語義分割自動找到精度-算力的最優(yōu)網(wǎng)絡結構是 3D 視覺與 AutoML 交叉領域的經(jīng)典之作。本文面向新手手把手帶你完成環(huán)境搭建、預訓練模型測試、點云可視化、自行訓練以及 MMDetection3D 生態(tài)集成。1. 為什么 SPVNAS 值得關注 激光雷達點云是稀疏、無結構的數(shù)據(jù)傳統(tǒng)稠密 3D 卷積算力開銷極大。SPVNAS 的解法很直接稀疏卷積底座只在有點的位置計算SPVCNN 基線大幅降低 MACs自動結構搜索在超網(wǎng)中搜索不同算力預算下的最優(yōu)子網(wǎng)無需人工調參實戰(zhàn)成績過硬SemanticKITTI 排行榜曾達 SOTA最高 64.7 mIoU2021 年 NuScenes 激光雷達語義分割挑戰(zhàn)賽第一名、全景分割挑戰(zhàn)賽第二名。項目內置了一個模型動物園model_zoo.py按算力預算提供多檔預訓練模型模型參數(shù)量 (M)MACs (G)mIoUSemanticKITTI_val_SPVNAS20GMACs3.320.061.5SemanticKITTI_val_SPVCNN30GMACs5.530.060.7SemanticKITTI_val_SPVNAS35GMACs7.034.763.5SemanticKITTI_val_SPVNAS65GMACs10.864.564.7 規(guī)律很明顯SPVNAS 搜出的模型在更低算力下取得更高 mIoU這正是高效架構搜索的價值所在。2. 環(huán)境搭建從零到可運行的最快路徑 項目基于 PyTorch TorchSparse 構建推薦用 conda 一鍵搭好環(huán)境git clone https://gitcode.com/gh_mirrors/sp/spvnas conda create -n torch python3.7 conda activate torch conda install pytorch torchvision torchaudio cudatoolkit10.2 -c pytorch conda install numba opencv pip install torchpack?? 注意兩個硬性要求Python 版本在 3.6~3.7 之間且依賴 torchsparse 需要與你的 CUDA 版本匹配編譯 CUDA 后端。3. 數(shù)據(jù)準備SemanticKITTI 數(shù)據(jù)集按官方說明下載 SemanticKITTIKITTI Odometry 語義標簽將sequences文件夾下所有內容解壓到/dataset/semantic-kitti應看到00~21共 22 個序列目錄每個含velodyne和labels子目錄數(shù)據(jù)加載與體素化邏輯集中在core/datasets/semantic_kitti.py默認體素大小 0.05m、每幀采樣 8 萬點等超參見configs/semantic_kitti/default.yaml。4. 一鍵測試預訓練模型3 行命令出結果 ?想快速驗證效果無需訓練一條命令即可評估任意檔位的預訓練模型權重會自動下載到本地.torch/目錄并緩存torchpack dist-run -np 1 python evaluate.py configs/semantic_kitti/default.yaml --name SemanticKITTI_val_SPVNAS65GMACs把--name換成上表任意模型名即可切換。評估入口是evaluate.pymIoU 等指標回調在core/callbacks.py中實現(xiàn)。5. 模型可視化親眼看看點云被分成了什么 項目自帶可視化腳本visualize.py支持open3d與mayavi兩種渲染后端默認 open3d會把每個點按 19 個語義類別著色——道路、行人、車輛、植被一目了然運行方式# 有顯示器的機器直接運行 python visualize.py # 無顯示器的服務器用 xvfb 虛擬顯示 xvfb-run --server-args-screen 0 1024x768x24 python visualize.py有.label真值文件時腳本還會額外輸出一張 Ground Truth 對比圖方便直觀檢驗分割質量。6. 從零訓練自己的 3D 語義分割網(wǎng)絡 ?訓練 SPVCNN / MinkUNet 基線模型只需切換配置文件# 多卡分布式訓練 torchpack dist-run -np 4 python train.py configs/semantic_kitti/spvcnn/cr0p5.yaml # 單卡、無需 MPI python train.py configs/semantic_kitti/spvcnn/cr0p5.yaml --distributed False配置文件極簡比如configs/semantic_kitti/spvcnn/cr0p5.yaml只指定了模型名和壓縮率cr: 0.5其余超參SGD、余弦學習率等繼承自configs/semantic_kitti/default.yaml改一行即可復現(xiàn)。訓練主邏輯在train.py網(wǎng)絡骨架位于core/models/semantic_kitti/spvnas.py、spvcnn.py、minkunet.py稀疏算子封裝在core/modules/。7. MMDetection3D 集成走向更大的 3D 感知生態(tài) 2023 年 3 月起SPVNAS 已被官方集成進 MMDetection3D對應其configs/spvcnn配置系列。這意味著你可以直接在 MMDetection3D 生態(tài)中調用 SPVCNN/SPVNAS 骨干統(tǒng)一使用其訓練/評估/部署流水線便于把點云語義分割與檢測、全景分割等任務放在同一套框架下實驗對新團隊來說用 MMDetection3D 入門后幾乎零成本接入 SPVNAS是 3D 感知項目的實用組合。8. 項目結構與上手路線 spvnas/ ├── train.py / evaluate.py / visualize.py # 訓練 / 評估 / 可視化入口 ├── model_zoo.py # 預訓練模型下載與加載 ├── tutorial.ipynb # Colab 可跑的交互式教程 ├── configs/semantic_kitti/ # 各模型 YAML 配置 └── core/ ├── datasets/semantic_kitti.py # 數(shù)據(jù)加載 ├── models/semantic_kitti/ # SPVNAS / SPVCNN / MinkUNet ├── modules/ # 稀疏卷積等網(wǎng)絡模塊 └── trainers.py / callbacks.py # 訓練器與 mIoU 回調新手路線建議先看 tutorial.ipynb 跑通 Demo → 再測預訓練模型 → 最后嘗試自訓。9. 常見問題速查 ?裝不上 TorchSparse確認 CUDA 版本與 pip 安裝時編譯環(huán)境一致必要時先裝好對應cudatoolkit復現(xiàn) mIoU 有 ±0.5 波動正常現(xiàn)象來自 CUDA 后端浮點原子加法的非確定性內存不夠降低configs/semantic_kitti/default.yaml中的num_points與batch_size。從論文公式到torchpack dist-run一行命令SPVNAS 把高效 3D 架構搜索變成了開箱即用的工具鏈。配合 MMDetection3D 集成它已成為點云語義分割落地的高性價比選擇——現(xiàn)在就去 clone 倉庫跑通你的第一張點云分割可視化吧【免費下載鏈接】spvnas[ECCV 2020] Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution項目地址: https://gitcode.com/gh_mirrors/sp/spvnas創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 從論文到落地：SPVNAS實戰(zhàn)應用、模型可視化與MMDetection3D集成之路
從論文到落地SPVNAS實戰(zhàn)應用、模型可視化與MMDetection3D集成之路【免費下載鏈接】spvnas[ECCV 2020] Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution項目地址: https://gitcode.com/gh_mirrors/sp/spvnasSPVNAS 是 ECCV 2020 論文《Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution》的官方開源項目。它通過稀疏點-體素卷積 自動網(wǎng)絡搜索AutoML為激光雷達點云語義分割自動找到精度-算力的最優(yōu)網(wǎng)絡結構是 3D 視覺與 AutoML 交叉領域的經(jīng)典之作。本文面向新手手把手帶你完成環(huán)境搭建、預訓練模型測試、點云可視化、自行訓練以及 MMDetection3D 生態(tài)集成。1. 為什么 SPVNAS 值得關注 激光雷達點云是稀疏、無結構的數(shù)據(jù)傳統(tǒng)稠密 3D 卷積算力開銷極大。SPVNAS 的解法很直接稀疏卷積底座只在有點的位置計算SPVCNN 基線大幅降低 MACs自動結構搜索在超網(wǎng)中搜索不同算力預算下的最優(yōu)子網(wǎng)無需人工調參實戰(zhàn)成績過硬SemanticKITTI 排行榜曾達 SOTA最高 64.7 mIoU2021 年 NuScenes 激光雷達語義分割挑戰(zhàn)賽第一名、全景分割挑戰(zhàn)賽第二名。項目內置了一個模型動物園model_zoo.py按算力預算提供多檔預訓練模型模型參數(shù)量 (M)MACs (G)mIoUSemanticKITTI_val_SPVNAS20GMACs3.320.061.5SemanticKITTI_val_SPVCNN30GMACs5.530.060.7SemanticKITTI_val_SPVNAS35GMACs7.034.763.5SemanticKITTI_val_SPVNAS65GMACs10.864.564.7 規(guī)律很明顯SPVNAS 搜出的模型在更低算力下取得更高 mIoU這正是高效架構搜索的價值所在。2. 環(huán)境搭建從零到可運行的最快路徑 項目基于 PyTorch TorchSparse 構建推薦用 conda 一鍵搭好環(huán)境git clone https://gitcode.com/gh_mirrors/sp/spvnas conda create -n torch python3.7 conda activate torch conda install pytorch torchvision torchaudio cudatoolkit10.2 -c pytorch conda install numba opencv pip install torchpack?? 注意兩個硬性要求Python 版本在 3.6~3.7 之間且依賴 torchsparse 需要與你的 CUDA 版本匹配編譯 CUDA 后端。3. 數(shù)據(jù)準備SemanticKITTI 數(shù)據(jù)集按官方說明下載 SemanticKITTIKITTI Odometry 語義標簽將sequences文件夾下所有內容解壓到/dataset/semantic-kitti應看到00~21共 22 個序列目錄每個含velodyne和labels子目錄數(shù)據(jù)加載與體素化邏輯集中在core/datasets/semantic_kitti.py默認體素大小 0.05m、每幀采樣 8 萬點等超參見configs/semantic_kitti/default.yaml。4. 一鍵測試預訓練模型3 行命令出結果 ?想快速驗證效果無需訓練一條命令即可評估任意檔位的預訓練模型權重會自動下載到本地.torch/目錄并緩存torchpack dist-run -np 1 python evaluate.py configs/semantic_kitti/default.yaml --name SemanticKITTI_val_SPVNAS65GMACs把--name換成上表任意模型名即可切換。評估入口是evaluate.pymIoU 等指標回調在core/callbacks.py中實現(xiàn)。5. 模型可視化親眼看看點云被分成了什么 項目自帶可視化腳本visualize.py支持open3d與mayavi兩種渲染后端默認 open3d會把每個點按 19 個語義類別著色——道路、行人、車輛、植被一目了然運行方式# 有顯示器的機器直接運行 python visualize.py # 無顯示器的服務器用 xvfb 虛擬顯示 xvfb-run --server-args-screen 0 1024x768x24 python visualize.py有.label真值文件時腳本還會額外輸出一張 Ground Truth 對比圖方便直觀檢驗分割質量。6. 從零訓練自己的 3D 語義分割網(wǎng)絡 ?訓練 SPVCNN / MinkUNet 基線模型只需切換配置文件# 多卡分布式訓練 torchpack dist-run -np 4 python train.py configs/semantic_kitti/spvcnn/cr0p5.yaml # 單卡、無需 MPI python train.py configs/semantic_kitti/spvcnn/cr0p5.yaml --distributed False配置文件極簡比如configs/semantic_kitti/spvcnn/cr0p5.yaml只指定了模型名和壓縮率cr: 0.5其余超參SGD、余弦學習率等繼承自configs/semantic_kitti/default.yaml改一行即可復現(xiàn)。訓練主邏輯在train.py網(wǎng)絡骨架位于core/models/semantic_kitti/spvnas.py、spvcnn.py、minkunet.py稀疏算子封裝在core/modules/。7. MMDetection3D 集成走向更大的 3D 感知生態(tài) 2023 年 3 月起SPVNAS 已被官方集成進 MMDetection3D對應其configs/spvcnn配置系列。這意味著你可以直接在 MMDetection3D 生態(tài)中調用 SPVCNN/SPVNAS 骨干統(tǒng)一使用其訓練/評估/部署流水線便于把點云語義分割與檢測、全景分割等任務放在同一套框架下實驗對新團隊來說用 MMDetection3D 入門后幾乎零成本接入 SPVNAS是 3D 感知項目的實用組合。8. 項目結構與上手路線 spvnas/ ├── train.py / evaluate.py / visualize.py # 訓練 / 評估 / 可視化入口 ├── model_zoo.py # 預訓練模型下載與加載 ├── tutorial.ipynb # Colab 可跑的交互式教程 ├── configs/semantic_kitti/ # 各模型 YAML 配置 └── core/ ├── datasets/semantic_kitti.py # 數(shù)據(jù)加載 ├── models/semantic_kitti/ # SPVNAS / SPVCNN / MinkUNet ├── modules/ # 稀疏卷積等網(wǎng)絡模塊 └── trainers.py / callbacks.py # 訓練器與 mIoU 回調新手路線建議先看 tutorial.ipynb 跑通 Demo → 再測預訓練模型 → 最后嘗試自訓。9. 常見問題速查 ?裝不上 TorchSparse確認 CUDA 版本與 pip 安裝時編譯環(huán)境一致必要時先裝好對應cudatoolkit復現(xiàn) mIoU 有 ±0.5 波動正常現(xiàn)象來自 CUDA 后端浮點原子加法的非確定性內存不夠降低configs/semantic_kitti/default.yaml中的num_points與batch_size。從論文公式到torchpack dist-run一行命令SPVNAS 把高效 3D 架構搜索變成了開箱即用的工具鏈。配合 MMDetection3D 集成它已成為點云語義分割落地的高性價比選擇——現(xiàn)在就去 clone 倉庫跑通你的第一張點云分割可視化吧【免費下載鏈接】spvnas[ECCV 2020] Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution項目地址: https://gitcode.com/gh_mirrors/sp/spvnas創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考