駕駛多傳感器標(biāo)定：LiDAR、相機(jī)、IMU 外參一次搞定)
如何三步完成自動(dòng)駕駛多傳感器標(biāo)定LiDAR、相機(jī)、IMU 外參一次搞定【免費(fèi)下載鏈接】SensorsCalibrationOpenCalib: A Multi-sensor Calibration Toolbox for Autonomous Driving項(xiàng)目地址: https://gitcode.com/gh_mirrors/se/SensorsCalibrationSensorsCalibrationOpenCalib是一個(gè)面向自動(dòng)駕駛的多傳感器標(biāo)定工具箱幫你把激光雷達(dá)、相機(jī)、IMU、毫米波雷達(dá)的數(shù)據(jù)統(tǒng)一到同一坐標(biāo)系里。說白了標(biāo)定就是給每個(gè)傳感器求出一組外參——描述它裝在車上哪個(gè)位置、朝向如何——這樣不同傳感器看到的才是同一件事。它同時(shí)覆蓋內(nèi)參標(biāo)定、外參標(biāo)定、手動(dòng)標(biāo)定和自動(dòng)標(biāo)定你不需要貼滿整個(gè)車間的標(biāo)定板也能在普通路測場景里把參數(shù)求出來。外參標(biāo)定到底在解決什么問題你可以把車想象成一個(gè)人它裝著好幾個(gè)眼睛和耳朵相機(jī)看顏色和紋理激光雷達(dá)測三維點(diǎn)云IMU 感知姿態(tài)毫米波雷達(dá)追運(yùn)動(dòng)目標(biāo)。但每個(gè)傳感器都有自己的坐標(biāo)系方向、位置都不一樣。如果這些坐標(biāo)對不齊融合出來的障礙物就會(huì)飄定位和建圖也跟著出錯(cuò)。紅色是車身坐標(biāo)系橙色是各傳感器坐標(biāo)系標(biāo)定的目標(biāo)就是求出它們之間的變換關(guān)系。標(biāo)定的數(shù)學(xué)本質(zhì)是一個(gè) 4×4 的齊次變換矩陣?yán)锩嫜b著一個(gè)旋轉(zhuǎn)3×3和一個(gè)平移。難點(diǎn)不在公式而在于你很難直接量出這組數(shù)——傳感器裝在車上你沒法拿尺子去量它和車身的相對位置。落地提示外參標(biāo)定是傳感器融合的地基。它不準(zhǔn)后面所有感知算法都白搭所以一定要在融合之前把它做對。Docker 一鍵起環(huán)境5 分鐘跑通第一個(gè)標(biāo)定這個(gè)工具箱的依賴不少OpenCV、PCL、Eigen、Pangolin部分模塊還要 Ceres 和 Pangolin手動(dòng)裝環(huán)境很勸退。官方給了一份現(xiàn)成的 Docker 鏡像把依賴都打包好了你只需要一行命令拉鏡像、再一行命令掛載代碼目錄啟動(dòng)容器。sudo docker pull scllovewkf/opencalib:v1 sudo ./run_docker.sh踩坑提醒run_docker.sh會(huì)自動(dòng)檢測有沒有 NVIDIA GPU有 GPU 會(huì)帶上--gpus all啟動(dòng)圖像語義分割那類任務(wù)會(huì)快很多沒有 GPU 也能跑純 C 的標(biāo)定模塊。每個(gè)標(biāo)定模塊lidar2camera、lidar2imu、factory_calib 等各自帶一個(gè)CMakeLists.txt進(jìn)到對應(yīng)目錄mkdir build cd build cmake .. make就能編譯編譯產(chǎn)物在bin/下。手動(dòng)標(biāo)定用鍵盤把激光點(diǎn)云和圖像對齊 當(dāng)你有一張相機(jī)圖像和一幀激光點(diǎn)云想確認(rèn)它們的相對位姿時(shí)手動(dòng)標(biāo)定工具最直接。它把點(diǎn)云投影到圖像上你通過鍵盤微調(diào)旋轉(zhuǎn)和平移直到點(diǎn)云輪廓和圖像里的道路、路緣嚴(yán)絲合縫。cd lidar2camera/manual_calib ./bin/run_lidar2camera data/0.png data/0.pcd \ data/center_camera-intrinsic.json \ data/top_center_lidar-to-center_camera-extrinsic.json左半邊是手動(dòng)標(biāo)定控制面板右半邊是點(diǎn)云投影到圖像上的對齊效果。面板里q/a、w/s、e/d分別調(diào)三個(gè)旋轉(zhuǎn)自由度r/f、t/g、y/h調(diào)平移i/k、u/j還能順便微調(diào)相機(jī)的內(nèi)參焦距。對齊滿意后點(diǎn)Save結(jié)果會(huì)以矩陣和 JSON 兩種格式存到運(yùn)行目錄。踩坑提醒點(diǎn)云和圖像的時(shí)間戳必須對得上。哪怕差幾十毫秒車一動(dòng)點(diǎn)云就會(huì)整體偏移怎么調(diào)都差一口氣。自動(dòng)標(biāo)定不貼標(biāo)定板也能求外參 手動(dòng)標(biāo)定靠人眼慢且主觀。自動(dòng)標(biāo)定走的是另一條路從圖像和點(diǎn)云里各提取一批直線特征——車道線、路緣石、電線桿、立桿——然后把兩類特征對齊來求解外參。它不需要你在車上貼標(biāo)定板一段普通路測就能跑。圖像側(cè)的直線特征要先用一個(gè)預(yù)訓(xùn)練的語義分割網(wǎng)絡(luò)DeepLabV3跑出 mask再喂給標(biāo)定程序點(diǎn)云側(cè)則直接從 PCD 文件里提特征。cd lidar2camera/auto_calib ./bin/run_lidar2camera data/mask.jpg data/calib.pcd \ data/center_camera-intrinsic.json \ data/top_center_lidar-to-center_camera-extrinsic.json綠色為激光點(diǎn)云特征在圖像平面上的投影投影誤差越小外參越準(zhǔn)。這個(gè)模塊的算法叫 CRLF基于直線特征做標(biāo)定和迭代精化對路口的斜線、曲線都能穩(wěn)定收斂。落地提示自動(dòng)標(biāo)定對直線特征的密度敏感。一段全是平路、沒有立桿和路緣的直路特征太少結(jié)果會(huì)飄。采集時(shí)盡量走有豐富垂直和水平特征的路段。工廠標(biāo)定和路測標(biāo)定你該用哪一套 工具箱其實(shí)分兩套場景選錯(cuò)會(huì)白忙一場工廠標(biāo)定factory_calib/車下生產(chǎn)線最后一道工序用四定位 標(biāo)定板求傳感器位姿靠的是標(biāo)定板識別。它支持棋盤格、圓點(diǎn)板、豎板、AprilTag、Aruco Marker、圓孔板六種板子而且識別代碼不依賴 OpenCV不同光照下都很穩(wěn)。適合量產(chǎn)、重復(fù)性強(qiáng)、要求精度可追溯的場合。AprilTag 標(biāo)定板在相機(jī)圖像中的自動(dòng)識別效果角點(diǎn)被精確框出。路測標(biāo)定lidar2camera/、lidar2imu/、SensorX2car/、surround-camera/車已經(jīng)在路上跑用真實(shí)道路場景求外參適合裝車后的標(biāo)定與在線精化。怎么選一句話概括要精度可追溯、批量重復(fù)用工廠標(biāo)定要在真實(shí)路況下快速求參或做在線校準(zhǔn)用路測標(biāo)定。兩者并不沖突常見做法是工廠先給一組高精初始值路測再做自動(dòng)精化。決策提醒如果你只是想讓點(diǎn)云和圖像大致對齊做個(gè) demo手動(dòng)標(biāo)定最快如果要上量產(chǎn)線務(wù)必走工廠標(biāo)定并做標(biāo)定板識別的精度驗(yàn)收。想深入看某類標(biāo)定的實(shí)現(xiàn)可以直接進(jìn)對應(yīng)目錄每個(gè)模塊的 README 都寫了輸入文件格式和運(yùn)行命令照著改路徑就能復(fù)用?！久赓M(fèi)下載鏈接】SensorsCalibrationOpenCalib: A Multi-sensor Calibration Toolbox for Autonomous Driving項(xiàng)目地址: https://gitcode.com/gh_mirrors/se/SensorsCalibration創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何三步完成自動(dòng)駕駛多傳感器標(biāo)定：LiDAR、相機(jī)、IMU 外參一次搞定
如何三步完成自動(dòng)駕駛多傳感器標(biāo)定LiDAR、相機(jī)、IMU 外參一次搞定【免費(fèi)下載鏈接】SensorsCalibrationOpenCalib: A Multi-sensor Calibration Toolbox for Autonomous Driving項(xiàng)目地址: https://gitcode.com/gh_mirrors/se/SensorsCalibrationSensorsCalibrationOpenCalib是一個(gè)面向自動(dòng)駕駛的多傳感器標(biāo)定工具箱幫你把激光雷達(dá)、相機(jī)、IMU、毫米波雷達(dá)的數(shù)據(jù)統(tǒng)一到同一坐標(biāo)系里。說白了標(biāo)定就是給每個(gè)傳感器求出一組外參——描述它裝在車上哪個(gè)位置、朝向如何——這樣不同傳感器看到的才是同一件事。它同時(shí)覆蓋內(nèi)參標(biāo)定、外參標(biāo)定、手動(dòng)標(biāo)定和自動(dòng)標(biāo)定你不需要貼滿整個(gè)車間的標(biāo)定板也能在普通路測場景里把參數(shù)求出來。外參標(biāo)定到底在解決什么問題你可以把車想象成一個(gè)人它裝著好幾個(gè)眼睛和耳朵相機(jī)看顏色和紋理激光雷達(dá)測三維點(diǎn)云IMU 感知姿態(tài)毫米波雷達(dá)追運(yùn)動(dòng)目標(biāo)。但每個(gè)傳感器都有自己的坐標(biāo)系方向、位置都不一樣。如果這些坐標(biāo)對不齊融合出來的障礙物就會(huì)飄定位和建圖也跟著出錯(cuò)。紅色是車身坐標(biāo)系橙色是各傳感器坐標(biāo)系標(biāo)定的目標(biāo)就是求出它們之間的變換關(guān)系。標(biāo)定的數(shù)學(xué)本質(zhì)是一個(gè) 4×4 的齊次變換矩陣?yán)锩嫜b著一個(gè)旋轉(zhuǎn)3×3和一個(gè)平移。難點(diǎn)不在公式而在于你很難直接量出這組數(shù)——傳感器裝在車上你沒法拿尺子去量它和車身的相對位置。落地提示外參標(biāo)定是傳感器融合的地基。它不準(zhǔn)后面所有感知算法都白搭所以一定要在融合之前把它做對。Docker 一鍵起環(huán)境5 分鐘跑通第一個(gè)標(biāo)定這個(gè)工具箱的依賴不少OpenCV、PCL、Eigen、Pangolin部分模塊還要 Ceres 和 Pangolin手動(dòng)裝環(huán)境很勸退。官方給了一份現(xiàn)成的 Docker 鏡像把依賴都打包好了你只需要一行命令拉鏡像、再一行命令掛載代碼目錄啟動(dòng)容器。sudo docker pull scllovewkf/opencalib:v1 sudo ./run_docker.sh踩坑提醒run_docker.sh會(huì)自動(dòng)檢測有沒有 NVIDIA GPU有 GPU 會(huì)帶上--gpus all啟動(dòng)圖像語義分割那類任務(wù)會(huì)快很多沒有 GPU 也能跑純 C 的標(biāo)定模塊。每個(gè)標(biāo)定模塊lidar2camera、lidar2imu、factory_calib 等各自帶一個(gè)CMakeLists.txt進(jìn)到對應(yīng)目錄mkdir build cd build cmake .. make就能編譯編譯產(chǎn)物在bin/下。手動(dòng)標(biāo)定用鍵盤把激光點(diǎn)云和圖像對齊 當(dāng)你有一張相機(jī)圖像和一幀激光點(diǎn)云想確認(rèn)它們的相對位姿時(shí)手動(dòng)標(biāo)定工具最直接。它把點(diǎn)云投影到圖像上你通過鍵盤微調(diào)旋轉(zhuǎn)和平移直到點(diǎn)云輪廓和圖像里的道路、路緣嚴(yán)絲合縫。cd lidar2camera/manual_calib ./bin/run_lidar2camera data/0.png data/0.pcd \ data/center_camera-intrinsic.json \ data/top_center_lidar-to-center_camera-extrinsic.json左半邊是手動(dòng)標(biāo)定控制面板右半邊是點(diǎn)云投影到圖像上的對齊效果。面板里q/a、w/s、e/d分別調(diào)三個(gè)旋轉(zhuǎn)自由度r/f、t/g、y/h調(diào)平移i/k、u/j還能順便微調(diào)相機(jī)的內(nèi)參焦距。對齊滿意后點(diǎn)Save結(jié)果會(huì)以矩陣和 JSON 兩種格式存到運(yùn)行目錄。踩坑提醒點(diǎn)云和圖像的時(shí)間戳必須對得上。哪怕差幾十毫秒車一動(dòng)點(diǎn)云就會(huì)整體偏移怎么調(diào)都差一口氣。自動(dòng)標(biāo)定不貼標(biāo)定板也能求外參 手動(dòng)標(biāo)定靠人眼慢且主觀。自動(dòng)標(biāo)定走的是另一條路從圖像和點(diǎn)云里各提取一批直線特征——車道線、路緣石、電線桿、立桿——然后把兩類特征對齊來求解外參。它不需要你在車上貼標(biāo)定板一段普通路測就能跑。圖像側(cè)的直線特征要先用一個(gè)預(yù)訓(xùn)練的語義分割網(wǎng)絡(luò)DeepLabV3跑出 mask再喂給標(biāo)定程序點(diǎn)云側(cè)則直接從 PCD 文件里提特征。cd lidar2camera/auto_calib ./bin/run_lidar2camera data/mask.jpg data/calib.pcd \ data/center_camera-intrinsic.json \ data/top_center_lidar-to-center_camera-extrinsic.json綠色為激光點(diǎn)云特征在圖像平面上的投影投影誤差越小外參越準(zhǔn)。這個(gè)模塊的算法叫 CRLF基于直線特征做標(biāo)定和迭代精化對路口的斜線、曲線都能穩(wěn)定收斂。落地提示自動(dòng)標(biāo)定對直線特征的密度敏感。一段全是平路、沒有立桿和路緣的直路特征太少結(jié)果會(huì)飄。采集時(shí)盡量走有豐富垂直和水平特征的路段。工廠標(biāo)定和路測標(biāo)定你該用哪一套 工具箱其實(shí)分兩套場景選錯(cuò)會(huì)白忙一場工廠標(biāo)定factory_calib/車下生產(chǎn)線最后一道工序用四定位 標(biāo)定板求傳感器位姿靠的是標(biāo)定板識別。它支持棋盤格、圓點(diǎn)板、豎板、AprilTag、Aruco Marker、圓孔板六種板子而且識別代碼不依賴 OpenCV不同光照下都很穩(wěn)。適合量產(chǎn)、重復(fù)性強(qiáng)、要求精度可追溯的場合。AprilTag 標(biāo)定板在相機(jī)圖像中的自動(dòng)識別效果角點(diǎn)被精確框出。路測標(biāo)定lidar2camera/、lidar2imu/、SensorX2car/、surround-camera/車已經(jīng)在路上跑用真實(shí)道路場景求外參適合裝車后的標(biāo)定與在線精化。怎么選一句話概括要精度可追溯、批量重復(fù)用工廠標(biāo)定要在真實(shí)路況下快速求參或做在線校準(zhǔn)用路測標(biāo)定。兩者并不沖突常見做法是工廠先給一組高精初始值路測再做自動(dòng)精化。決策提醒如果你只是想讓點(diǎn)云和圖像大致對齊做個(gè) demo手動(dòng)標(biāo)定最快如果要上量產(chǎn)線務(wù)必走工廠標(biāo)定并做標(biāo)定板識別的精度驗(yàn)收。想深入看某類標(biāo)定的實(shí)現(xiàn)可以直接進(jìn)對應(yīng)目錄每個(gè)模塊的 README 都寫了輸入文件格式和運(yùn)行命令照著改路徑就能復(fù)用?！久赓M(fèi)下載鏈接】SensorsCalibrationOpenCalib: A Multi-sensor Calibration Toolbox for Autonomous Driving項(xiàng)目地址: https://gitcode.com/gh_mirrors/se/SensorsCalibration創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考