1. 從一張平面圖里“讀出”深度這件事到底難在哪先拋一個(gè)我經(jīng)常在技術(shù)分享會(huì)上問(wèn)的問(wèn)題給你一張普通的手機(jī)照片你能說(shuō)出畫(huà)面里哪個(gè)杯子離你更近嗎大多數(shù)人會(huì)覺(jué)得這問(wèn)題很蠢——當(dāng)然能一眼就看出來(lái)了。但如果我告訴你計(jì)算機(jī)看到的只是一張由幾百萬(wàn)個(gè)像素點(diǎn)組成的二維矩陣每個(gè)點(diǎn)只有紅綠藍(lán)三個(gè)數(shù)值沒(méi)有任何一個(gè)數(shù)值直接告訴你“遠(yuǎn)近”你大概就能體會(huì)到3D視覺(jué)這件事的微妙之處了。3D視覺(jué)說(shuō)白了就是讓機(jī)器從二維的圖像信息里反推出真實(shí)世界中物體的三維結(jié)構(gòu)、位置和姿態(tài)。它要回答的核心問(wèn)題有三個(gè)這個(gè)東西是什么、它在哪里、它離我多遠(yuǎn)。這三個(gè)問(wèn)題聽(tīng)起來(lái)簡(jiǎn)單但每一個(gè)都牽扯到一整套復(fù)雜的數(shù)學(xué)和工程體系。而計(jì)算機(jī)視覺(jué)這個(gè)更大的領(lǐng)域里3D方向一直被認(rèn)為是“硬骨頭中的硬骨頭”因?yàn)樗幌?D檢測(cè)那樣只需要在平面上畫(huà)框它要求模型真正理解空間。那為什么一張平面圖能看出3D效果這里的關(guān)鍵在于圖像本身雖然丟失了深度信息但保留了大量的深度線索。這些線索分兩類(lèi)一類(lèi)是幾何線索比如透視、遮擋、陰影、紋理梯度另一類(lèi)是語(yǔ)義線索比如你知道一個(gè)成年人的身高大概是多少那么他在畫(huà)面里占多大比例就能大致推斷出距離。人類(lèi)視覺(jué)系統(tǒng)就是靠這些線索的組合在瞬間完成判斷的而3D視覺(jué)要做的就是用算法把這些線索顯式地建模出來(lái)。這篇文章我想聊的不是那種泛泛的“3D視覺(jué)概述”而是圍繞一個(gè)具體的問(wèn)題展開(kāi)當(dāng)輸入只有一張單目圖像時(shí)我們到底怎么把3D效果“看出來(lái)”。我會(huì)把背后的原理拆開(kāi)講把常見(jiàn)的幾條技術(shù)路線擺出來(lái)對(duì)比再結(jié)合3D目標(biāo)檢測(cè)、3D人臉識(shí)別、多模態(tài)融合這些具體方向說(shuō)說(shuō)實(shí)際項(xiàng)目里怎么落地、哪些坑最容易踩。不管你是剛接觸計(jì)算機(jī)視覺(jué)常用方向的學(xué)生還是正在做計(jì)算機(jī)視覺(jué)大作業(yè)或者準(zhǔn)備多模態(tài)融合論文的 researcher應(yīng)該都能從里面找到能直接用的東西。2. 單目圖像里的深度線索人眼靠什么算法就靠什么2.1 透視與消失點(diǎn)最古老的深度暗示如果你學(xué)過(guò)一點(diǎn)繪畫(huà)一定聽(tīng)過(guò)“近大遠(yuǎn)小”這個(gè)詞。這在幾何上對(duì)應(yīng)的是透視投影平行于光軸的平行線在圖像上會(huì)匯聚到一個(gè)點(diǎn)也就是消失點(diǎn)。這個(gè)現(xiàn)象本身就是深度的強(qiáng)線索。比如一條筆直延伸的公路兩條邊線在圖像上越靠越近最終交于一點(diǎn)這個(gè)收斂的速度直接和相機(jī)的高度、俯仰角相關(guān)。算法層面消失點(diǎn)檢測(cè)是一個(gè)經(jīng)典問(wèn)題。傳統(tǒng)方法靠霍夫變換找直線、再聚類(lèi)求交點(diǎn)現(xiàn)在更多是用深度學(xué)習(xí)直接回歸消失點(diǎn)坐標(biāo)。一旦拿到消失點(diǎn)就能反推出相機(jī)的內(nèi)參和姿態(tài)進(jìn)而為整個(gè)場(chǎng)景建立一個(gè)粗略的深度梯度。我做過(guò)一個(gè)車(chē)道線檢測(cè)的項(xiàng)目當(dāng)時(shí)就是先用消失點(diǎn)估計(jì)出地平線位置再把地平線以下的區(qū)域按行做深度假設(shè)效果比直接端到端回歸穩(wěn)定得多。注意消失點(diǎn)方法對(duì)場(chǎng)景結(jié)構(gòu)有強(qiáng)假設(shè)室內(nèi)走廊、公路這類(lèi)有大量平行線的場(chǎng)景很好用但面對(duì)自然風(fēng)景或者雜亂桌面就基本失效。別指望一個(gè)方法通吃。2.2 遮擋關(guān)系與紋理梯度誰(shuí)在前誰(shuí)在后遮擋是最直觀的深度線索。如果A物體擋住了B物體的一部分那A一定在B前面。這個(gè)邏輯簡(jiǎn)單到不需要任何數(shù)學(xué)但要讓算法自動(dòng)識(shí)別“遮擋邊界”卻不容易。常見(jiàn)的做法是檢測(cè)T型交界——兩個(gè)物體的輪廓相交形成一個(gè)T字形T的豎線屬于前面的物體橫線屬于后面的物體。紋理梯度則是另一個(gè)被低估的線索。想象你站在一片草地上往遠(yuǎn)處看腳下的草葉清晰可辨遠(yuǎn)處的草地則糊成一片綠色。這種紋理從粗到細(xì)、從疏到密的變化就是深度在圖像上的體現(xiàn)。算法可以通過(guò)計(jì)算局部紋理的頻率和尺度變化估計(jì)出相對(duì)的深度順序。我在做無(wú)人機(jī)航拍圖像分析時(shí)就經(jīng)常用紋理梯度做預(yù)處理先把明顯的前景和背景分開(kāi)再交給后續(xù)網(wǎng)絡(luò)細(xì)化。2.3 陰影與光照被很多人忽略的強(qiáng)線索陰影這個(gè)東西很有意思。一個(gè)物體投射在地面上的陰影它的形狀、方向和模糊程度都攜帶了深度信息。陰影越清晰、越靠近物體說(shuō)明物體離地面越近陰影越模糊、越分散說(shuō)明光源面積大或者物體離地面遠(yuǎn)。更關(guān)鍵的是陰影能幫助算法理解物體的接觸關(guān)系——一個(gè)杯子是放在桌子上還是懸浮在空中看它和桌面之間有沒(méi)有陰影過(guò)渡就知道了。在實(shí)際的3D重建任務(wù)里陰影信息經(jīng)常被當(dāng)作輔助監(jiān)督信號(hào)。比如有些工作會(huì)用陰影邊界來(lái)約束物體的底部位置從而提升深度估計(jì)的精度。不過(guò)陰影也有坑強(qiáng)光下的硬陰影容易和物體本身的暗部混淆弱光下的軟陰影又幾乎不可見(jiàn)。所以陰影線索通常不單獨(dú)使用而是和幾何線索融合。2.4 語(yǔ)義先驗(yàn)?zāi)阒赖某ＷR(shí)算法也能學(xué)前面說(shuō)的都是幾何和光學(xué)線索但人類(lèi)判斷深度還有一個(gè)大殺器常識(shí)。你知道標(biāo)準(zhǔn)門(mén)框大概兩米高知道汽車(chē)寬度大概一米八知道成年人的頭身比。這些先驗(yàn)知識(shí)讓你在看到一張圖時(shí)能迅速判斷出物體的絕對(duì)尺度。算法怎么獲得這種能力靠數(shù)據(jù)驅(qū)動(dòng)。在訓(xùn)練集里見(jiàn)過(guò)大量“人”和“車(chē)”的樣本后網(wǎng)絡(luò)會(huì)隱式地學(xué)到這些物體的典型尺寸分布。當(dāng)它在圖像里檢測(cè)到一個(gè)只占50像素高的人時(shí)就能推斷出這個(gè)人離相機(jī)很遠(yuǎn)。這就是為什么3D目標(biāo)檢測(cè)里單目方法往往要依賴(lài)一個(gè)“平均尺寸”的先驗(yàn)表——比如KITTI數(shù)據(jù)集上轎車(chē)的平均長(zhǎng)寬高是4.5米、1.8米、1.5米。這個(gè)先驗(yàn)雖然粗糙但在缺乏其他信息時(shí)非常管用。3. 從線索到坐標(biāo)單目3D目標(biāo)檢測(cè)的幾條主流路線3.1 直接回歸法讓網(wǎng)絡(luò)自己學(xué)最直接的想法是既然網(wǎng)絡(luò)能回歸2D框的坐標(biāo)那讓它多回歸幾個(gè)值——深度、長(zhǎng)寬高、朝向角——不就行了這就是直接回歸法的核心思路。代表工作比如早期的Deep3DBox它在2D檢測(cè)器的基礎(chǔ)上加了一個(gè)分支輸出物體的3D尺寸、中心和朝向。這條路線的優(yōu)點(diǎn)是結(jié)構(gòu)簡(jiǎn)單、推理速度快適合對(duì)實(shí)時(shí)性要求高的場(chǎng)景。但缺點(diǎn)也很明顯深度回歸的精度對(duì)遮擋和截?cái)喾浅Ｃ舾?。一個(gè)被截?cái)嗟奈矬w網(wǎng)絡(luò)看到的像素少回歸出來(lái)的深度往往偏差很大。而且直接回歸缺乏幾何約束容易出現(xiàn)“框飄了”的情況——2D框很準(zhǔn)但3D框在空間里歪歪扭扭。我自己的經(jīng)驗(yàn)是直接回歸法適合作為baseline快速驗(yàn)證想法但如果要上產(chǎn)品必須加幾何約束或者后處理優(yōu)化。一個(gè)常用的技巧是用2D框的底部中點(diǎn)作為物體接地點(diǎn)結(jié)合相機(jī)內(nèi)參和地面平面假設(shè)反推出深度。這個(gè)幾何方法比純回歸穩(wěn)定得多尤其是在自動(dòng)駕駛場(chǎng)景里。3.2 關(guān)鍵點(diǎn)與幾何約束法用結(jié)構(gòu)信息兜底既然純回歸不穩(wěn)那就引入結(jié)構(gòu)。關(guān)鍵點(diǎn)法的思路是先檢測(cè)物體的幾個(gè)關(guān)鍵點(diǎn)比如車(chē)輛的車(chē)頂、車(chē)底、左前輪、右后輪然后利用這些關(guān)鍵點(diǎn)在3D模型上的已知位置通過(guò)PnPPerspective-n-Point求解出物體的3D姿態(tài)和位置。這個(gè)方法的精度上限很高因?yàn)殛P(guān)鍵點(diǎn)的像素坐標(biāo)是直接觀測(cè)到的幾何求解過(guò)程有明確的數(shù)學(xué)保證。但它對(duì)關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確性極其敏感——一個(gè)關(guān)鍵點(diǎn)偏了10個(gè)像素解出來(lái)的深度可能差好幾米。而且關(guān)鍵點(diǎn)的定義依賴(lài)物體類(lèi)別換一個(gè)類(lèi)別就要重新定義一套關(guān)鍵點(diǎn)泛化性受限。實(shí)際項(xiàng)目中我通常會(huì)把關(guān)鍵點(diǎn)法和直接回歸法結(jié)合用回歸法出初值再用關(guān)鍵點(diǎn)做幾何優(yōu)化。這樣既有速度又有精度。在KITTI的評(píng)測(cè)里這種混合策略通常能把深度誤差降低20%到30%。3.3 偽激光雷達(dá)法把深度圖變成點(diǎn)云這條路線是近幾年比較火的。核心思想是先用一個(gè)深度估計(jì)網(wǎng)絡(luò)把單目圖像轉(zhuǎn)換成一張深度圖然后把深度圖反投影成點(diǎn)云最后在點(diǎn)云上跑標(biāo)準(zhǔn)的3D檢測(cè)算法。因?yàn)辄c(diǎn)云檢測(cè)已經(jīng)有非常成熟的方案比如PointPillars、VoxelNet所以這條路線相當(dāng)于把“單目3D檢測(cè)”轉(zhuǎn)化成了“深度估計(jì)點(diǎn)云檢測(cè)”兩個(gè)子問(wèn)題。偽激光雷達(dá)法的優(yōu)勢(shì)在于模塊化每個(gè)子問(wèn)題都可以獨(dú)立優(yōu)化。深度估計(jì)可以用自監(jiān)督、多幀、雙目等多種方式提升點(diǎn)云檢測(cè)可以直接復(fù)用現(xiàn)有成果。但它的瓶頸也很明顯深度估計(jì)的誤差會(huì)直接傳遞到最終的3D檢測(cè)結(jié)果。如果深度圖在物體邊緣糊了反投影出來(lái)的點(diǎn)云就會(huì)在物體表面“拉絲”導(dǎo)致檢測(cè)框變形。提示偽激光雷達(dá)法對(duì)深度估計(jì)的質(zhì)量要求極高。如果你的深度網(wǎng)絡(luò)在遠(yuǎn)處物體的誤差超過(guò)10%那最終的3D檢測(cè)基本沒(méi)法用。建議在深度估計(jì)階段就引入激光雷達(dá)稀疏點(diǎn)云做監(jiān)督哪怕只有幾幀標(biāo)注數(shù)據(jù)也能顯著提升效果。3.4 三條路線的對(duì)比與選型建議路線精度上限推理速度對(duì)標(biāo)注的依賴(lài)適合場(chǎng)景直接回歸法中快中等實(shí)時(shí)檢測(cè)、嵌入式部署關(guān)鍵點(diǎn)幾何法高中高需關(guān)鍵點(diǎn)標(biāo)注高精度測(cè)量、工業(yè)檢測(cè)偽激光雷達(dá)法高慢高需深度標(biāo)注離線分析、自動(dòng)駕駛感知選型的時(shí)候我一般會(huì)問(wèn)三個(gè)問(wèn)題第一你的場(chǎng)景對(duì)實(shí)時(shí)性要求多高第二你有沒(méi)有激光雷達(dá)或者雙目數(shù)據(jù)做監(jiān)督第三你的物體類(lèi)別是否固定如果實(shí)時(shí)性?xún)?yōu)先、類(lèi)別固定直接回歸法加幾何后處理就夠了如果精度優(yōu)先、有激光雷達(dá)數(shù)據(jù)偽激光雷達(dá)法上限最高如果是工業(yè)測(cè)量這種對(duì)絕對(duì)精度要求極高的場(chǎng)景關(guān)鍵點(diǎn)法更可靠。4. 3D人臉識(shí)別當(dāng)深度線索遇上生物特征4.1 為什么2D人臉識(shí)別不夠用2D人臉識(shí)別在約束環(huán)境下已經(jīng)做得非常好了但一遇到姿態(tài)變化、光照變化、化妝或者口罩性能就斷崖式下跌。根本原因在于2D圖像丟失了面部的三維結(jié)構(gòu)信息。一個(gè)人的臉在正面和側(cè)面拍出來(lái)像素分布完全不同但本質(zhì)上還是同一張臉。2D算法很難把這種姿態(tài)變化和身份變化區(qū)分開(kāi)。3D人臉識(shí)別的思路是直接重建或者感知面部的三維幾何結(jié)構(gòu)用深度信息來(lái)輔助身份判斷。這樣即使姿態(tài)變了三維結(jié)構(gòu)是不變的識(shí)別魯棒性就上來(lái)了。4.2 從單張圖重建3D人臉參數(shù)化模型是主流單目3D人臉重建目前最主流的方案是參數(shù)化模型比如3DMM3D Morphable Model。它的核心思想是任何一張人臉都可以表示為一個(gè)平均臉加上若干形狀和表情的線性組合。網(wǎng)絡(luò)只需要回歸出這些組合系數(shù)就能重建出對(duì)應(yīng)的3D人臉。具體來(lái)說(shuō)3DMM把面部幾何表示為# 偽代碼示意 face_3d mean_face shape_basis shape_coeff expression_basis expr_coeff其中shape_basis和expression_basis是從大量3D掃描數(shù)據(jù)中通過(guò)PCA得到的基向量shape_coeff和expr_coeff就是網(wǎng)絡(luò)要預(yù)測(cè)的系數(shù)。通常形狀系數(shù)50到100維表情系數(shù)20到50維加起來(lái)不到200個(gè)參數(shù)就能表示出非常豐富的人臉變化。這個(gè)方法的優(yōu)點(diǎn)是參數(shù)少、可解釋性強(qiáng)、重建結(jié)果穩(wěn)定。缺點(diǎn)是基向量的表達(dá)能力有限遇到極端表情或者特殊臉型時(shí)重建結(jié)果會(huì)“平均化”丟失個(gè)性細(xì)節(jié)。我在做3D人臉識(shí)別相關(guān)項(xiàng)目時(shí)通常會(huì)在3DMM的基礎(chǔ)上再加一個(gè)細(xì)節(jié)補(bǔ)償網(wǎng)絡(luò)專(zhuān)門(mén)恢復(fù)皺紋、酒窩這些高頻信息。4.3 深度信息怎么融入識(shí)別流程重建出3D人臉之后識(shí)別就有兩種做法。一種是基于幾何的識(shí)別直接比較兩個(gè)人臉的三維關(guān)鍵點(diǎn)距離或者曲面曲率。這種方法對(duì)光照完全不敏感但對(duì)面部表情和遮擋比較敏感。另一種是基于紋理的識(shí)別把3D人臉投影回2D做姿態(tài)歸一化再用傳統(tǒng)的2D識(shí)別網(wǎng)絡(luò)提取特征。這種方法保留了紋理信息但歸一化過(guò)程會(huì)引入插值誤差。實(shí)際系統(tǒng)里我見(jiàn)過(guò)最多的是融合方案幾何特征和紋理特征各出一路最后拼接或者加權(quán)融合。融合權(quán)重可以根據(jù)場(chǎng)景動(dòng)態(tài)調(diào)整——光照好的時(shí)候紋理權(quán)重大光照差的時(shí)候幾何權(quán)重大。這種自適應(yīng)融合在安防場(chǎng)景里特別實(shí)用因?yàn)榘卜罃z像頭的光照條件往往不可控。注意3D人臉識(shí)別的防偽能力比2D強(qiáng)很多因?yàn)槊婢吆驼掌茈y同時(shí)偽造出正確的幾何結(jié)構(gòu)和紋理。但高精度的3D打印面具仍然是一個(gè)威脅所以活體檢測(cè)模塊不能省。5. 多模態(tài)融合單目不夠那就多找?guī)讉€(gè)“幫手”5.1 為什么單目3D視覺(jué)需要多模態(tài)單目圖像的深度線索再豐富也有物理上的天花板。一張圖就是一張圖它沒(méi)有視差、沒(méi)有飛行時(shí)間、沒(méi)有結(jié)構(gòu)光。當(dāng)場(chǎng)景紋理稀疏比如白墻、光照極端比如夜間、或者物體被嚴(yán)重遮擋時(shí)單目方法基本無(wú)解。多模態(tài)融合的思路是既然一種傳感器不夠那就把相機(jī)、激光雷達(dá)、毫米波雷達(dá)、IMU等傳感器的數(shù)據(jù)融合起來(lái)互相補(bǔ)位。相機(jī)提供稠密的紋理和語(yǔ)義激光雷達(dá)提供精確的深度和幾何毫米波雷達(dá)提供速度和穿透能力IMU提供運(yùn)動(dòng)先驗(yàn)。融合之后系統(tǒng)的魯棒性和精度都會(huì)上一個(gè)臺(tái)階。5.2 融合的層次數(shù)據(jù)級(jí)、特征級(jí)、決策級(jí)多模態(tài)融合按融合發(fā)生的階段通常分為三個(gè)層次。數(shù)據(jù)級(jí)融合是最早期的融合直接把不同傳感器的原始數(shù)據(jù)對(duì)齊后拼接。比如把激光雷達(dá)的點(diǎn)云投影到圖像平面每個(gè)像素除了RGB之外還多一個(gè)深度值。這種融合信息量最大但對(duì)時(shí)間同步和空間標(biāo)定的要求極高。標(biāo)定誤差超過(guò)一個(gè)像素融合效果就會(huì)明顯下降。特征級(jí)融合是目前最主流的方式。每個(gè)模態(tài)先各自過(guò)一遍骨干網(wǎng)絡(luò)提取特征然后在中間層做融合。融合操作可以是簡(jiǎn)單的拼接、相加也可以是注意力機(jī)制加權(quán)的自適應(yīng)融合。特征級(jí)融合的靈活性很高不同模態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)可以不一樣融合位置也可以根據(jù)任務(wù)調(diào)整。決策級(jí)融合是最高層的融合每個(gè)模態(tài)獨(dú)立完成檢測(cè)或分類(lèi)最后對(duì)結(jié)果做投票或者加權(quán)平均。這種融合對(duì)同步誤差不敏感實(shí)現(xiàn)簡(jiǎn)單但丟失了模態(tài)之間的互補(bǔ)信息精度上限不如特征級(jí)。融合層次信息保留同步要求實(shí)現(xiàn)難度典型精度數(shù)據(jù)級(jí)最高極高高最高特征級(jí)高中中高決策級(jí)低低低中5.3 實(shí)際項(xiàng)目中的融合策略與踩坑記錄我做過(guò)一個(gè)園區(qū)低速無(wú)人車(chē)的感知項(xiàng)目用的是相機(jī)加16線激光雷達(dá)。一開(kāi)始我們嘗試數(shù)據(jù)級(jí)融合把點(diǎn)云投影到圖像上做前景分割。結(jié)果發(fā)現(xiàn)兩個(gè)問(wèn)題一是時(shí)間同步?jīng)]做好車(chē)輛運(yùn)動(dòng)時(shí)點(diǎn)云和圖像錯(cuò)位嚴(yán)重二是標(biāo)定參數(shù)在車(chē)輛震動(dòng)后會(huì)漂移需要頻繁重新標(biāo)定。后來(lái)改成特征級(jí)融合相機(jī)走ResNet提取圖像特征激光雷達(dá)走PointNet提取點(diǎn)云特征然后在BEV鳥(niǎo)瞰圖空間做融合。這個(gè)方案對(duì)同步誤差的容忍度高了很多而且BEV空間天然適合做3D檢測(cè)。最終在園區(qū)場(chǎng)景下3D檢測(cè)的mAP比純視覺(jué)方案提升了將近15個(gè)百分點(diǎn)。踩過(guò)的坑里最值得說(shuō)的是標(biāo)定。很多人覺(jué)得標(biāo)定是一次性的工作標(biāo)完就不管了。實(shí)際上車(chē)輛行駛中的震動(dòng)、溫度變化、甚至洗車(chē)都會(huì)導(dǎo)致標(biāo)定參數(shù)漂移。我們的做法是加了一個(gè)在線標(biāo)定模塊用路面和車(chē)道線作為自然參照物每隔一段時(shí)間自動(dòng)修正外參。這個(gè)模塊上線后因?yàn)闃?biāo)定問(wèn)題導(dǎo)致的誤檢率下降了70%以上。另一個(gè)坑是傳感器失效處理。多模態(tài)融合系統(tǒng)最怕的就是某個(gè)傳感器突然掛了融合邏輯如果沒(méi)做好降級(jí)處理整個(gè)系統(tǒng)就會(huì)輸出垃圾結(jié)果。我們的方案是給每個(gè)模態(tài)加一個(gè)置信度評(píng)估當(dāng)某個(gè)模態(tài)的置信度低于閾值時(shí)自動(dòng)切換到單模態(tài)模式同時(shí)上報(bào)故障。這個(gè)降級(jí)機(jī)制在雨雪天氣里救過(guò)好幾次場(chǎng)——激光雷達(dá)被雨滴干擾時(shí)純視覺(jué)模式雖然精度下降但至少能維持基本功能。6. 動(dòng)手實(shí)踐用單張圖像做一次3D檢測(cè)的完整流程6.1 環(huán)境準(zhǔn)備與數(shù)據(jù)準(zhǔn)備如果你想自己跑一遍單目3D檢測(cè)我建議從KITTI數(shù)據(jù)集開(kāi)始。它提供了7481張訓(xùn)練圖像和7518張測(cè)試圖像每張圖都有對(duì)應(yīng)的激光雷達(dá)點(diǎn)云和3D標(biāo)注框。雖然數(shù)據(jù)集有點(diǎn)老但標(biāo)注質(zhì)量高、評(píng)測(cè)標(biāo)準(zhǔn)統(tǒng)一非常適合入門(mén)。環(huán)境方面Python 3.8以上、PyTorch 1.10以上、CUDA 11.3以上基本就夠了。還需要安裝OpenCV、NumPy、以及一個(gè)點(diǎn)云可視化工具比如Open3D。如果你沒(méi)有GPU用CPU也能跑通推理只是速度會(huì)慢很多。# 創(chuàng)建環(huán)境 conda create -n mono3d python3.8 conda activate mono3d pip install torch torchvision opencv-python numpy open3d數(shù)據(jù)準(zhǔn)備階段最重要的是理解KITTI的標(biāo)注格式。每個(gè)3D框有15個(gè)參數(shù)類(lèi)別、截?cái)喑潭?、遮擋程度、觀測(cè)角、2D框坐標(biāo)、3D尺寸、3D中心坐標(biāo)、朝向角。其中3D中心坐標(biāo)的y值在KITTI里是相機(jī)坐標(biāo)系下的高度不是地面高度這個(gè)細(xì)節(jié)很容易搞混。6.2 深度估計(jì)網(wǎng)絡(luò)的訓(xùn)練與調(diào)優(yōu)單目3D檢測(cè)的第一步通常是深度估計(jì)。我推薦從自監(jiān)督深度估計(jì)開(kāi)始因?yàn)椴恍枰疃葮?biāo)注。核心思路是用相鄰幀的圖像做光度一致性約束讓網(wǎng)絡(luò)學(xué)會(huì)預(yù)測(cè)深度。訓(xùn)練的時(shí)候有幾個(gè)關(guān)鍵點(diǎn)。第一圖像分辨率很重要。低分辨率下遠(yuǎn)處物體的深度幾乎無(wú)法估計(jì)建議至少用1024×320的輸入。第二損失函數(shù)要組合使用光度誤差、結(jié)構(gòu)相似性誤差、邊緣平滑誤差三者缺一不可。第三數(shù)據(jù)增強(qiáng)要小心。水平翻轉(zhuǎn)會(huì)改變場(chǎng)景的幾何結(jié)構(gòu)深度圖也要對(duì)應(yīng)翻轉(zhuǎn)但很多開(kāi)源代碼在這塊處理得不干凈導(dǎo)致訓(xùn)練不穩(wěn)定。我自己的調(diào)優(yōu)經(jīng)驗(yàn)是先用低分辨率快速迭代等損失降到一定程度再切高分辨率微調(diào)。學(xué)習(xí)率用余弦退火初始值1e-4最低降到1e-6。Batch size在顯存允許的情況下盡量大因?yàn)樯疃裙烙?jì)對(duì)batch內(nèi)的多樣性比較敏感。6.3 從深度圖到3D框后處理的關(guān)鍵步驟拿到深度圖之后反投影成點(diǎn)云然后在點(diǎn)云上做聚類(lèi)和框擬合。這一步的精度直接決定了最終的3D檢測(cè)效果。反投影的公式很簡(jiǎn)單# 像素坐標(biāo) (u, v) 和深度 d 轉(zhuǎn) 3D 點(diǎn) (X, Y, Z) X (u - cx) * d / fx Y (v - cy) * d / fy Z d其中fx, fy, cx, cy是相機(jī)內(nèi)參。但實(shí)際做的時(shí)候深度圖在物體邊緣會(huì)有“飛點(diǎn)”反投影出來(lái)的點(diǎn)云在物體邊界處會(huì)拉出一堆噪聲點(diǎn)。我的處理方法是先對(duì)深度圖做邊緣保持濾波再用基于密度的聚類(lèi)DBSCAN把點(diǎn)云分成一個(gè)個(gè)簇每個(gè)簇對(duì)應(yīng)一個(gè)物體最后用最小外接矩形擬合出3D框。后處理里還有一個(gè)容易被忽略的步驟地面平面估計(jì)。很多3D框的底部應(yīng)該落在地面上如果估計(jì)出的地面平面不準(zhǔn)框就會(huì)“懸空”或者“陷地”。我通常用RANSAC從點(diǎn)云里擬合地面平面然后把所有物體的底部約束到這個(gè)平面上。這個(gè)簡(jiǎn)單的約束能顯著提升定位精度。6.4 實(shí)測(cè)效果與常見(jiàn)問(wèn)題排查在KITTI的驗(yàn)證集上我這套流程大概能做到轎車(chē)類(lèi)別的3D檢測(cè)APIoU閾值0.7在15%左右行人類(lèi)別在10%左右。這個(gè)數(shù)字不算高但作為入門(mén)級(jí)方案已經(jīng)能跑通全流程了。如果你用更先進(jìn)的偽激光雷達(dá)方案轎車(chē)AP可以做到25%以上。常見(jiàn)問(wèn)題里排第一的是深度尺度模糊。單目深度估計(jì)只能得到相對(duì)深度絕對(duì)尺度是不知道的。解決辦法是用訓(xùn)練集里的物體平均尺寸做校準(zhǔn)或者用相機(jī)高度做參考。排第二的是朝向角估計(jì)不準(zhǔn)。單目圖像里物體的朝向角有兩個(gè)解正面和背面看起來(lái)可能很像需要結(jié)合上下文或者運(yùn)動(dòng)信息來(lái)消歧。排第三的是遠(yuǎn)處物體漏檢。遠(yuǎn)處物體像素少、深度誤差大很容易被網(wǎng)絡(luò)忽略。一個(gè)實(shí)用的技巧是在訓(xùn)練時(shí)對(duì)遠(yuǎn)處物體做重采樣增加它們?cè)趽p失函數(shù)里的權(quán)重。7. 幾個(gè)容易踩的坑和我的應(yīng)對(duì)經(jīng)驗(yàn)7.1 標(biāo)定參數(shù)錯(cuò)了后面全白搭我見(jiàn)過(guò)太多項(xiàng)目模型結(jié)構(gòu)改來(lái)改去最后發(fā)現(xiàn)是相機(jī)內(nèi)參標(biāo)定錯(cuò)了。內(nèi)參的焦距誤差1%深度誤差就是1%主點(diǎn)偏了10個(gè)像素反投影出來(lái)的點(diǎn)云整體就歪了。所以做任何3D視覺(jué)任務(wù)之前先把標(biāo)定做扎實(shí)。棋盤(pán)格標(biāo)定雖然老土但可靠。標(biāo)完之后用重投影誤差驗(yàn)證誤差超過(guò)0.5個(gè)像素就重新標(biāo)。7.2 別迷信端到端幾何約束是朋友深度學(xué)習(xí)很強(qiáng)大但在3D視覺(jué)里純端到端的方法往往不如“網(wǎng)絡(luò)幾何”的混合方案。幾何約束是免費(fèi)的午餐——它不需要訓(xùn)練數(shù)據(jù)不會(huì)過(guò)擬合而且有明確的物理意義。我在項(xiàng)目里通常會(huì)保留一個(gè)幾何后處理模塊哪怕網(wǎng)絡(luò)輸出已經(jīng)很好了幾何約束也能兜底。7.3 多模態(tài)融合不是簡(jiǎn)單拼接多模態(tài)融合最忌諱的就是把不同模態(tài)的特征直接concat了事。不同模態(tài)的數(shù)據(jù)分布、噪聲特性、信息密度都不一樣直接拼接會(huì)讓網(wǎng)絡(luò)偏向信息量大的模態(tài)。正確的做法是先各自歸一化再用注意力機(jī)制做自適應(yīng)加權(quán)讓網(wǎng)絡(luò)自己決定每個(gè)模態(tài)在每個(gè)位置的重要性。7.4 評(píng)測(cè)指標(biāo)要看懂再優(yōu)化3D檢測(cè)的評(píng)測(cè)指標(biāo)比2D復(fù)雜得多。IoU閾值、朝向角誤差、深度誤差、BEV視角的AP每個(gè)指標(biāo)反映的問(wèn)題都不一樣。如果你只盯著一個(gè)指標(biāo)優(yōu)化很容易過(guò)擬合。我的習(xí)慣是同時(shí)看三到四個(gè)指標(biāo)確保模型在各個(gè)維度上都沒(méi)有明顯短板。8. 這個(gè)方向接下來(lái)還能怎么玩單目3D視覺(jué)這幾年進(jìn)展很快但離“像人眼一樣理解三維世界”還有很大距離。我個(gè)人比較看好的幾個(gè)方向一是時(shí)序融合單幀信息不夠那就用多幀。視頻里的運(yùn)動(dòng)視差是天然的深度線索用好時(shí)序信息能大幅提升深度估計(jì)的穩(wěn)定性。二是神經(jīng)輻射場(chǎng)與3D視覺(jué)的結(jié)合NeRF這類(lèi)方法能從多視角圖像里重建出非常精細(xì)的三維結(jié)構(gòu)雖然目前計(jì)算量還很大但思路很有啟發(fā)性。三是自監(jiān)督與弱監(jiān)督3D標(biāo)注太貴了如何用少量的標(biāo)注甚至零標(biāo)注訓(xùn)練出可用的3D感知模型是工業(yè)界最關(guān)心的問(wèn)題。如果你正在做計(jì)算機(jī)視覺(jué)大作業(yè)或者準(zhǔn)備多模態(tài)融合論文我的建議是不要貪大求全選一個(gè)具體的子問(wèn)題做深做透。比如“單目深度估計(jì)在透明物體上的誤差分析”就比“多模態(tài)3D檢測(cè)綜述”更容易做出有價(jià)值的成果。3D視覺(jué)這個(gè)領(lǐng)域細(xì)節(jié)里全是魔鬼把一個(gè)細(xì)節(jié)搞清楚比泛泛地了解十個(gè)方向都有用。