：基于YOLO的小目標優(yōu)化全攻略)
簡介在計算機視覺領域目標檢測技術正從常規(guī)場景向無人機航拍等復雜場景延伸。航拍圖像分辨率高、目標尺寸小且密集尺度差異極大給經(jīng)典檢測模型帶來嚴峻挑戰(zhàn)。YOLO系列作為高效的實時檢測算法憑借其快速迭代和靈活部署特性成為處理航拍目標識別的主流選擇。理解YOLO的Anchor機制、多尺度特征融合與損失函數(shù)原理是優(yōu)化檢測精度的基礎。在無人機巡檢、智慧交通等應用中通過提升輸入分辨率、調(diào)整數(shù)據(jù)增強策略、增加小目標檢測頭等方法可有效應對小目標漏檢與遮擋問題。本文從數(shù)據(jù)集特點出發(fā)系統(tǒng)梳理模型選型、訓練配置、針對性優(yōu)化及落地部署細節(jié)幫助開發(fā)者快速掌握航拍場景下的高性能目標檢測方案。1. Visdrone數(shù)據(jù)集到底難在哪航拍場景的天然挑戰(zhàn)從接觸目標檢測開始我前前后后跑過VOC、COCO、以及各類工業(yè)場景的數(shù)據(jù)集但真正讓我有“這數(shù)據(jù)集真夠狠”這種感覺的就是Visdrone。這個數(shù)據(jù)集收集了大量無人機視角下的俯拍和斜視圖像標注對象包括行人、自行車、摩托車、私家車、卡車、公共汽車、貨車、船只等目標密集、尺度差異極大。如果你打算用YOLO在航拍圖上做目標識別Visdrone基本是你繞不開的試金石。1.1 數(shù)據(jù)集構成與標注特點Visdrone數(shù)據(jù)集全稱是Vision Meets Drone由天津大學等機構發(fā)布常用于航拍圖像目標檢測、單目標跟蹤和地面目標識別等任務。它的訓練集、驗證集和測試集數(shù)量分別為6471張、548張、1610張左右圖像分辨率普遍在2000×1500甚至更高很多是從幾十米到幾百米的無人機高度拍攝的。標注類別一共有10類pedestrian行人、people人群通常指站在一起難以一個個區(qū)分的群體、bicycle自行車、car汽車、van面包車、truck卡車、tricycle三輪車、awning-tricycle帶篷三輪車、bus公交車、motor摩托車。還有一個類別是others其他但在實際訓練中很多人會選擇忽略others因為它的形態(tài)太雜容易干擾模型學習。Visdrone的標注格式是左上角坐標加寬高即x1、y1、w、h同時帶有一個iscrowd標志字段。這個字段非常關鍵標注為1的密集遮擋目標如果不處理直接參與訓練會給YOLO的損失函數(shù)帶來很大噪聲。尤其對于行人和人群這類類別同一個目標在連續(xù)幀里可能一會兒是pedestrian一會兒又被歸入people邊界模糊是常態(tài)。我當時的做法是把iscrowd為1的目標從訓練標簽里剔除掉再統(tǒng)一轉為YOLO格式的txt文件坐標歸一化到0到1之間按類別分別放到對應文件夾里。1.2 航拍目標檢測的三個典型痛點第一個痛點是目標小。COCO數(shù)據(jù)集里小于32×32像素的目標已經(jīng)算小目標而Visdrone中大量目標甚至不到10×10像素。YOLO默認的下采樣倍數(shù)通常是32倍輸入尺寸640×640時特征圖最大也只有20×20一個10像素的小目標落在特征圖上連一個格子都占不滿想要被有效檢測出來非常難。第二個痛點是目標密集且遮擋嚴重。航拍視角下停成一排的汽車、擁擠的步行街、扎堆的三輪車一個目標被另一個目標遮住大半是常態(tài)。YOLO的Anchor匹配機制在這種場景下容易出現(xiàn)一個問題多個目標靠近時一個網(wǎng)格可能同時匹配多個GT但每個網(wǎng)格通常只能輸出幾個候選框漏檢率會明顯上升。第三個痛點是尺度變化跨度極大。同一張圖里近處的大型公交車可能有幾百像素寬遠處的行人可能只有幾個像素。模型需要同時抓住大目標的上下文特征和小目標的細節(jié)紋理這對Neck部分多尺度特征融合的要求非常高。默認的FPN或PAN結構往往更偏向中大型目標小目標特征在自頂向下的傳遞過程中容易被稀釋。這三大痛點疊加在一起決定了Visdrone不是簡單跑個默認YOLO就能刷高分的數(shù)據(jù)集。也正因如此用它來驗證模型改進和調(diào)參能力是再合適不過的。2. YOLO模型選型與訓練環(huán)境準備面對Visdrone第一件事不是打開訓練腳本而是想清楚用哪個版本的YOLO。模型選型直接決定后續(xù)的調(diào)優(yōu)空間和部署成本這一步不能省。2.1 從YOLOv5到YOLOv8/YOLOv9哪個更適合VisdroneYOLO系列迭代到今天主流的幾個版本在架構上各有側重。YOLOv5是普及度最高、資料最多、社區(qū)生態(tài)最成熟的版本。如果你只是想快速上手跑通一個航拍檢測流程YOLOv5是最穩(wěn)的選擇。它的配置文件清晰Anchor聚類邏輯直接訓練日志友好而且對顯存的占用控制得比較好。YOLOv8在YOLOv5的基礎上引入了Anchor-Free解耦頭和C2f模塊訓練收斂速度更快在不同數(shù)據(jù)集上的泛化表現(xiàn)普遍優(yōu)于YOLOv5。對于Visdrone這種背景復雜、目標尺度變化大的場景Anchor-Free設計省去了預設Anchor尺寸的麻煩尤其適合小目標不會過于依賴先驗框的情況。我在實際對比中YOLOv8在Visdrone上的mAP50通常能比同規(guī)模YOLOv5高出2到3個點推理速度基本持平。YOLOv9則是在可編程梯度信息上做文章通過PGI和GELAN結構進一步提升了信息保留能力。如果追求極致精度、不太在意顯存和推理速度YOLOv9值得試。但它的部署生態(tài)不如v5和v8成熟尤其嵌入式部署時算子支持有風險。所以我的建議是不是越新越好而是先看你的落地環(huán)境。這里給出一個簡單的選型參考表模型版本訓練難度Visdrone精度表現(xiàn)部署生態(tài)推薦場景YOLOv5低中等極成熟快速驗證、邊緣設備YOLOv8低較高成熟主力模型、通用航拍檢測YOLOv9中高一般精度優(yōu)先的離線檢測YOLOv10中高一般學術實驗、極致速度研究我的主力選擇是YOLOv8n/m原因很直接n模型作為Baseline顯存占用低能跑比較大的batch把訓練速度拉起來m模型作為精度基線在mAP和FPS之間取一個平衡。如果你顯存充足直接上YOLOv8xVisdrone的小目標檢測上限會更高但訓練時間也成倍增長。2.2 環(huán)境配置與數(shù)據(jù)格式轉換細節(jié)環(huán)境配置看起來簡單但坑不少。最典型的是PyTorch版本與CUDA版本的匹配問題。以我使用的Ultralytics YOLOv8為例推薦環(huán)境是Python3.8以上、PyTorch1.8以上、CUDA11.8或12.1。安裝時直接執(zhí)行pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple訓練腳本會自動檢測GPU但如果你機器上同時有多個CUDA版本記得先設置環(huán)境變量export CUDA_VISIBLE_DEVICES0這一步別偷懶否則容易出現(xiàn)RuntimeError: CUDA out of memory原因可能是程序默認跑到了核顯或者被其它進程占用的GPU上。接著是轉換Visdrone標注。Visdrone原始標注是逗號分隔的txt或xml文件內(nèi)容類似x1,y1,w,h,score,category,truncation,occlusion前面四列是左上角坐標和寬高第五列是置信度通常是1第六列是類別id最后兩列是截斷和遮擋標志。YOLO需要的是每行“類別id cx cy w h”的格式且坐標要歸一化到圖像尺寸。轉換腳本并不復雜核心邏輯如下import os import cv2 def visdrone_to_yolo(label_path, img_path, dst_path): img cv2.imread(img_path) h, w img.shape[:2] with open(label_path, r) as f: lines f.readlines() yolo_lines [] for line in lines: parts line.strip().split(,) if len(parts) 5: continue bbox list(map(int, parts[:4])) cls_id int(parts[5]) # 跳過others類可自行調(diào)整 if cls_id 0 or cls_id 11: continue # 跳過iscrowd為1的目標 if len(parts) 7 and int(parts[7]) 1: continue x1, y1, bw, bh bbox cx (x1 bw / 2) / w cy (y1 bh / 2) / h bw_n bw / w bh_n bh / h # 限制范圍防止越界 cx min(max(cx, 0.0), 1.0) cy min(max(cy, 0.0), 1.0) bw_n min(max(bw_n, 0.0), 1.0) bh_n min(max(bh_n, 0.0), 1.0) yolo_lines.append(f{cls_id-1} {cx:.6f} {cy:.6f} {bw_n:.6f} {bh_n:.6f}\n) with open(dst_path, w) as f: f.writelines(yolo_lines)值得提醒的是Visdrone類別id從1開始而YOLO類別id從0開始轉換時需要統(tǒng)一做減1操作。很多人結果全亂了就是因為這個偏移沒處理好。3. 訓練配置與調(diào)參實戰(zhàn)數(shù)據(jù)準備好之后訓練參數(shù)怎么設直接決定你是白嫖算力還是原地打轉。這里我把自己在Visdrone上反復跑出來的一套配置掏出來不一定是最優(yōu)解但至少能保證你第一次訓練不走偏。3.1 關鍵參數(shù)設置輸入尺寸、batch、epochs與學習率首先說輸入尺寸。Visdrone圖像本身是2000×1500級別直接縮放到640×640會把很多小目標壓縮到幾個像素等于變相讓模型瞎猜。實測下來輸入尺寸提到960或1280對小目標的mAP提升非常明顯。當然代價是顯存占用和訓練時間成倍增長。我的經(jīng)驗是如果顯存只有12GYOLOv8s可以跑960輸入batch設8如果只有8G建議輸入壓在768或者用640先跑通再嘗試更高輸入。epochs通常設置150到300。Visdrone數(shù)據(jù)量不算大300個epoch內(nèi)模型基本收斂再長容易過擬合。我常用的是200個epoch作為中期驗證如果loss曲線還明顯下降就繼續(xù)加跑100個epoch。batch size的影響往往被低估。過小的batch會導致BN層統(tǒng)計量不穩(wěn)在Visdrone這種小目標數(shù)據(jù)上表現(xiàn)尤其明顯。我的建議是batch盡量設成顯卡能承受的最大值同時配合warm-up學習率讓訓練在初期保持穩(wěn)定。比如# 假設在8G顯存輸入768 batch: 16 imgsz: 768 optimizer: SGD momentum: 0.937 weight_decay: 0.0005 warmup_epochs: 3.0 warmup_momentum: 0.8 lr0: 0.01如果你用AdamW初始學習率可以降到0.001。學習率策略選擇Cosine訓練穩(wěn)定性比固定step下降好很多。還有一個容易忽略的點是預訓練權重。用YOLOv8在COCO上預訓練的權重做遷移學習比從頭訓練收斂快很多最終精度也高。Ultralytics默認會自動下載YOLOv8n.pt等權重建議顯存在線或手動下載后放到指定目錄。3.2 數(shù)據(jù)增強策略與超參數(shù)調(diào)整YOLOv8自帶的增強策略已經(jīng)比較強包括Mosaic、MixUp、RandomPerspective、HSV增強等。但針對Visdrone有兩個增強參數(shù)值得重點調(diào)整。第一個是Mosaic的啟用概率。Mosaic把四張圖拼在一起訓練對豐富目標上下文、增強模型對遮擋的魯棒性幫助很大。但航拍圖本身信息就很稠密Mosaic之后小目標會被進一步壓縮所以如果輸入尺寸不夠大mosaic概率可以降到0.5甚至0.3而不是默認的1.0。第二個是scale和translate幅度。我習慣把scale設為0.5左右讓模型適應不同縮放translate設為0.1模擬無人機視角的平移變化。而flip_lr可以開啟因為航拍圖中左右翻轉不會改變目標語義比如車還是車但flip_ud需要謹慎因為無人機倒著飛的情況不多而且翻轉后目標朝向語義會變化對行人這類類別可能產(chǎn)生誤導。下面是一份在ultralytics訓練中直接修改的增強參數(shù)片段# hyp.yaml mosaic: 0.6 mixup: 0.1 fliplr: 0.5 flipud: 0.0 scale: 0.5 translate: 0.1 perspective: 0.0 hsv_h: 0.015 hsv_s: 0.7 hsv_v: 0.4此外anchor設置上如果你用的是YOLOv8這種Anchor-Free版本不需要手工調(diào)Anchor但如果你堅持用YOLOv5建議重新對Visdrone訓練集做K-Means聚類重新生成一組適合航拍場景的Anchor尺寸。否則默認Anchor偏向COCO的通用目標對Visdrone小目標響應不佳。4. 小目標檢測的針對性優(yōu)化方法如果你直接跑完一輪訓練發(fā)現(xiàn)mAP50只有三十幾別慌這是Visdrone的正常水平。接下來要做的是針對航拍小目標場景做定向優(yōu)化。我把試過有效的方法按收益從高到低列出來。4.1 提高輸入分辨率與tiling裁剪策略在小目標檢測中輸入分辨率是決定精度的第一要素。同樣的模型輸入從640提到960Visdrone的mAP50通常能提高5個點左右提到1280能再提高3到4個點。但顯存開銷是平方級增長所以更聰明的做法是使用tiling檢測也就是把大圖切成N個有重疊區(qū)域的patch分別送入模型檢測最后用NMS合并所有patch的結果。切圖的時候切塊大小一般為原圖的一半或四分之一重疊率設在10%到20%之間防止目標剛好被切成兩半。合并時要注意坐標偏移把每個patch的檢測框坐標映射回原圖坐標系。這個方案在推理階段非常有效但訓練階段不建議全局使用否則上下文信息丟失模型容易在patch邊界產(chǎn)生誤檢。我的一個折中方案是訓練用960輸入推理用tiling大圖輸入。訓練時讓模型看到完整的全局上下文推理時用小patch放大細節(jié)兩者互補。4.2 添加小目標檢測頭或改進NeckYOLOv5和YOLOv8默認都有三個尺寸的檢測頭P3、P4、P5但對于Visdrone這種極小目標還可以增加一個更高分辨率的P2檢測頭。P2層的特征圖是輸入圖像尺寸的四分之一對8×8像素的小目標響應要好很多。改檢測頭不是加一行代碼就完事還要調(diào)整Neck層的特征融合結構讓P2層能接收到足夠的語義信息。以YOLOv8的yaml為例需要在Neck部分增加上采樣和Concat操作輸出多一個檢測分支。改完之后模型參數(shù)量和計算量都會上漲推理速度有所下降但小目標召回率的提升是實打實的。除此之外也可以嘗試在YOLO結構中引入注意力機制比如SE、CBAM或者更輕量的EMA注意力。Visdrone圖像中目標通常分布不均衡注意力機制能幫助模型自動聚焦到有目標的區(qū)域減少背景干擾。實測下來CBAM放在Neck特征融合之后對bus和truck這類類別有一定提升但對pedestrian類別提升不明顯可能是因為行人實在太密集注意力圖把它們?nèi)敵闪艘黄y理。4.3 后處理改善NMS閾值與高分辨率輸出很多時候模型本身沒問題是NMS參數(shù)把好結果壓掉了。Visdrone近處重疊目標很多默認NMS IoU閾值0.45會合并掉兩個本來應該分開的檢測框?？梢赃m當降低到0.3或者0.35讓檢測框更“摳門”一些保留更多重疊目標。但同時要接受誤檢率上升所以需要配合conf_thres篩選。我常用conf_thres0.15iou_thres0.35在Visdrone上mAP會更高一點。還有一個容易想到但常被忽視的方法推理時不做下采樣。如果你訓練時用的輸入是640推理時直接把原圖resize到更大尺寸比如1280再輸入由于YOLO的檢測頭對輸入尺寸并不是嚴格敏感很多時候性能反而下降。因為訓練與推理尺寸不一致會讓BN層的統(tǒng)計量失配。所以更穩(wěn)妥的做法是要么訓練推理統(tǒng)一用大圖要么用上面提到的tiling方案。5. 性能評測與可視化結果分析訓練跑完不是終點評測和結果分析才是決定你能不能繼續(xù)迭代的關鍵。我見過太多人只盯著控制臺輸出的mAP不去看模型到底在哪些圖像上漏檢、哪些類別上誤檢結果盲調(diào)很久都沒有進展。5.1 mAP與FPS的權衡Visdrone官方評測指標是mAP[.5:.95]和mAP50但實際工程里我們通常會同時關注FPS。訓練完用下面命令直接評估驗證集yolo detect val modelruns/train/exp/weights/best.pt datavisdrone.yaml batch1 imgsz960除了看每個類別的AP還要單獨看small、medium、large目標的AP。Ultralytics在驗證日志中會輸出這些細分指標。正常來說Visdrone上小目標的AP會明顯低于大目標如果你看到小目標AP只有個位數(shù)說明特征提取和檢測頭對小目標的支持還不夠優(yōu)先從分辨率入手。FPS和mAP之間很多時候是魚與熊掌。以我用的GPU為例YOLOv8m輸入960時FPS約30輸入640時能到50以上但mAP50會掉4到5個點。對于無人機實時巡檢更看重FPS我會壓縮輸入到768并開啟TensorRT推理對于安全取證類業(yè)務更看重精度則用1280輸入或tiling。5.2 預測結果可視化與錯誤分析Ultralytics訓練結束后會在runs/detect/val目錄生成帶預測框的可視化結果。但只看一兩張圖很容易被高置信度的正確預測迷惑。更系統(tǒng)的做法是把驗證集的預測結果保存成文本和GT標簽逐類對比找出漏檢和誤檢的分布規(guī)律。我習慣寫一個小腳本統(tǒng)計“誤檢集中在哪些類別”、“漏檢目標通常多大”。這個統(tǒng)計能揭示很多有意思的結論。比如有一次我發(fā)現(xiàn)誤檢最多的是把pedestrian識別成people因為兩者在遠處看起來形態(tài)相似還有一次發(fā)現(xiàn)大量van被錯分成car原因是航拍俯視下車頂和面包車頂?shù)募y理差異太小。針對這類混淆可以增加對應類別的數(shù)據(jù)、做類別重加權或者干脆合并相近類別。還有一個很實際的建議對驗證集做分辨率和場景分組分析。把圖像按高度分檔低空近距離、中空、高空遠距離再按場景分城區(qū)、鄉(xiāng)村、水面。你會發(fā)現(xiàn)模型在中低空的表現(xiàn)可能不錯但在高空遠距離場景幾乎“瞎了”。這時候就知道該往哪個方向補數(shù)據(jù)或調(diào)參了而不是盲目堆模型大小。6. 模型導出與實戰(zhàn)落地思考學術指標刷完項目總歸要落地。無人機航拍目標識別最常見的落地形態(tài)是邊端推理要么掛在無人機機載設備上實時跑要么回傳到地面站服務器跑。這里有幾個實操層面的問題我踩過不少坑總結出來供你參考。6.1 模型導出與推理加速YOLOv8訓練好的模型是.pt文件直接上生產(chǎn)環(huán)境往往不夠。最簡單的導出為ONNX格式y(tǒng)olo export modelbest.pt formatonnx imgsz960 dynamicTruedynamicTrue可以讓輸入尺寸動態(tài)可調(diào)不過會犧牲一部分推理性能。如果固定輸入尺寸建議關掉dynamic用固定shape這樣TensorRT優(yōu)化效果更好。如果NVIDIA GPU部署強烈建議轉成TensorRT引擎。以TensorRT8.5以上版本為例轉換后推理速度通常是PyTorch的2到4倍。轉換步驟大致是先用ONNX導出模型再用trtexec工具轉為engine文件或者用Python API加載onnx并指定FP16精度。FP16精度在Visdrone這類任務上損失很小但速度提升明顯能用盡量用。如果你部署在Jetson Nano或樹莓派這類嵌入式設備上還可以嘗試將模型量化到INT8但INT8需要校準數(shù)據(jù)而且針對Visdrone的小目標檢測量化后精度可能下降較多。我的經(jīng)驗是FP16是性價比最高的選擇INT8需要做足夠的測試驗證才能上。6.2 實際應用場景從地圖要素提取到巡檢輔助航拍目標識別的應用范圍很廣不只是簡單的“框出來”。比如在智能交通場景利用無人機在高架橋上方懸停檢測車流密度、統(tǒng)計車型比例再結合定位系統(tǒng)做擁堵預警。這需要模型在連續(xù)視頻流上保持穩(wěn)定的檢測結果同時處理抖動、光照變化、運動模糊等情況。我在項目中還發(fā)現(xiàn)單幀檢測難以應對遮擋和尺度突變所以實際落地時通常要配合跟蹤算法如ByteTrack、DeepSORT。檢測器只負責每幀找出目標跟蹤器負責關聯(lián)同一目標的軌跡。這樣就算某一幀因為遮擋漏檢了跟蹤器也能根據(jù)前后幀的軌跡信息把目標“拉回來”。另外檢測結果一定要做坐標映射。很多無人機帶經(jīng)緯度信息檢測框中心點結合相機的內(nèi)參和無人機姿態(tài)角可以換算成目標的大致地理經(jīng)緯度。這個問題在相關熱詞里也提到了“基于yolo的經(jīng)緯度定位”本質(zhì)就是在檢測框的基礎上做空間坐標轉換。最后提一個容易被忽略的工程細節(jié)模型更新與回滾。跑完一輪新訓練先在離線回放數(shù)據(jù)集上用舊模型和新模型做同幀對比確認新模型沒有出現(xiàn)“某一類全體消失”的回歸問題再灰度上線。我見過有人直接替換新模型后發(fā)現(xiàn)某一場景的誤檢率暴增兩倍導致業(yè)務報警刷屏最后只能加班回滾。這種事提前做一個回歸腳本就能完全避免。Visdrone上的YOLO識別說到底是個“數(shù)據(jù)和模型互相較勁”的過程。數(shù)據(jù)集的難點擺在那里模型選型和調(diào)優(yōu)的空間也擺在那里。無論是做研究還是做項目先在Visdrone上把手里的YOLO練熟再去遷移到其他航拍目標識別任務心里會踏實很多。本文還有配套的精品資源點擊獲取 VisDrone航拍目標檢測實戰(zhàn)：基于YOLO的小目標優(yōu)化全攻略
簡介在計算機視覺領域目標檢測技術正從常規(guī)場景向無人機航拍等復雜場景延伸。航拍圖像分辨率高、目標尺寸小且密集尺度差異極大給經(jīng)典檢測模型帶來嚴峻挑戰(zhàn)。YOLO系列作為高效的實時檢測算法憑借其快速迭代和靈活部署特性成為處理航拍目標識別的主流選擇。理解YOLO的Anchor機制、多尺度特征融合與損失函數(shù)原理是優(yōu)化檢測精度的基礎。在無人機巡檢、智慧交通等應用中通過提升輸入分辨率、調(diào)整數(shù)據(jù)增強策略、增加小目標檢測頭等方法可有效應對小目標漏檢與遮擋問題。本文從數(shù)據(jù)集特點出發(fā)系統(tǒng)梳理模型選型、訓練配置、針對性優(yōu)化及落地部署細節(jié)幫助開發(fā)者快速掌握航拍場景下的高性能目標檢測方案。1. Visdrone數(shù)據(jù)集到底難在哪航拍場景的天然挑戰(zhàn)從接觸目標檢測開始我前前后后跑過VOC、COCO、以及各類工業(yè)場景的數(shù)據(jù)集但真正讓我有“這數(shù)據(jù)集真夠狠”這種感覺的就是Visdrone。這個數(shù)據(jù)集收集了大量無人機視角下的俯拍和斜視圖像標注對象包括行人、自行車、摩托車、私家車、卡車、公共汽車、貨車、船只等目標密集、尺度差異極大。如果你打算用YOLO在航拍圖上做目標識別Visdrone基本是你繞不開的試金石。1.1 數(shù)據(jù)集構成與標注特點Visdrone數(shù)據(jù)集全稱是Vision Meets Drone由天津大學等機構發(fā)布常用于航拍圖像目標檢測、單目標跟蹤和地面目標識別等任務。它的訓練集、驗證集和測試集數(shù)量分別為6471張、548張、1610張左右圖像分辨率普遍在2000×1500甚至更高很多是從幾十米到幾百米的無人機高度拍攝的。標注類別一共有10類pedestrian行人、people人群通常指站在一起難以一個個區(qū)分的群體、bicycle自行車、car汽車、van面包車、truck卡車、tricycle三輪車、awning-tricycle帶篷三輪車、bus公交車、motor摩托車。還有一個類別是others其他但在實際訓練中很多人會選擇忽略others因為它的形態(tài)太雜容易干擾模型學習。Visdrone的標注格式是左上角坐標加寬高即x1、y1、w、h同時帶有一個iscrowd標志字段。這個字段非常關鍵標注為1的密集遮擋目標如果不處理直接參與訓練會給YOLO的損失函數(shù)帶來很大噪聲。尤其對于行人和人群這類類別同一個目標在連續(xù)幀里可能一會兒是pedestrian一會兒又被歸入people邊界模糊是常態(tài)。我當時的做法是把iscrowd為1的目標從訓練標簽里剔除掉再統(tǒng)一轉為YOLO格式的txt文件坐標歸一化到0到1之間按類別分別放到對應文件夾里。1.2 航拍目標檢測的三個典型痛點第一個痛點是目標小。COCO數(shù)據(jù)集里小于32×32像素的目標已經(jīng)算小目標而Visdrone中大量目標甚至不到10×10像素。YOLO默認的下采樣倍數(shù)通常是32倍輸入尺寸640×640時特征圖最大也只有20×20一個10像素的小目標落在特征圖上連一個格子都占不滿想要被有效檢測出來非常難。第二個痛點是目標密集且遮擋嚴重。航拍視角下停成一排的汽車、擁擠的步行街、扎堆的三輪車一個目標被另一個目標遮住大半是常態(tài)。YOLO的Anchor匹配機制在這種場景下容易出現(xiàn)一個問題多個目標靠近時一個網(wǎng)格可能同時匹配多個GT但每個網(wǎng)格通常只能輸出幾個候選框漏檢率會明顯上升。第三個痛點是尺度變化跨度極大。同一張圖里近處的大型公交車可能有幾百像素寬遠處的行人可能只有幾個像素。模型需要同時抓住大目標的上下文特征和小目標的細節(jié)紋理這對Neck部分多尺度特征融合的要求非常高。默認的FPN或PAN結構往往更偏向中大型目標小目標特征在自頂向下的傳遞過程中容易被稀釋。這三大痛點疊加在一起決定了Visdrone不是簡單跑個默認YOLO就能刷高分的數(shù)據(jù)集。也正因如此用它來驗證模型改進和調(diào)參能力是再合適不過的。2. YOLO模型選型與訓練環(huán)境準備面對Visdrone第一件事不是打開訓練腳本而是想清楚用哪個版本的YOLO。模型選型直接決定后續(xù)的調(diào)優(yōu)空間和部署成本這一步不能省。2.1 從YOLOv5到YOLOv8/YOLOv9哪個更適合VisdroneYOLO系列迭代到今天主流的幾個版本在架構上各有側重。YOLOv5是普及度最高、資料最多、社區(qū)生態(tài)最成熟的版本。如果你只是想快速上手跑通一個航拍檢測流程YOLOv5是最穩(wěn)的選擇。它的配置文件清晰Anchor聚類邏輯直接訓練日志友好而且對顯存的占用控制得比較好。YOLOv8在YOLOv5的基礎上引入了Anchor-Free解耦頭和C2f模塊訓練收斂速度更快在不同數(shù)據(jù)集上的泛化表現(xiàn)普遍優(yōu)于YOLOv5。對于Visdrone這種背景復雜、目標尺度變化大的場景Anchor-Free設計省去了預設Anchor尺寸的麻煩尤其適合小目標不會過于依賴先驗框的情況。我在實際對比中YOLOv8在Visdrone上的mAP50通常能比同規(guī)模YOLOv5高出2到3個點推理速度基本持平。YOLOv9則是在可編程梯度信息上做文章通過PGI和GELAN結構進一步提升了信息保留能力。如果追求極致精度、不太在意顯存和推理速度YOLOv9值得試。但它的部署生態(tài)不如v5和v8成熟尤其嵌入式部署時算子支持有風險。所以我的建議是不是越新越好而是先看你的落地環(huán)境。這里給出一個簡單的選型參考表模型版本訓練難度Visdrone精度表現(xiàn)部署生態(tài)推薦場景YOLOv5低中等極成熟快速驗證、邊緣設備YOLOv8低較高成熟主力模型、通用航拍檢測YOLOv9中高一般精度優(yōu)先的離線檢測YOLOv10中高一般學術實驗、極致速度研究我的主力選擇是YOLOv8n/m原因很直接n模型作為Baseline顯存占用低能跑比較大的batch把訓練速度拉起來m模型作為精度基線在mAP和FPS之間取一個平衡。如果你顯存充足直接上YOLOv8xVisdrone的小目標檢測上限會更高但訓練時間也成倍增長。2.2 環(huán)境配置與數(shù)據(jù)格式轉換細節(jié)環(huán)境配置看起來簡單但坑不少。最典型的是PyTorch版本與CUDA版本的匹配問題。以我使用的Ultralytics YOLOv8為例推薦環(huán)境是Python3.8以上、PyTorch1.8以上、CUDA11.8或12.1。安裝時直接執(zhí)行pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple訓練腳本會自動檢測GPU但如果你機器上同時有多個CUDA版本記得先設置環(huán)境變量export CUDA_VISIBLE_DEVICES0這一步別偷懶否則容易出現(xiàn)RuntimeError: CUDA out of memory原因可能是程序默認跑到了核顯或者被其它進程占用的GPU上。接著是轉換Visdrone標注。Visdrone原始標注是逗號分隔的txt或xml文件內(nèi)容類似x1,y1,w,h,score,category,truncation,occlusion前面四列是左上角坐標和寬高第五列是置信度通常是1第六列是類別id最后兩列是截斷和遮擋標志。YOLO需要的是每行“類別id cx cy w h”的格式且坐標要歸一化到圖像尺寸。轉換腳本并不復雜核心邏輯如下import os import cv2 def visdrone_to_yolo(label_path, img_path, dst_path): img cv2.imread(img_path) h, w img.shape[:2] with open(label_path, r) as f: lines f.readlines() yolo_lines [] for line in lines: parts line.strip().split(,) if len(parts) 5: continue bbox list(map(int, parts[:4])) cls_id int(parts[5]) # 跳過others類可自行調(diào)整 if cls_id 0 or cls_id 11: continue # 跳過iscrowd為1的目標 if len(parts) 7 and int(parts[7]) 1: continue x1, y1, bw, bh bbox cx (x1 bw / 2) / w cy (y1 bh / 2) / h bw_n bw / w bh_n bh / h # 限制范圍防止越界 cx min(max(cx, 0.0), 1.0) cy min(max(cy, 0.0), 1.0) bw_n min(max(bw_n, 0.0), 1.0) bh_n min(max(bh_n, 0.0), 1.0) yolo_lines.append(f{cls_id-1} {cx:.6f} {cy:.6f} {bw_n:.6f} {bh_n:.6f}\n) with open(dst_path, w) as f: f.writelines(yolo_lines)值得提醒的是Visdrone類別id從1開始而YOLO類別id從0開始轉換時需要統(tǒng)一做減1操作。很多人結果全亂了就是因為這個偏移沒處理好。3. 訓練配置與調(diào)參實戰(zhàn)數(shù)據(jù)準備好之后訓練參數(shù)怎么設直接決定你是白嫖算力還是原地打轉。這里我把自己在Visdrone上反復跑出來的一套配置掏出來不一定是最優(yōu)解但至少能保證你第一次訓練不走偏。3.1 關鍵參數(shù)設置輸入尺寸、batch、epochs與學習率首先說輸入尺寸。Visdrone圖像本身是2000×1500級別直接縮放到640×640會把很多小目標壓縮到幾個像素等于變相讓模型瞎猜。實測下來輸入尺寸提到960或1280對小目標的mAP提升非常明顯。當然代價是顯存占用和訓練時間成倍增長。我的經(jīng)驗是如果顯存只有12GYOLOv8s可以跑960輸入batch設8如果只有8G建議輸入壓在768或者用640先跑通再嘗試更高輸入。epochs通常設置150到300。Visdrone數(shù)據(jù)量不算大300個epoch內(nèi)模型基本收斂再長容易過擬合。我常用的是200個epoch作為中期驗證如果loss曲線還明顯下降就繼續(xù)加跑100個epoch。batch size的影響往往被低估。過小的batch會導致BN層統(tǒng)計量不穩(wěn)在Visdrone這種小目標數(shù)據(jù)上表現(xiàn)尤其明顯。我的建議是batch盡量設成顯卡能承受的最大值同時配合warm-up學習率讓訓練在初期保持穩(wěn)定。比如# 假設在8G顯存輸入768 batch: 16 imgsz: 768 optimizer: SGD momentum: 0.937 weight_decay: 0.0005 warmup_epochs: 3.0 warmup_momentum: 0.8 lr0: 0.01如果你用AdamW初始學習率可以降到0.001。學習率策略選擇Cosine訓練穩(wěn)定性比固定step下降好很多。還有一個容易忽略的點是預訓練權重。用YOLOv8在COCO上預訓練的權重做遷移學習比從頭訓練收斂快很多最終精度也高。Ultralytics默認會自動下載YOLOv8n.pt等權重建議顯存在線或手動下載后放到指定目錄。3.2 數(shù)據(jù)增強策略與超參數(shù)調(diào)整YOLOv8自帶的增強策略已經(jīng)比較強包括Mosaic、MixUp、RandomPerspective、HSV增強等。但針對Visdrone有兩個增強參數(shù)值得重點調(diào)整。第一個是Mosaic的啟用概率。Mosaic把四張圖拼在一起訓練對豐富目標上下文、增強模型對遮擋的魯棒性幫助很大。但航拍圖本身信息就很稠密Mosaic之后小目標會被進一步壓縮所以如果輸入尺寸不夠大mosaic概率可以降到0.5甚至0.3而不是默認的1.0。第二個是scale和translate幅度。我習慣把scale設為0.5左右讓模型適應不同縮放translate設為0.1模擬無人機視角的平移變化。而flip_lr可以開啟因為航拍圖中左右翻轉不會改變目標語義比如車還是車但flip_ud需要謹慎因為無人機倒著飛的情況不多而且翻轉后目標朝向語義會變化對行人這類類別可能產(chǎn)生誤導。下面是一份在ultralytics訓練中直接修改的增強參數(shù)片段# hyp.yaml mosaic: 0.6 mixup: 0.1 fliplr: 0.5 flipud: 0.0 scale: 0.5 translate: 0.1 perspective: 0.0 hsv_h: 0.015 hsv_s: 0.7 hsv_v: 0.4此外anchor設置上如果你用的是YOLOv8這種Anchor-Free版本不需要手工調(diào)Anchor但如果你堅持用YOLOv5建議重新對Visdrone訓練集做K-Means聚類重新生成一組適合航拍場景的Anchor尺寸。否則默認Anchor偏向COCO的通用目標對Visdrone小目標響應不佳。4. 小目標檢測的針對性優(yōu)化方法如果你直接跑完一輪訓練發(fā)現(xiàn)mAP50只有三十幾別慌這是Visdrone的正常水平。接下來要做的是針對航拍小目標場景做定向優(yōu)化。我把試過有效的方法按收益從高到低列出來。4.1 提高輸入分辨率與tiling裁剪策略在小目標檢測中輸入分辨率是決定精度的第一要素。同樣的模型輸入從640提到960Visdrone的mAP50通常能提高5個點左右提到1280能再提高3到4個點。但顯存開銷是平方級增長所以更聰明的做法是使用tiling檢測也就是把大圖切成N個有重疊區(qū)域的patch分別送入模型檢測最后用NMS合并所有patch的結果。切圖的時候切塊大小一般為原圖的一半或四分之一重疊率設在10%到20%之間防止目標剛好被切成兩半。合并時要注意坐標偏移把每個patch的檢測框坐標映射回原圖坐標系。這個方案在推理階段非常有效但訓練階段不建議全局使用否則上下文信息丟失模型容易在patch邊界產(chǎn)生誤檢。我的一個折中方案是訓練用960輸入推理用tiling大圖輸入。訓練時讓模型看到完整的全局上下文推理時用小patch放大細節(jié)兩者互補。4.2 添加小目標檢測頭或改進NeckYOLOv5和YOLOv8默認都有三個尺寸的檢測頭P3、P4、P5但對于Visdrone這種極小目標還可以增加一個更高分辨率的P2檢測頭。P2層的特征圖是輸入圖像尺寸的四分之一對8×8像素的小目標響應要好很多。改檢測頭不是加一行代碼就完事還要調(diào)整Neck層的特征融合結構讓P2層能接收到足夠的語義信息。以YOLOv8的yaml為例需要在Neck部分增加上采樣和Concat操作輸出多一個檢測分支。改完之后模型參數(shù)量和計算量都會上漲推理速度有所下降但小目標召回率的提升是實打實的。除此之外也可以嘗試在YOLO結構中引入注意力機制比如SE、CBAM或者更輕量的EMA注意力。Visdrone圖像中目標通常分布不均衡注意力機制能幫助模型自動聚焦到有目標的區(qū)域減少背景干擾。實測下來CBAM放在Neck特征融合之后對bus和truck這類類別有一定提升但對pedestrian類別提升不明顯可能是因為行人實在太密集注意力圖把它們?nèi)敵闪艘黄y理。4.3 后處理改善NMS閾值與高分辨率輸出很多時候模型本身沒問題是NMS參數(shù)把好結果壓掉了。Visdrone近處重疊目標很多默認NMS IoU閾值0.45會合并掉兩個本來應該分開的檢測框?？梢赃m當降低到0.3或者0.35讓檢測框更“摳門”一些保留更多重疊目標。但同時要接受誤檢率上升所以需要配合conf_thres篩選。我常用conf_thres0.15iou_thres0.35在Visdrone上mAP會更高一點。還有一個容易想到但常被忽視的方法推理時不做下采樣。如果你訓練時用的輸入是640推理時直接把原圖resize到更大尺寸比如1280再輸入由于YOLO的檢測頭對輸入尺寸并不是嚴格敏感很多時候性能反而下降。因為訓練與推理尺寸不一致會讓BN層的統(tǒng)計量失配。所以更穩(wěn)妥的做法是要么訓練推理統(tǒng)一用大圖要么用上面提到的tiling方案。5. 性能評測與可視化結果分析訓練跑完不是終點評測和結果分析才是決定你能不能繼續(xù)迭代的關鍵。我見過太多人只盯著控制臺輸出的mAP不去看模型到底在哪些圖像上漏檢、哪些類別上誤檢結果盲調(diào)很久都沒有進展。5.1 mAP與FPS的權衡Visdrone官方評測指標是mAP[.5:.95]和mAP50但實際工程里我們通常會同時關注FPS。訓練完用下面命令直接評估驗證集yolo detect val modelruns/train/exp/weights/best.pt datavisdrone.yaml batch1 imgsz960除了看每個類別的AP還要單獨看small、medium、large目標的AP。Ultralytics在驗證日志中會輸出這些細分指標。正常來說Visdrone上小目標的AP會明顯低于大目標如果你看到小目標AP只有個位數(shù)說明特征提取和檢測頭對小目標的支持還不夠優(yōu)先從分辨率入手。FPS和mAP之間很多時候是魚與熊掌。以我用的GPU為例YOLOv8m輸入960時FPS約30輸入640時能到50以上但mAP50會掉4到5個點。對于無人機實時巡檢更看重FPS我會壓縮輸入到768并開啟TensorRT推理對于安全取證類業(yè)務更看重精度則用1280輸入或tiling。5.2 預測結果可視化與錯誤分析Ultralytics訓練結束后會在runs/detect/val目錄生成帶預測框的可視化結果。但只看一兩張圖很容易被高置信度的正確預測迷惑。更系統(tǒng)的做法是把驗證集的預測結果保存成文本和GT標簽逐類對比找出漏檢和誤檢的分布規(guī)律。我習慣寫一個小腳本統(tǒng)計“誤檢集中在哪些類別”、“漏檢目標通常多大”。這個統(tǒng)計能揭示很多有意思的結論。比如有一次我發(fā)現(xiàn)誤檢最多的是把pedestrian識別成people因為兩者在遠處看起來形態(tài)相似還有一次發(fā)現(xiàn)大量van被錯分成car原因是航拍俯視下車頂和面包車頂?shù)募y理差異太小。針對這類混淆可以增加對應類別的數(shù)據(jù)、做類別重加權或者干脆合并相近類別。還有一個很實際的建議對驗證集做分辨率和場景分組分析。把圖像按高度分檔低空近距離、中空、高空遠距離再按場景分城區(qū)、鄉(xiāng)村、水面。你會發(fā)現(xiàn)模型在中低空的表現(xiàn)可能不錯但在高空遠距離場景幾乎“瞎了”。這時候就知道該往哪個方向補數(shù)據(jù)或調(diào)參了而不是盲目堆模型大小。6. 模型導出與實戰(zhàn)落地思考學術指標刷完項目總歸要落地。無人機航拍目標識別最常見的落地形態(tài)是邊端推理要么掛在無人機機載設備上實時跑要么回傳到地面站服務器跑。這里有幾個實操層面的問題我踩過不少坑總結出來供你參考。6.1 模型導出與推理加速YOLOv8訓練好的模型是.pt文件直接上生產(chǎn)環(huán)境往往不夠。最簡單的導出為ONNX格式y(tǒng)olo export modelbest.pt formatonnx imgsz960 dynamicTruedynamicTrue可以讓輸入尺寸動態(tài)可調(diào)不過會犧牲一部分推理性能。如果固定輸入尺寸建議關掉dynamic用固定shape這樣TensorRT優(yōu)化效果更好。如果NVIDIA GPU部署強烈建議轉成TensorRT引擎。以TensorRT8.5以上版本為例轉換后推理速度通常是PyTorch的2到4倍。轉換步驟大致是先用ONNX導出模型再用trtexec工具轉為engine文件或者用Python API加載onnx并指定FP16精度。FP16精度在Visdrone這類任務上損失很小但速度提升明顯能用盡量用。如果你部署在Jetson Nano或樹莓派這類嵌入式設備上還可以嘗試將模型量化到INT8但INT8需要校準數(shù)據(jù)而且針對Visdrone的小目標檢測量化后精度可能下降較多。我的經(jīng)驗是FP16是性價比最高的選擇INT8需要做足夠的測試驗證才能上。6.2 實際應用場景從地圖要素提取到巡檢輔助航拍目標識別的應用范圍很廣不只是簡單的“框出來”。比如在智能交通場景利用無人機在高架橋上方懸停檢測車流密度、統(tǒng)計車型比例再結合定位系統(tǒng)做擁堵預警。這需要模型在連續(xù)視頻流上保持穩(wěn)定的檢測結果同時處理抖動、光照變化、運動模糊等情況。我在項目中還發(fā)現(xiàn)單幀檢測難以應對遮擋和尺度突變所以實際落地時通常要配合跟蹤算法如ByteTrack、DeepSORT。檢測器只負責每幀找出目標跟蹤器負責關聯(lián)同一目標的軌跡。這樣就算某一幀因為遮擋漏檢了跟蹤器也能根據(jù)前后幀的軌跡信息把目標“拉回來”。另外檢測結果一定要做坐標映射。很多無人機帶經(jīng)緯度信息檢測框中心點結合相機的內(nèi)參和無人機姿態(tài)角可以換算成目標的大致地理經(jīng)緯度。這個問題在相關熱詞里也提到了“基于yolo的經(jīng)緯度定位”本質(zhì)就是在檢測框的基礎上做空間坐標轉換。最后提一個容易被忽略的工程細節(jié)模型更新與回滾。跑完一輪新訓練先在離線回放數(shù)據(jù)集上用舊模型和新模型做同幀對比確認新模型沒有出現(xiàn)“某一類全體消失”的回歸問題再灰度上線。我見過有人直接替換新模型后發(fā)現(xiàn)某一場景的誤檢率暴增兩倍導致業(yè)務報警刷屏最后只能加班回滾。這種事提前做一個回歸腳本就能完全避免。Visdrone上的YOLO識別說到底是個“數(shù)據(jù)和模型互相較勁”的過程。數(shù)據(jù)集的難點擺在那里模型選型和調(diào)優(yōu)的空間也擺在那里。無論是做研究還是做項目先在Visdrone上把手里的YOLO練熟再去遷移到其他航拍目標識別任務心里會踏實很多。本文還有配套的精品資源點擊獲取