簡(jiǎn)介計(jì)算機(jī)視覺(jué)中的目標(biāo)檢測(cè)技術(shù)旨在讓機(jī)器從圖像或視頻中定位并識(shí)別特定物體。以YOLO系列為代表的深度學(xué)習(xí)模型憑借出色的精度與速度平衡成為視頻監(jiān)控場(chǎng)景下行人檢測(cè)的主流方案。通過(guò)遷移學(xué)習(xí)、非極大值抑制以及跨幀IOU關(guān)聯(lián)等核心機(jī)制可將連續(xù)幀中的檢測(cè)結(jié)果轉(zhuǎn)換為穩(wěn)定的人流計(jì)數(shù)實(shí)現(xiàn)瞬時(shí)人數(shù)與累計(jì)流量的實(shí)時(shí)統(tǒng)計(jì)。結(jié)合PyTorch、OpenCV等工具鏈開(kāi)發(fā)者能夠搭建完整的可視化系統(tǒng)并針對(duì)誤檢、漏檢和推理速度等問(wèn)題進(jìn)行工程優(yōu)化。該技術(shù)廣泛應(yīng)用于商場(chǎng)、景區(qū)、交通樞紐等公共區(qū)域的人流監(jiān)測(cè)與安全預(yù)警。本文以一套基于深度學(xué)習(xí)的人流量檢測(cè)系統(tǒng)為例系統(tǒng)拆解YOLO目標(biāo)檢測(cè)、計(jì)數(shù)邏輯、界面開(kāi)發(fā)及部署優(yōu)化要點(diǎn)幫助讀者快速掌握從模型原理到工程落地的完整路徑。 寫(xiě)這篇東西之前我先說(shuō)個(gè)背景。每年畢業(yè)季人流量檢測(cè)系統(tǒng)都是畢設(shè)題目的常客因?yàn)樗母采w面足夠廣深度學(xué)習(xí)、Python、目標(biāo)檢測(cè)、圖像處理、界面開(kāi)發(fā)該有的技術(shù)棧全都有而且展示效果直觀答辯時(shí)屏幕上實(shí)時(shí)跳出檢測(cè)框和計(jì)數(shù)數(shù)字老師一看就知道你做的是什么東西。但我也看過(guò)太多人卡在同一個(gè)地方——代碼能跑但不知道每一步在干什么模型能出框但計(jì)數(shù)邏輯漏洞百出界面能打開(kāi)但換個(gè)視頻就崩。這套“基于深度學(xué)習(xí)的人流量檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)”的Python源碼加項(xiàng)目說(shuō)明整套東西我看下來(lái)本質(zhì)上是一個(gè)標(biāo)準(zhǔn)的“目標(biāo)檢測(cè) 跨幀計(jì)數(shù) 可視化展示”三段式架構(gòu)。它解決的痛點(diǎn)是在一段監(jiān)控視頻或?qū)崟r(shí)攝像頭畫(huà)面里自動(dòng)識(shí)別出“人”這個(gè)目標(biāo)并統(tǒng)計(jì)出當(dāng)前人數(shù)、累計(jì)人流量最后通過(guò)界面呈現(xiàn)給用戶。適合的人群很明確正在做人流量檢測(cè)相關(guān)畢設(shè)的學(xué)生以及想用Python快速搭一個(gè)目標(biāo)檢測(cè)計(jì)數(shù)原型來(lái)做技術(shù)驗(yàn)證的開(kāi)發(fā)者。我需要把里面一些值得展開(kāi)的技術(shù)細(xì)節(jié)和實(shí)際踩坑經(jīng)驗(yàn)說(shuō)清楚幫你看懂這套系統(tǒng)是怎么設(shè)計(jì)的以及哪些地方可以做到更好。1. 項(xiàng)目整體設(shè)計(jì)與技術(shù)選型拆解1.1 畢設(shè)需求拆解不只是“檢測(cè)出人”這么簡(jiǎn)單很多同學(xué)一上來(lái)就奔著“把人的框畫(huà)出來(lái)”去做完才發(fā)現(xiàn)工作量不夠答辯的時(shí)候沒(méi)有什么可講的。這套畢設(shè)的聰明之處在于它把“人流量檢測(cè)”拆成了三個(gè)遞進(jìn)的需求層級(jí)。第一層是“有沒(méi)有人”這就是純目標(biāo)檢測(cè)要做的事用YOLO或同類(lèi)模型在每一幀畫(huà)面中找出人的位置輸出邊界框和置信度。第二層是“有多少人”這個(gè)分兩種口徑當(dāng)前畫(huà)面的人數(shù)瞬時(shí)人數(shù)和一段時(shí)間內(nèi)累計(jì)經(jīng)過(guò)的人數(shù)流量。瞬時(shí)人數(shù)很好算直接統(tǒng)計(jì)當(dāng)前幀的檢測(cè)框數(shù)量就行但累計(jì)流量就得靠跨幀關(guān)聯(lián)來(lái)做否則同一個(gè)人在畫(huà)面里走了10秒你把他算了10次這個(gè)數(shù)字就沒(méi)有意義了。第三層是“給你看什么”輸出不能只是終端里的一串坐標(biāo)得有一個(gè)可視化界面實(shí)時(shí)顯示檢測(cè)結(jié)果、計(jì)數(shù)曲線最好還能處理視頻文件和攝像頭信號(hào)。我建議你在做任何同類(lèi)項(xiàng)目前也先把這三層目標(biāo)寫(xiě)清楚。因?yàn)槊恳粚訉?duì)應(yīng)的技術(shù)方案是完全不同的檢測(cè)用YOLO跟蹤用IOU匹配或DeepSORT界面用Flask或PyQt混在一起做容易做成一鍋粥拆開(kāi)之后才能逐個(gè)擊破。1.2 技術(shù)選型對(duì)比為什么是YOLO系列為什么是PyTorch這套系統(tǒng)源碼里用的模型是YOLO系列的某個(gè)版本配套PyTorch框架Python版本要求在3.8以上。這個(gè)選擇在2024、2025年的環(huán)境下依然是非常理性的。先看目標(biāo)檢測(cè)模型怎么選。對(duì)比過(guò)三套方案的同學(xué)應(yīng)該有體感Faster R-CNN精度上限確實(shí)高尤其是小目標(biāo)場(chǎng)景但速度太慢一幀需要幾十甚至上百毫秒實(shí)時(shí)視頻流基本撐不住。畢設(shè)現(xiàn)場(chǎng)演示的時(shí)候畫(huà)面一卡頓老師的第一印象就打折扣了。SSD速度不錯(cuò)但小目標(biāo)檢測(cè)能力偏弱人流量場(chǎng)景經(jīng)常出現(xiàn)遠(yuǎn)處的人很小的情況SSD容易漏檢。YOLO系列v5/v8/v9等精度和速度的平衡點(diǎn)在所有主流模型里做的是最好的訓(xùn)練生態(tài)成熟預(yù)訓(xùn)練權(quán)重好找部署簡(jiǎn)單Python直接能調(diào)對(duì)畢設(shè)來(lái)說(shuō)是最穩(wěn)的選項(xiàng)。再看深度學(xué)習(xí)框架。這套源碼用的是PyTorch不是TensorFlow。原因很簡(jiǎn)單PyTorch的調(diào)試體驗(yàn)對(duì)畢設(shè)選手來(lái)說(shuō)友好太多模型結(jié)構(gòu)print出來(lái)一目了然動(dòng)態(tài)圖機(jī)制讓中間層的輸出隨時(shí)可見(jiàn)。而TensorFlow的靜態(tài)圖機(jī)制遇到報(bào)錯(cuò)時(shí)排查成本比較高。另外PyTorch的模型權(quán)重zoo比如Ultralytics YOLO的各種預(yù)訓(xùn)練模型下載方便社區(qū)活躍度也高遇到問(wèn)題一搜就能找到解決方案。選PyTorch還有一個(gè)現(xiàn)實(shí)原因如果你后續(xù)想用TensorRT做推理加速后面我會(huì)講PyTorch模型轉(zhuǎn)ONNX再轉(zhuǎn)TensorRT的鏈路已經(jīng)非常成熟資料多坑少。這一點(diǎn)在做性能優(yōu)化時(shí)非常重要。1.3 系統(tǒng)整體架構(gòu)五層分流各司其職有了需求拆解整體架構(gòu)自然就出來(lái)了。這套系統(tǒng)基本是按經(jīng)典的五層結(jié)構(gòu)來(lái)組織的數(shù)據(jù)輸入層讀取視頻文件或調(diào)用攝像頭OpenCV的VideoCapture推流格式統(tǒng)一轉(zhuǎn)成BGR幀。預(yù)處理層把每一幀縮放、歸一化、轉(zhuǎn)Tensor喂給模型前還需要確認(rèn)通道順序、數(shù)值范圍是否符合模型訓(xùn)練的分布。推理層加載訓(xùn)練好的模型權(quán)重執(zhí)行前向計(jì)算輸出檢測(cè)框坐標(biāo)、置信度、類(lèi)別ID。后處理與業(yè)務(wù)邏輯層把模型的原始輸出解析成人類(lèi)可讀的框NMS去重、維護(hù)跟蹤ID、累積流量計(jì)數(shù)。展示層用PyQt或Web前端把畫(huà)了框的畫(huà)面、實(shí)時(shí)人數(shù)曲線、歷史統(tǒng)計(jì)報(bào)表展示出來(lái)。這套分層的好處是模塊之間解耦得很干凈。你不想用PyQt可以把展示層整個(gè)換成Flask寫(xiě)Web界面不影響其他代碼。你想替換模型推理層內(nèi)部換一下加載邏輯上層完全不用動(dòng)。我見(jiàn)過(guò)太多畢設(shè)代碼把模型推理、畫(huà)框、計(jì)數(shù)全寫(xiě)在同一個(gè)函數(shù)里200行一個(gè)函數(shù)帶著一堆全局變量看起來(lái)“寫(xiě)得快”但后期改一個(gè)參數(shù)都要提心吊膽。2. 核心算法原理模型在做什么你心里要有數(shù)2.1 從卷積到池化網(wǎng)絡(luò)怎么“看見(jiàn)”一個(gè)人聊人流量檢測(cè)繞不開(kāi)深度學(xué)習(xí)視覺(jué)基礎(chǔ)。這套源碼用的YOLO模型Backbone部分是卷積分層提取特征的網(wǎng)絡(luò)。卷積的作用是讓網(wǎng)絡(luò)在圖像的不同位置尋找局部模式比如邊緣、紋理、顏色組合淺層網(wǎng)絡(luò)找的是線和角深層網(wǎng)絡(luò)才能把這些局部模式組合成“人的頭肩形狀”“人的整體輪廓”這種語(yǔ)義信息。這里面有一個(gè)每個(gè)做畢設(shè)的人都應(yīng)該能回答上來(lái)的概念池化。我們常說(shuō)的深度學(xué)習(xí)的池化Pooling本質(zhì)上就是下采樣。類(lèi)比來(lái)說(shuō)一張1080p的圖片如果用MaxPooling做2x2降采樣等于把每2x2的小塊里最大的那個(gè)值留下其他三個(gè)丟掉圖片變成540p。網(wǎng)絡(luò)對(duì)特征的敏感度不會(huì)因?yàn)檫@種“抽稀”而丟失太多反而獲得了兩大好處一是計(jì)算量大幅下降二是網(wǎng)絡(luò)對(duì)目標(biāo)在畫(huà)面中的小幅偏移不再那么敏感這也就是我們說(shuō)的平移不變性。在人群中做檢測(cè)人的位置總是千變?nèi)f化的我們希望網(wǎng)絡(luò)不管人在畫(huà)面左邊還是右邊都能穩(wěn)定識(shí)別出“這是人”池化在這方面功不可沒(méi)。YOLO的Neck部分會(huì)用特征金字塔結(jié)構(gòu)把淺層的細(xì)粒度位置信息和深層的強(qiáng)語(yǔ)義信息融合在一起。這就是為什么YOLO能同時(shí)檢測(cè)畫(huà)面里的大人和遠(yuǎn)處的小人。你喂進(jìn)去的圖片分辨率越高小目標(biāo)檢測(cè)能力越強(qiáng)但推理速度成反比。這套系統(tǒng)里我建議用YOLO官方推薦的默認(rèn)輸入尺寸通常在640x640左右這個(gè)尺寸對(duì)“中等密度的人群”場(chǎng)景足夠用。2.2 預(yù)訓(xùn)練權(quán)重與遷移學(xué)習(xí)為什么你的模型收斂得這么快這套系統(tǒng)的訓(xùn)練過(guò)程完全不是從零開(kāi)始“煉丹”而是用COCO數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重做遷移學(xué)習(xí)。這是整套項(xiàng)目里最聰明的“省力點(diǎn)”。很多人第一次訓(xùn)練深度學(xué)習(xí)模型習(xí)慣性地從隨機(jī)初始化的權(quán)重開(kāi)始訓(xùn)然后發(fā)現(xiàn)loss怎么也降不下來(lái)或者訓(xùn)練了50個(gè)epoch還在震蕩。問(wèn)題出在哪隨機(jī)初始化的網(wǎng)絡(luò)對(duì)圖像完全沒(méi)有任何先驗(yàn)知識(shí)一切都需要從零學(xué)而任務(wù)本身又復(fù)雜數(shù)據(jù)量又沒(méi)那么大很容易過(guò)擬合或欠擬合。遷移學(xué)習(xí)的邏輯很樸素一個(gè)已經(jīng)在COCO這種百萬(wàn)級(jí)數(shù)據(jù)集上見(jiàn)過(guò)海量圖像的模型已經(jīng)把“邊緣怎么提取”“紋理怎么組合成物體”這些東西學(xué)得差不多了。你把它加載進(jìn)來(lái)凍結(jié)前幾層Backbone只需要訓(xùn)練后面幾層和檢測(cè)頭讓它適應(yīng)“人”類(lèi)別的細(xì)分特征就行了。這套人流量檢測(cè)系統(tǒng)里默認(rèn)就使用了從COCO遷移來(lái)的YOLO預(yù)訓(xùn)練權(quán)重所以即使你自己的數(shù)據(jù)集只有幾百上千張圖訓(xùn)練一二十個(gè)epoch也能收斂到不錯(cuò)的精度。實(shí)操上有一個(gè)調(diào)參細(xì)節(jié)遷移學(xué)習(xí)時(shí)學(xué)習(xí)率要調(diào)低。隨機(jī)初始化的模型可以用1e-3甚至1e-2的學(xué)習(xí)率因?yàn)樘荻确较蜃儎?dòng)大需要大步幅探索遷移學(xué)習(xí)狀態(tài)下權(quán)重已經(jīng)在一個(gè)相對(duì)較優(yōu)的局部區(qū)域小幅更新即可建議從1e-4起步用余弦退火逐步降低效果會(huì)比恒定的較大學(xué)習(xí)率好很多。2.3 NMS去重同一個(gè)人為什么會(huì)被框好幾次用過(guò)YOLO的同學(xué)都知道模型對(duì)同一個(gè)目標(biāo)通常會(huì)輸出多個(gè)重疊的檢測(cè)框尤其目標(biāo)密集的時(shí)候一個(gè)行人可能同時(shí)被三四個(gè)框命中置信度還都很高。如果不處理畫(huà)面里一個(gè)人頭上頂三四個(gè)框計(jì)數(shù)直接翻倍。YOLO的后處理用的標(biāo)準(zhǔn)方案是NMS非極大值抑制思路其實(shí)很簡(jiǎn)單把置信度最高的框保留把其它和這個(gè)框重疊度太高IOU超過(guò)閾值的框剔除然后對(duì)剩下的框重復(fù)這個(gè)過(guò)程直到所有框都遍歷完。IOU就是兩個(gè)框的交集面積除以并集面積數(shù)值范圍0到1。NMS的閾值選擇有講究默認(rèn)0.4到0.5之間比較穩(wěn)妥。閾值設(shè)低了兩個(gè)挨得近的人可能被合并成一個(gè)框?qū)е侣z閾值設(shè)高了同一個(gè)人身上的重復(fù)框又清不干凈。在人流量這種密集人群場(chǎng)景我建議從0.45起步多拿幾幀實(shí)際畫(huà)面測(cè)一下看哪個(gè)人群的“粘連”問(wèn)題最嚴(yán)重再去微調(diào)。2.4 從檢測(cè)到計(jì)數(shù)跨幀關(guān)聯(lián)的邏輯真正的“人流量”不是看某一幀有多少人而是要統(tǒng)計(jì)在一段時(shí)間內(nèi)有多少人從畫(huà)面中經(jīng)過(guò)。這套系統(tǒng)實(shí)現(xiàn)的是比較基礎(chǔ)的方案基于位置IOU的幀間關(guān)聯(lián)。核心邏輯是這樣的對(duì)上一幀的每個(gè)檢測(cè)框在當(dāng)前幀的檢測(cè)框中找IOU最大的那個(gè)作為自己的“下一幀位置”如果最大IOU超過(guò)閾值比如0.3則認(rèn)為這是同一個(gè)目標(biāo)保留同一個(gè)TrackID如果沒(méi)有找到匹配則可能是個(gè)新人進(jìn)入畫(huà)面分配一個(gè)新的TrackID如果某個(gè)TrackID連續(xù)多幀沒(méi)有匹配成功就認(rèn)為這個(gè)人離開(kāi)了畫(huà)面從追蹤池里刪除。這種純IOU匹配的方法在固定攝像頭、人流量密度不是特別高、人群移動(dòng)速度平緩的場(chǎng)景下實(shí)測(cè)效果是夠用的。但如果畫(huà)面里的人來(lái)回走動(dòng)、互相遮擋頻繁純IOU會(huì)頻繁丟ID或者誤配。想要在實(shí)測(cè)中增加ID穩(wěn)定性可以考慮兩步優(yōu)化第一步在匹配時(shí)加上“位置預(yù)測(cè)”環(huán)節(jié)用卡爾曼濾波根據(jù)前幾幀的速度外推出當(dāng)前幀該位置在哪再去做IOU匹配第二步在匹配特征上不只看框的位置從檢測(cè)框內(nèi)提取一個(gè)簡(jiǎn)單的表觀特征顏色直方圖位置相近且顏色也接近的框才認(rèn)為是同一人。這兩步加到代碼里TrackID的穩(wěn)定性會(huì)有質(zhì)的提升。這里有一個(gè)“計(jì)數(shù)口徑”的細(xì)節(jié)需要特別注意。你要在代碼里明確區(qū)分“瞬時(shí)人數(shù)”和“累計(jì)流量”兩個(gè)統(tǒng)計(jì)量。瞬時(shí)人數(shù)看當(dāng)前幀跟蹤池里有幾個(gè)活著的TrackID累計(jì)流量看的是系統(tǒng)啟動(dòng)至今創(chuàng)建過(guò)的TrackID總數(shù)。如果代碼里把這兩個(gè)概念混了你會(huì)發(fā)現(xiàn)“累計(jì)數(shù)量”反復(fù)跳來(lái)跳去因?yàn)槟惆旬?dāng)前幀的瞬時(shí)數(shù)量累加進(jìn)去了。這套系統(tǒng)的說(shuō)明文檔里專(zhuān)門(mén)對(duì)這兩個(gè)量做了區(qū)分我建議你也把系統(tǒng)輸出的字段名設(shè)計(jì)成current_count和total_count一眼就能分清。3. 實(shí)操落地從源碼到跑通系統(tǒng)的關(guān)鍵環(huán)節(jié)3.1 環(huán)境搭建版本對(duì)應(yīng)關(guān)系是最大的坑拿到這套源碼第一步不是跑代碼而是把Python環(huán)境搭好。這里我總結(jié)一份經(jīng)過(guò)驗(yàn)證的環(huán)境對(duì)應(yīng)表你照著配基本都是穩(wěn)的組件推薦版本備注Python3.8 ~ 3.11建議3.9或3.10兼容性最好PyTorch1.13 ~ 2.2CPU版可以直接跑但速度慢推薦CUDA版CUDA11.8 或 12.1必須和PyTorch版本匹配cuDNN與CUDA配套8.x以上OpenCV4.5以上視頻讀寫(xiě)、圖像預(yù)處理Ultralytics對(duì)應(yīng)模型版本如果用YOLOv8直接用pip install ultralytics我拆這套系統(tǒng)時(shí)最大的坑就是CUDA版本和PyTorch版本的匹配問(wèn)題。很多同學(xué)在Windows上裝了最新CUDA 12.4然后pip install torch默認(rèn)裝了一個(gè)需要CUDA 12.1的包兩者不匹配torch.cuda.is_available()直接返回False程序只能跑CPU視頻流推理一幀要好幾百毫秒。查這個(gè)問(wèn)題最簡(jiǎn)單的辦法就是進(jìn)入Python環(huán)境跑一句print(torch.cuda.is_available())如果輸出False優(yōu)先去PyTorch官網(wǎng)找到對(duì)應(yīng)CUDA版本的安裝命令用pip重裝而不是自己去折騰系統(tǒng)CUDA。再說(shuō)說(shuō)Linux環(huán)境。Ubuntu 22.04、24.04這些系統(tǒng)上配置深度學(xué)習(xí)環(huán)境時(shí)最容易出的問(wèn)題就是顯卡驅(qū)動(dòng)裝了沒(méi)反應(yīng)。這個(gè)現(xiàn)象的常見(jiàn)原因是NVIDIA驅(qū)動(dòng)下載了但沒(méi)進(jìn)入命令行模式安裝或者nouveau開(kāi)源驅(qū)動(dòng)沒(méi)禁用干凈。你直接跑nvidia-smi看看有沒(méi)有輸出如果沒(méi)有任何信息大概率驅(qū)動(dòng)沒(méi)裝上。網(wǎng)上那些Ubuntu配置教程里第一步基本都會(huì)要求禁用nouveau這個(gè)步驟別跳過(guò)否則后面裝CUDA大概率裝出個(gè)半殘狀態(tài)。裝完驅(qū)動(dòng)重啟后如果nvidia-smi正常顯示顯卡信息和驅(qū)動(dòng)版本再繼續(xù)裝CUDA和PyTorch順序反了會(huì)非常痛苦。3.2 數(shù)據(jù)集準(zhǔn)備與標(biāo)注不想標(biāo)注就用這幾套公開(kāi)數(shù)據(jù)這套源碼里沒(méi)有內(nèi)置訓(xùn)練數(shù)據(jù)集因?yàn)樗J(rèn)了你的場(chǎng)景是“通用人流量檢測(cè)”這類(lèi)場(chǎng)景完全可以不自己標(biāo)注直接用公開(kāi)數(shù)據(jù)集。我按使用優(yōu)先級(jí)排個(gè)序COCO數(shù)據(jù)集的相關(guān)子集包含人這個(gè)類(lèi)別person的標(biāo)注數(shù)量充足直接取person類(lèi)別訓(xùn)練效果實(shí)測(cè)最好。CrowdHuman專(zhuān)門(mén)為密集人群檢測(cè)設(shè)計(jì)的數(shù)據(jù)集每個(gè)人頭都有標(biāo)注適合人群密度大的場(chǎng)景。但它的標(biāo)注風(fēng)格偏頭肩框和常規(guī)人體框不完全一致需要做一點(diǎn)格式轉(zhuǎn)換。MOT17 / MOT20這個(gè)主要是做多目標(biāo)跟蹤的數(shù)據(jù)集也可以用它的檢測(cè)標(biāo)簽來(lái)訓(xùn)練檢測(cè)器優(yōu)點(diǎn)是一段視頻內(nèi)同一個(gè)人有多個(gè)連續(xù)ID能順便為跟蹤環(huán)節(jié)提供測(cè)試數(shù)據(jù)。如果你確實(shí)需要自建數(shù)據(jù)集標(biāo)注工具用LabelImg或者Labelme都行用LabelImg標(biāo)注檢測(cè)框更順手。標(biāo)注時(shí)有一條經(jīng)驗(yàn)只標(biāo)完整可見(jiàn)的人被擋超過(guò)一半的人不要硬標(biāo)。部分遮擋在密集人群中是常態(tài)但標(biāo)注數(shù)據(jù)里如果混入了大量半截人模型學(xué)到的東西會(huì)很混亂。3.3 模型訓(xùn)練看懂訓(xùn)練配置比自己瞎調(diào)強(qiáng)這套系統(tǒng)的訓(xùn)練腳本里各種超參數(shù)默認(rèn)是寫(xiě)好的。調(diào)參的方向可以按照重要程度來(lái)排序最核心的是batch size和輸入分辨率。batch size受顯存限制一般8到16之間比較合理顯存不夠就調(diào)小但別小于4否則訓(xùn)練不穩(wěn)定。輸入分辨率從640提升到960小目標(biāo)檢測(cè)精度會(huì)明顯提升代價(jià)是訓(xùn)練和推理速度都會(huì)下降取舍要看你的場(chǎng)景。其次是epoch數(shù)。用預(yù)訓(xùn)練權(quán)重遷移學(xué)習(xí)我實(shí)測(cè)10到15個(gè)epoch基本就能收斂日志里看val/box_loss不再下降就可以了。不用硬湊50個(gè)epoch純屬浪費(fèi)時(shí)間。學(xué)習(xí)率建議從0.001開(kāi)始配合余弦退火優(yōu)化器選SGD或AdamW都行但用SGD做目標(biāo)檢測(cè)是經(jīng)典路線收斂比較穩(wěn)AdamW適合訓(xùn)練中有大量不規(guī)則樣本的情況。數(shù)據(jù)增強(qiáng)方面如果你的場(chǎng)景是室內(nèi)固定攝像頭建議關(guān)閉過(guò)強(qiáng)的旋轉(zhuǎn)增強(qiáng)因?yàn)楣潭〝z像頭畫(huà)面里人很少旋轉(zhuǎn)90度增強(qiáng)過(guò)于激進(jìn)反而會(huì)讓模型學(xué)到扭曲的人形。我在實(shí)測(cè)中遇到過(guò)類(lèi)似問(wèn)題開(kāi)了強(qiáng)Mosaic增強(qiáng)后模型在真實(shí)視頻上誤檢率變高把桌腿當(dāng)成人。后來(lái)把Mosaic關(guān)閉、只保留尺度抖動(dòng)和輕微平移誤檢少了大半。3.4 實(shí)時(shí)檢測(cè)與計(jì)數(shù)模塊核心代碼不長(zhǎng)但邏輯要清晰這套源碼的核心推理部分把預(yù)加載模型、逐幀推理、后處理、計(jì)數(shù)邏輯、畫(huà)框、統(tǒng)計(jì)展示串在一起。我把精煉后的核心骨架整理如下你可以對(duì)著源碼看逐行對(duì)照理解import cv2 import torch from ultralytics import YOLO # 加載訓(xùn)練好的模型權(quán)重文件放models目錄 model YOLO(models/yolov8n_custom.pt) # 當(dāng)前追蹤幀的檢測(cè)目標(biāo)池 tracked_objects {} next_id 0 total_count 0 cap cv2.VideoCapture(test_video.mp4) while cap.isOpened(): ret, frame cap.read() if not ret: break results model.predict(frame, conf0.45, iou0.45, classes[0], verboseFalse) boxes results[0].boxes.xyxy.cpu().numpy() scores results[0].boxes.conf.cpu().numpy() # 用IOU做幀間匹配給同一目標(biāo)分配同一個(gè)track_id current_ids [] for box, score in zip(boxes, scores): x1, y1, x2, y2 box.astype(int) best_iou 0.0 best_id None for tid, tbox in tracked_objects.items(): iou compute_iou([x1, y1, x2, y2], tbox) if iou best_iou: best_iou iou best_id tid if best_id is not None and best_iou 0.3: tracked_objects[best_id] [x1, y1, x2, y2] current_ids.append(best_id) else: tracked_objects[next_id] [x1, y1, x2, y2] current_ids.append(next_id) next_id 1 total_count 1 # 清理超過(guò)一定幀數(shù)沒(méi)有匹配的舊目標(biāo) # 這一步在源碼里會(huì)單獨(dú)維護(hù)hit_count和miss_count current_count len(set(current_ids)) # 繪制檢測(cè)框和統(tǒng)計(jì)信息 # 畫(huà)框、寫(xiě)current_count和total_count到畫(huà)面上 cap.release()代碼里每個(gè)關(guān)鍵部分的意圖我展開(kāi)說(shuō)一下。model.predict這一步conf和iou分別是置信度閾值和NMS閾值classes[0]表示只檢測(cè)類(lèi)別0在COCO里person就是0如果你自己做的人流量系統(tǒng)需要檢測(cè)多類(lèi)需要去掉這個(gè)限制。compute_iou是兩個(gè)框重疊度的計(jì)算函數(shù)它決定同一目標(biāo)能不能被關(guān)聯(lián)上閾值0.3到0.5都有人用密集人群建議0.3否則同一個(gè)人位置稍微挪一下匹配就斷了。total_count每新生有效track_id加1這就是“流量”的真實(shí)口徑。3.5 界面層Flask和PyQt怎么選這套源碼提供的是基于PyQt5的桌面端界面。做畢設(shè)有兩套主流方案都值得考慮PyQt5桌面端的優(yōu)勢(shì)是調(diào)度簡(jiǎn)單直接把攝像頭或視頻畫(huà)面顯示在窗口里按鈕點(diǎn)擊事件綁定到“開(kāi)始檢測(cè)”“停止檢測(cè)”這些回調(diào)函數(shù)不需要起服務(wù)、不需要管端口現(xiàn)場(chǎng)演示不容易出岔子。劣勢(shì)是UI樣式比較陳舊做不出特別炫酷的儀表盤(pán)效果。Flask Web端的優(yōu)勢(shì)是展示層級(jí)豐富可以把實(shí)時(shí)畫(huà)面推到網(wǎng)頁(yè)上同時(shí)用ECharts畫(huà)人流曲線、用熱力圖展示人多的區(qū)域答辯視覺(jué)效果拉滿。劣勢(shì)是多了一層WebSocket或AJAX通信代碼量上去了調(diào)試復(fù)雜度也高了。我給你的建議是圖省心用PyQt圖效果用Flask。兩者共用一套核心檢測(cè)計(jì)數(shù)邏輯只需要在展示層做適配。如果你想在答辯時(shí)讓老師眼前一亮Flask ECharts的實(shí)時(shí)人流曲線圖可比單純畫(huà)框直觀太多了。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄4.1 環(huán)境類(lèi)問(wèn)題速查表這里是我實(shí)測(cè)過(guò)程中整理的一份排錯(cuò)對(duì)照表按“癥狀 - 病因 - 處理”三列展開(kāi)癥狀病因處理torch.cuda.is_available()返回FalsePyTorch和CUDA版本不匹配去PyTorch官網(wǎng)找對(duì)應(yīng)命令重裝推理時(shí)提示顯存不足CUDA out of memorybatch size或分辨率過(guò)大調(diào)低輸入分辨率或改推理時(shí)用半精度f(wàn)loat16視頻打不開(kāi)報(bào)VideoCapture錯(cuò)誤OpenCV沒(méi)有對(duì)應(yīng)視頻編解碼器安裝opencv-python或ffmpeg完整版換視頻格式訓(xùn)練時(shí)loss為NaN學(xué)習(xí)率過(guò)大或數(shù)據(jù)里有異常值降低學(xué)習(xí)率檢查標(biāo)注框是否有坐標(biāo)越界模型預(yù)測(cè)一直輸出空結(jié)果置信度閾值設(shè)得過(guò)高把conf降到0.25甚至0.1看輸出Ubuntu裝好驅(qū)動(dòng)后nvidia-smi無(wú)輸出驅(qū)動(dòng)沒(méi)裝成功或nouveau未禁用重新安裝NVIDIA驅(qū)動(dòng)確認(rèn)禁用nouveau后重啟4.2 誤檢漏檢人群場(chǎng)景里最常見(jiàn)的兩類(lèi)問(wèn)題人流量檢測(cè)的誤檢在公開(kāi)場(chǎng)合下最典型的目標(biāo)是“廣告牌上的人像”模型會(huì)把海報(bào)里的明星當(dāng)成人。這不是模型壞了是訓(xùn)練數(shù)據(jù)里真實(shí)行人樣本和圖片里的行人樣本沒(méi)有被區(qū)分。一個(gè)可行的處理方法是針對(duì)你的部署場(chǎng)景收集一些背景幀加入訓(xùn)練集并標(biāo)注為空讓模型學(xué)習(xí)“這個(gè)位置的這個(gè)人不是目標(biāo)”。這個(gè)方法在固定攝像頭場(chǎng)景下非常有效。漏檢則主要發(fā)生在小目標(biāo)上。畫(huà)面遠(yuǎn)處的人可能只有十幾個(gè)像素高網(wǎng)絡(luò)下采樣之后特征已經(jīng)消失了。應(yīng)對(duì)方案有三個(gè)方向一是把輸入分辨率提高到960或1280代價(jià)是速度二是調(diào)整模型結(jié)構(gòu)中的錨框尺寸讓網(wǎng)絡(luò)輸出更多小尺度預(yù)測(cè)框三是在后處理上把置信度閾值降下來(lái)接受更多低置信度框再靠NMS去重。三者結(jié)合小目標(biāo)漏檢率通常能降一半以上。4.3 推理速度優(yōu)化從12FPS到30FPS做了什么性能問(wèn)題在畢設(shè)現(xiàn)場(chǎng)最容易翻車(chē)。原始代碼用CPU推理時(shí)YOLOv8n的640分辨率在普通筆記本上大約只有3-6FPS畫(huà)面像幻燈片。做三步優(yōu)化速度就能到可接受的范圍第一步換GPU推理。即使是一張GTX 1660或RTX 3050也能把幀率拉到20FPS以上。如果用的是NVIDIA顯卡記得在代碼里顯式指定device為cuda或0讓模型在GPU上跑。第二步轉(zhuǎn)ONNX后用TensorRT推理。這一步比較復(fù)雜但能把推理速度再提升2-3倍RTX 3060上用TensorRT跑YOLOv8s可以做到30FPS以上。第三步降分辨率。把輸入從640降到416檢測(cè)精度會(huì)有輕微下降但速度提升明顯。如果你做的是室內(nèi)近距離場(chǎng)景416足夠用。4.4 畢設(shè)答辯高頻提問(wèn)提前準(zhǔn)備這5個(gè)問(wèn)題這套系統(tǒng)做完之后答辯環(huán)節(jié)老師大概率會(huì)問(wèn)這幾個(gè)方向的問(wèn)題提前準(zhǔn)備好就能從容應(yīng)對(duì)第一個(gè)問(wèn)題“你用的模型和其他模型比為什么選它”這個(gè)問(wèn)題要用數(shù)據(jù)說(shuō)話列出YOLO的mAP和推理速度對(duì)比Faster R-CNN和SSD的差異結(jié)合作答。第二個(gè)問(wèn)題“人流統(tǒng)計(jì)的準(zhǔn)確率怎么評(píng)估”這是一個(gè)關(guān)鍵點(diǎn)。建議準(zhǔn)備一個(gè)測(cè)試集人工數(shù)出視頻里的真實(shí)人流量和系統(tǒng)輸出的total_count做對(duì)比算一個(gè)誤差率。有個(gè)實(shí)際數(shù)字比空口說(shuō)“準(zhǔn)確率挺高”有說(shuō)服力得多。第三個(gè)問(wèn)題“如果兩個(gè)人并排走系統(tǒng)會(huì)不會(huì)把他們數(shù)成一個(gè)人”這個(gè)問(wèn)題考察的是后處理邏輯需要解釋清楚NMS只合并同一個(gè)目標(biāo)的重復(fù)框而IOU跟蹤匹配則是按位置關(guān)聯(lián)不同幀的目標(biāo)并排走的兩個(gè)人位置相鄰但I(xiàn)OU通常不會(huì)超過(guò)匹配閾值所以不會(huì)被合并。第四個(gè)問(wèn)題“這個(gè)系統(tǒng)能安裝在移動(dòng)端或嵌入式設(shè)備上嗎”這個(gè)考察工程化能力可以回答“可以但需要做模型輕量化和TensorRT/ONNX部署優(yōu)化”然后把模型剪枝、量化這些名詞拋出來(lái)老師就知道你思考過(guò)部署問(wèn)題。第五個(gè)問(wèn)題“數(shù)據(jù)集的構(gòu)建過(guò)程是怎樣的”把你的數(shù)據(jù)集來(lái)源、標(biāo)注數(shù)量、類(lèi)別分布說(shuō)清楚再提一句“對(duì)固定場(chǎng)景做了背景幀補(bǔ)充”就能證明你不是直接拿預(yù)訓(xùn)練模型跑了個(gè)demo而是做了實(shí)際的工程訓(xùn)練。5. 如果項(xiàng)目要再往前走一步進(jìn)階方向這套畢設(shè)的框架完整度已經(jīng)足夠但如果你是抱著“不止為了交差”的心態(tài)來(lái)做還有幾個(gè)擴(kuò)展方向很值得做人流密度估算是比目標(biāo)檢測(cè)更適合密集場(chǎng)景的技術(shù)路線。檢測(cè)法在人群嚴(yán)重遮擋時(shí)天然吃虧而基于密度圖的計(jì)數(shù)回歸方法比如CSRNet直接把圖像回歸到人群密度圖再把密度圖積分得到人數(shù)它在密集場(chǎng)景下的魯棒性明顯更好。缺點(diǎn)是邊界框信息沒(méi)了你只能知道有多少人不知道每個(gè)人在哪。檢測(cè)和密度估計(jì)結(jié)合做一幀里先用密度圖判斷擁擠程度再用檢測(cè)框做個(gè)體識(shí)別是現(xiàn)在工業(yè)級(jí)產(chǎn)品的主流玩法。區(qū)域熱度分析也很有價(jià)值。把畫(huà)面網(wǎng)格化統(tǒng)計(jì)每個(gè)格子累積出現(xiàn)目標(biāo)的時(shí)長(zhǎng)生成一張熱力圖可以直觀看出哪片區(qū)域是高頻通行區(qū)。這個(gè)功能在商場(chǎng)、景區(qū)人流引導(dǎo)場(chǎng)景里是剛需而且在答辯PPT上展示效果遠(yuǎn)超一段普通視頻。部署層面如果想讓作品有“落地感”可以把推理端放到邊緣設(shè)備上比如Jetson Nano或樹(shù)莓派加神經(jīng)網(wǎng)絡(luò)加速棒。PyTorch模型導(dǎo)出成ONNX再轉(zhuǎn)TensorRT在Jetson上跑YOLOv8s能達(dá)到實(shí)時(shí)整套系統(tǒng)從“實(shí)驗(yàn)室代碼”變成“能裝在商場(chǎng)門(mén)口的玩意兒”這個(gè)提升對(duì)畢設(shè)評(píng)分的加分效果很明顯。我在實(shí)際拆解這套源碼的過(guò)程中最深的一個(gè)體會(huì)是人流量檢測(cè)系統(tǒng)的難點(diǎn)從來(lái)不在“跑通YOLO”這一步而在于“檢測(cè)完之后怎么辦”。跟蹤的穩(wěn)定性、計(jì)數(shù)的口徑、環(huán)境適配的魯棒性這些才是真正拉開(kāi)工程質(zhì)量差距的地方。希望這篇拆解能幫你把源碼里的每一行都吃透做出一個(gè)真正能說(shuō)清楚原理、禁得起追問(wèn)的畢設(shè)項(xiàng)目。本文還有配套的精品資源點(diǎn)擊獲取