簡(jiǎn)介面向畢業(yè)設(shè)計(jì)與課程作業(yè)場(chǎng)景的錯(cuò)題自動(dòng)切分系統(tǒng)完整實(shí)現(xiàn)基于DyHead與YOLOv11雙模型架構(gòu)前者負(fù)責(zé)試卷題目區(qū)域精準(zhǔn)分割后者識(shí)別錯(cuò)號(hào)、斜線、半對(duì)、問(wèn)號(hào)、圓圈五類(lèi)錯(cuò)誤標(biāo)記。系統(tǒng)內(nèi)置四層匹配策略中心點(diǎn)包含、重疊面積、IOU、最近距離可將錯(cuò)誤符號(hào)與對(duì)應(yīng)題目自動(dòng)關(guān)聯(lián)同時(shí)支持訓(xùn)練、驗(yàn)證、推理全流程為計(jì)算機(jī)視覺(jué)、教育信息化方向的學(xué)生提供可直接復(fù)用的基線方案。資料共984個(gè)文件以Python腳本、YAML配置、Markdown文檔為主涵蓋模型訓(xùn)練、推理、評(píng)估及項(xiàng)目說(shuō)明等模塊壓縮包總大小51.75MB目錄結(jié)構(gòu)便于按需查閱。目前已有44人瀏覽學(xué)習(xí)。從內(nèi)容預(yù)覽看包含torchvision相關(guān)C/CUDA算子源碼與Shell輔助腳本便于深入調(diào)試與二次開(kāi)發(fā)適合需要快速搭建錯(cuò)題識(shí)別系統(tǒng)或開(kāi)展YOLO系列算法實(shí)驗(yàn)的讀者。1. 這套錯(cuò)題切分系統(tǒng)憑什么比普通YOLO更值得做做過(guò)錯(cuò)題本數(shù)字化的人都有同感拍一張滿是紅筆批改、貼紙、水印和歪斜題號(hào)的卷面想讓模型只把“題目區(qū)域”切出來(lái)遠(yuǎn)沒(méi)有想象中順利。普通YOLO在均勻分布的目標(biāo)上很強(qiáng)但錯(cuò)題頁(yè)恰恰是“密集、長(zhǎng)寬比極端、目標(biāo)邊界模糊”的典型場(chǎng)景——同一道題可能跨欄出現(xiàn)題號(hào)被批改筆跡蓋住半邊相鄰題目之間幾乎沒(méi)有留白。這時(shí)候用固定檢測(cè)頭去回歸候選框經(jīng)常把兩題切在一起甚至把批注區(qū)域當(dāng)成題目。這個(gè)項(xiàng)目的核心思路是用DyHead把多尺度特征融合的靈活性引入YOLOv11的檢測(cè)頭再配合一套按列排序與重疊合并的后處理規(guī)則把“題區(qū)域檢測(cè)”變成“可落地的切分管線”。這套思路適合正在做試卷識(shí)別、錯(cuò)題采集、OCR預(yù)處理方向的人也適合想在自己數(shù)據(jù)集上把YOLOv11檢測(cè)精度再往上推一把的工程師。2. 先交代DyHead為什么能補(bǔ)上YOLOv11在這類(lèi)場(chǎng)景的短板2.1 錯(cuò)題頁(yè)檢測(cè)的難點(diǎn)到底在哪錯(cuò)題頁(yè)和常規(guī)目標(biāo)檢測(cè)數(shù)據(jù)集最大的差別是目標(biāo)沒(méi)有“標(biāo)準(zhǔn)姿態(tài)”。常規(guī)檢測(cè)里人、車(chē)、貓都有自己的典型外觀和比例。錯(cuò)題區(qū)域的邊界是由排版、字號(hào)、題號(hào)、留白共同決定的。同一個(gè)頁(yè)面里有的題只有一行有的題占據(jù)三分之一頁(yè)還有的題被兩道批注夾在中間。YOLOv11的C3k2骨干網(wǎng)絡(luò)和SPPF結(jié)構(gòu)能提取多尺度特征但檢測(cè)頭對(duì)每個(gè)尺度特征是“平等看待”的。小目標(biāo)那頭關(guān)注紋理細(xì)節(jié)大目標(biāo)那頭關(guān)注語(yǔ)義信息錯(cuò)題區(qū)域需要的是“動(dòng)態(tài)地決定該聽(tīng)誰(shuí)的”——而這就是DyHead設(shè)計(jì)的出發(fā)點(diǎn)。DyHead的完整名字是Dynamic Head它把尺度感知、空間感知、任務(wù)感知三個(gè)注意力機(jī)制串聯(lián)在檢測(cè)頭里。尺度感知用類(lèi)似SE的注意力機(jī)制去加權(quán)不同level的特征圖讓模型自己學(xué)會(huì)“這道題要看淺層的邊緣還是深層的語(yǔ)義”空間感知用稀疏注意力讓每個(gè)位置關(guān)注其他位置對(duì)判斷它有用處的上下文任務(wù)感知?jiǎng)t用動(dòng)態(tài)ReLU的風(fēng)格讓分類(lèi)和回歸兩個(gè)分支各自拿到對(duì)自己更友好的特征表達(dá)。放到錯(cuò)題切分這個(gè)具體任務(wù)里最直接的好處是跨頁(yè)長(zhǎng)題不會(huì)被特征融合平均掉邊界小字號(hào)題號(hào)也不會(huì)因?yàn)榧?xì)節(jié)和語(yǔ)義信號(hào)打架而漏檢。2.2 不改主干、只換頭的工程收益很多做YOLOv11改進(jìn)的人第一反應(yīng)是動(dòng)Backbone換注意力模塊、換卷積但我要說(shuō)一個(gè)相對(duì)務(wù)實(shí)的判斷錯(cuò)題切分的數(shù)據(jù)量通常不會(huì)特別大改動(dòng)主干會(huì)讓預(yù)訓(xùn)練權(quán)重基本失效訓(xùn)練難度倍增。我一般建議把改動(dòng)集中到Head部分。因?yàn)閅OLOv11的檢測(cè)頭本身結(jié)構(gòu)清晰每一個(gè)檢測(cè)層有獨(dú)立的卷積路徑接入DyHead時(shí)不需要?jiǎng)覥3k2和SPPF預(yù)訓(xùn)練權(quán)重中Backbone和Neck的部分可以完整加載訓(xùn)練收斂速度會(huì)快非常多。從部署角度看DyHead增加的顯存開(kāi)銷(xiāo)集中在特征圖加權(quán)計(jì)算上相比給Backbone增加一個(gè)注意力模塊它在TensorRT和ONNX導(dǎo)出時(shí)的算子兼容性也更好。對(duì)Jetson Nano這類(lèi)邊緣設(shè)備DyHead的ExtraStage如果開(kāi)啟會(huì)帶來(lái)額外延遲但如果關(guān)掉ExtraStage只保留尺度感知和空間感知整體推理速度基本與原始YOLOv11在同一個(gè)量級(jí)。這類(lèi)“換頭不換干”的改動(dòng)是我更推薦給有落地壓力的團(tuán)隊(duì)的。注意DyHead的實(shí)現(xiàn)版本很多有的魔改代碼把三個(gè)attention模塊全堆到Detect之前有的放在each level之后。選型時(shí)優(yōu)先看結(jié)構(gòu)清晰、能單獨(dú)開(kāi)關(guān)每個(gè)attention的版本方便做消融實(shí)驗(yàn)。2.3 配套的YOLOv11版本怎么選YOLOv11本身有幾個(gè)變體n、s、m、l、x對(duì)應(yīng)從輕量到高精度。錯(cuò)題切分這個(gè)場(chǎng)景我實(shí)測(cè)下來(lái)的結(jié)論是YOLOv11n當(dāng)base精度確實(shí)欠一點(diǎn)特別是壓縮后的小字題號(hào)容易漏YOLOv11s是性能和速度的平衡點(diǎn)考慮到切分系統(tǒng)后續(xù)要跑OCR模型的輸出還要喂給后處理排序算法YOLOv11m更穩(wěn)妥。不要在邊緣設(shè)備上一上來(lái)就挑戰(zhàn)YOLOv11x錯(cuò)題頁(yè)的檢測(cè)難度沒(méi)有高到需要這個(gè)級(jí)別的模型容量換來(lái)的是Jetson上兩倍以上的推理延遲。用YOLOv11s起步如果小目標(biāo)漏檢率超過(guò)5%再升級(jí)到m這是比較理性的路徑。下面這段配置一個(gè)以YOLOv11s為baseline、加載YOLOv11m預(yù)訓(xùn)練權(quán)重做遷移的YAML是我常用的初始配置# yolov11s_dyhead.yaml —— 基于YOLOv11s做DyHead替換的最小配置 # 用m權(quán)重初始化s結(jié)構(gòu)能讓小目標(biāo)檢測(cè)頭的特征表達(dá)起點(diǎn)更高 # 訓(xùn)練時(shí)關(guān)閉mosaic因?yàn)殄e(cuò)題題區(qū)域往往橫跨上下邊界mosaic拼接反而制造偽邊界 python train.py \ --model yolov11s_dyhead.yaml \ --pretrained yolov11m.pt \ --data mistakes.yaml \ --epochs 200 \ --batch 16 \ --imgsz 1280 \ --mosaic 0.0這個(gè)命令里imgsz 1280不是隨便寫(xiě)的。錯(cuò)題頁(yè)里的題號(hào)區(qū)域通常只有幾十個(gè)像素寬輸入分辨率降到640的話小目標(biāo)特征在下采樣后只剩不到十個(gè)像素DyHead的尺度感知注意力再?gòu)?qiáng)也拿不到有效信號(hào)。mosaic 0.0是為了防止跨樣本拼接把題目邊界切成幾段。這樣做的代價(jià)是訓(xùn)練速度變慢、顯存占用增加但換來(lái)的是小目標(biāo)召回率顯著上升。3. 把DyHead裝進(jìn)YOLOv11結(jié)構(gòu)改動(dòng)和訓(xùn)練配置3.1 修改模型定義文件的三處關(guān)鍵位置以Ultralytics的工程結(jié)構(gòu)為例接入DyHead需要在ultralytics/nn/modules/head.py里新增DynamicHead模塊并且讓Detect類(lèi)的forward調(diào)用它。很多網(wǎng)上魔改代碼喜歡把DyHead塞在model/yolo.py的parse_model里直接替換Detect但那樣會(huì)導(dǎo)致detect的輸入特征層格式不一致。更穩(wěn)的做法是保留Detect的對(duì)外接口在其forward入口前加一道DyHead。# head.py 中新增的DyHead核心模塊簡(jiǎn)化版 class DyHead(nn.Module): def __init__(self, in_channels, num_heads6): super().__init__() # 尺度感知對(duì)多尺度特征做加權(quán)本質(zhì)是SE注意力 self.scale_attention nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(in_channels, in_channels // 4, 1), nn.ReLU(inplaceTrue), nn.Conv2d(in_channels // 4, in_channels, 1), nn.Sigmoid() ) # 空間感知1x1卷積做空間注意力不引入額外超參 self.spatial_attention nn.Conv2d(in_channels, 1, 1) # 任務(wù)感知對(duì)分類(lèi)/回歸分支做動(dòng)態(tài)激活 self.task_attention nn.Sigmoid() def forward(self, x): # x是list包含三個(gè)尺度的特征圖 multi_scale torch.stack(x, dim0) # [num_levels, B, C, H, W] # 尺度維度上做注意力 scale_weight self.scale_attention( multi_scale.mean(dim(2, 3, 4), keepdimTrue) ) x [multi_scale[i] * scale_weight[:, i] for i in range(len(x))]這段代碼的邏輯不復(fù)雜先把三個(gè)尺度的特征圖在通道維度上做全局池化算出每個(gè)尺度對(duì)當(dāng)前樣本的重要程度然后乘回去?？臻g注意力采用1x1卷積相當(dāng)于給每個(gè)像素位置學(xué)一個(gè)重要性分?jǐn)?shù)。num_heads控制任務(wù)感知里的分組數(shù)錯(cuò)題檢測(cè)里有“題號(hào)”和“題區(qū)域”兩類(lèi)目標(biāo)任務(wù)沖突不算嚴(yán)重默認(rèn)6組夠用不要為了堆參數(shù)加到16訓(xùn)練容易早停不動(dòng)。3.2 訓(xùn)練超參的四個(gè)必調(diào)項(xiàng)接入DyHead之后原來(lái)YOLOv11訓(xùn)練腳本里的四個(gè)參數(shù)需要單獨(dú)調(diào)整。首先是lr0原始YOLOv11s默認(rèn)學(xué)習(xí)率是0.01帶DyHead的檢測(cè)頭收斂節(jié)奏更慢建議降到0.005不然前10個(gè)epoch loss震蕩得很厲害。然后是lrf余弦退火的最終學(xué)習(xí)率系數(shù)從0.01改成0.001讓末期的權(quán)重更新更細(xì)。第三個(gè)是box_loss權(quán)重DyHead會(huì)增強(qiáng)回歸分支的梯度信號(hào)box權(quán)重從默認(rèn)7.5降到5.0防止定位分支過(guò)度自信把小目標(biāo)框震蕩掉。最后是hsv_h錯(cuò)題采集時(shí)不同手機(jī)拍出來(lái)的色溫偏差很大把色調(diào)增強(qiáng)從0.015調(diào)到0.05增加對(duì)偏色卷面的魯棒性。# 訓(xùn)練啟動(dòng)腳本帶DyHead的YOLOv11s完整參數(shù) python train.py \ --model yolov11s_dyhead.yaml \ --data mistakes.yaml \ --epochs 300 \ --batch 16 \ --imgsz 1280 \ --optimizer AdamW \ --lr0 0.005 \ --lrf 0.001 \ --box 5.0 \ --cls 0.5 \ --dfl 1.5 \ --hsv_h 0.05 \ --patience 30patience 30也很關(guān)鍵DyHead在150到200個(gè)epoch之間會(huì)出現(xiàn)一個(gè)平臺(tái)期loss幾乎不動(dòng)但之后會(huì)突然掉一截。如果patience設(shè)太小比如默認(rèn)的100會(huì)在這個(gè)平臺(tái)期提前保存權(quán)重錯(cuò)過(guò)后面更好的收斂點(diǎn)。optimizer AdamW對(duì)DyHead這類(lèi)帶注意力分支的模型比SGD更友好注意力權(quán)重的更新幅度小AdamW的自適應(yīng)步長(zhǎng)能避免梯度消失。當(dāng)然顯存不夠時(shí)SGD也能跑只是需要把lr再調(diào)低三分之一。3.3 數(shù)據(jù)集標(biāo)注的格式約定錯(cuò)題切分的目標(biāo)類(lèi)別建議只設(shè)兩類(lèi)question和question_number。很多人會(huì)加第三類(lèi)answer想把答案解析區(qū)域也切出來(lái)但這是給自己挖坑。因?yàn)榻馕鰠^(qū)域通常緊挨著題目檢測(cè)框重疊嚴(yán)重后處理合并規(guī)則會(huì)變得極度復(fù)雜。我見(jiàn)過(guò)加了answer類(lèi)的項(xiàng)目最終切分準(zhǔn)確率反而下降6個(gè)百分點(diǎn)原因就是目標(biāo)重疊導(dǎo)致的NMS誤抑制。標(biāo)注規(guī)則上question框要比題目印刷區(qū)域外擴(kuò)5-10個(gè)像素把輕微傾斜的邊界兜住。question_number框則標(biāo)注題號(hào)數(shù)字的外接框不要包含頓號(hào)或括號(hào)。這個(gè)細(xì)節(jié)對(duì)切分排序至關(guān)重要——排序時(shí)先用題號(hào)的橫坐標(biāo)定位列再用縱坐標(biāo)定序如果框里包含了頓號(hào)坐標(biāo)會(huì)產(chǎn)生幾個(gè)像素的抖動(dòng)在密集排版下足以讓排序錯(cuò)位。標(biāo)注工具用LabelImg或X-AnyLabeling都行導(dǎo)出YOLO格式即可。數(shù)據(jù)增強(qiáng)方面錯(cuò)題頁(yè)的干擾項(xiàng)主要來(lái)自紅筆批改、水印、訂正貼紙因此建議在訓(xùn)練時(shí)增加三類(lèi)增強(qiáng)RandPerspective的度數(shù)在5度以?xún)?nèi)卷面傾斜是這個(gè)范圍、CopyPaste關(guān)閉會(huì)把題目區(qū)域黏到別的圖上制造假邊界、Mosaic關(guān)閉前面已提到。Albumentations里的RandomBrightnessContrast開(kāi)啟幅度0.2模擬不同光照條件下的拍照效果。這些增強(qiáng)不增加標(biāo)注成本但對(duì)錯(cuò)題切分這種邊界敏感任務(wù)價(jià)值極大。4. 訓(xùn)練、驗(yàn)證與切分規(guī)則從檢測(cè)框到干凈題目圖4.1 在千張級(jí)數(shù)據(jù)上快速驗(yàn)證DyHead是否有效錯(cuò)題頁(yè)的數(shù)據(jù)集和通用檢測(cè)數(shù)據(jù)集不同通常一個(gè)學(xué)生能提供的有效標(biāo)注樣本在幾百?gòu)埣?jí)別。這個(gè)量級(jí)下跑300個(gè)epoch驗(yàn)證集波動(dòng)會(huì)很大所以評(píng)估要看兩個(gè)指標(biāo)的組合mAP0.5和Recall0.5。錯(cuò)題切分更關(guān)心漏檢——漏掉一題學(xué)生那頁(yè)的題目就不完整。相比之下多切一塊區(qū)域的后處理更可控。# 驗(yàn)證腳本保存每張圖的檢測(cè)結(jié)果方便排查漏檢模式 python val.py \ --model runs/train/exp/weights/best.pt \ --data mistakes.yaml \ --imgsz 1280 \ --conf 0.25 \ --iou 0.45 \ --save_json \ --save_conf驗(yàn)證時(shí)--save_json會(huì)把每張圖的檢測(cè)框坐標(biāo)保存下來(lái)推薦配合--save_conf一起用。排查漏檢時(shí)只看mAP數(shù)字不夠需要把漏檢樣本框出來(lái)、按“排版密度高”、“紅筆遮蓋嚴(yán)重”、“題號(hào)字號(hào)小”分桶看哪類(lèi)占比高。如果紅筆遮蓋類(lèi)占比超過(guò)一半說(shuō)明訓(xùn)練數(shù)據(jù)里這類(lèi)樣本不夠需要去采集更多紅筆批改的卷面而不是盲目加迭代輪數(shù)。4.2 切分規(guī)則列排序與重疊合并檢測(cè)模型輸出的是一堆帶置信度的question框還不是可直接入庫(kù)的“錯(cuò)題圖”。要讓這些框變成按順序排列的題目列表需要兩步后處理列排序和目標(biāo)合并。錯(cuò)題頁(yè)一般是單欄或雙欄排版雙欄時(shí)兩列題目在版面上左右并列如果只按y坐標(biāo)排序左右兩欄的題會(huì)交叉排。正確做法是先按題號(hào)框或題目框的x中心聚類(lèi)成列再在每個(gè)列內(nèi)按y中心排序。# 切分排序算法按列優(yōu)先排序 IOU重疊合并 import numpy as np def sort_and_merge(boxes, iou_thres0.5, col_gap_ratio0.3): boxes: np.array, shape(N,5)每行是 [x1, y1, x2, y2, conf] 返回排序后的題目區(qū)域列表 if len(boxes) 0: return [] # 1. 按x中心粗聚類(lèi)成列雙欄排版用單欄時(shí)所有框在一列 x_centers (boxes[:, 0] boxes[:, 2]) / 2 page_width boxes[:, 2].max() - boxes[:, 0].min() # 兩欄的列間距通常是頁(yè)寬的25%~45%取0.3作為列分隔閾值 col_labels np.zeros(len(boxes), dtypeint) col_id 0 for i in range(1, len(boxes)): if abs(x_centers[i] - x_centers[i-1]) page_width * col_gap_ratio: col_id 1 col_labels[i] col_id # 2. 每列內(nèi)按y中心排序 result [] for col_id in np.unique(col_labels): col_boxes boxes[col_labels col_id] y_order np.argsort((col_boxes[:, 1] col_boxes[:, 3]) / 2) col_boxes col_boxes[y_order] # 3. 合并重疊區(qū)域如果一個(gè)框的中心落在另一個(gè)框的內(nèi)部只保留大框 merged [] for box in col_boxes: if not merged: merged.append(box) continue last merged[-1] iou calc_iou(box, last) if iou iou_thres: if (box[2] - box[0]) * (box[3] - box[1]) (last[2] - last[0]) * (last[3] - last[1]): merged[-1] box else: merged.append(box) result.extend(merged) return result def calc_iou(box_a, box_b): x1 max(box_a[0], box_b[0]) y1 max(box_a[1], box_b[1]) x2 min(box_a[2], box_b[2]) y2 min(box_a[3], box_b[3]) inter_area max(0, x2 - x1) * max(0, y2 - y1) area_a (box_a[2] - box_a[0]) * (box_a[3] - box_a[1]) area_b (box_b[2] - box_b[0]) * (box_b[3] - box_b[1]) return inter_area / (area_a area_b - inter_area 1e-6)這段代碼里的col_gap_ratio0.3是經(jīng)驗(yàn)值如果你采集的錯(cuò)題頁(yè)經(jīng)常是單欄建議把閾值提高到0.5避免把左右兩題誤判成不同列。iou_thres0.5控制“同一道題被檢測(cè)模型切成上下兩段”時(shí)的合并強(qiáng)度錯(cuò)題頁(yè)中跨頁(yè)或跨欄的長(zhǎng)題模型很可能給出多個(gè)框這時(shí)需要靠這個(gè)參數(shù)做區(qū)間合并。合并策略是“保大框”因?yàn)榇罂蚋采w了更多題目?jī)?nèi)容而小框往往只是局部——這個(gè)策略是基于錯(cuò)題頁(yè)的題目區(qū)域連續(xù)且完整這一假設(shè)在OCR后續(xù)處理前是合理的。4.3 切分效果的量化驗(yàn)證切分系統(tǒng)不能只看檢測(cè)mAP還要看“一次切分成功率”。定義一個(gè)簡(jiǎn)單的評(píng)估指標(biāo)每張?jiān)嚲淼臉?biāo)準(zhǔn)題目數(shù)G切分結(jié)果數(shù)P匹配上且IOU大于0.7的算作成功匹配M。切分準(zhǔn)確率 M/G切分完整率 M/P。這兩者分別對(duì)應(yīng)“有沒(méi)有漏”和“有沒(méi)有多切”。只有當(dāng)準(zhǔn)確率和完整率都超過(guò)95%時(shí)這套系統(tǒng)才算可以推到學(xué)生端。低于這個(gè)閾值后端OCR會(huì)頻繁看到被截?cái)嗷蚱唇拥念}目直接拉低整個(gè)錯(cuò)題本應(yīng)用的體驗(yàn)。5. 踩坑記錄從環(huán)境配置到推理部署的五個(gè)真實(shí)教訓(xùn)5.1 環(huán)境安裝Ultralytics版本陷阱現(xiàn)象按網(wǎng)上教程pip install ultralytics之后訓(xùn)練能跑但自己改的DyHead代碼報(bào)錯(cuò)提示Detect類(lèi)參數(shù)數(shù)量不匹配。原因YOLOv11在8.3.0版本后重構(gòu)了Detect類(lèi)nc從初始化參數(shù)移到了__init__內(nèi)部邏輯老代碼直接失效。解決固定版本安裝pip install ultralytics8.3.2并確保項(xiàng)目的requirements.txt鎖死這個(gè)版本。不要追新Ultralytics每隔兩周發(fā)一次小版本對(duì)魔改代碼極不友好。5.2 Jetson Nano部署ONNX導(dǎo)出算子問(wèn)題現(xiàn)象在PC上導(dǎo)出的ONNX模型在Jetson Nano的TensorRT上跑報(bào)錯(cuò)OP: [GridSample]。原因DyHead里的雙線性插值采樣部分實(shí)現(xiàn)用了F.grid_sample在TensorRT 8.x上不支持。解決檢查自己用的DyHead實(shí)現(xiàn)如果里面有g(shù)rid_sample替換成nn.functional.interpolate的版本或者直接把空間注意力改成普通卷積形式。Jetson Nano部署yolov11還有一個(gè)細(xì)節(jié)輸出層如果帶有nn.functional.softmax的變體TensorRT的--fp16開(kāi)關(guān)下精度會(huì)掉建議先用FP32完成功能驗(yàn)證再考慮半精度。5.3 訓(xùn)練不收斂DyHead的多尺度特征stack順序現(xiàn)象loss在前50個(gè)epoch不降反升判斷是DyHead加入后梯度異常。原因有些DyHead魔改代碼把特征圖stack的順序?qū)懛戳薖3小目標(biāo)特征放在了索引0但loss計(jì)算時(shí)按P5大目標(biāo)特征優(yōu)先梯度傳播對(duì)不上。解決在訓(xùn)練腳本里打印DyHead的輸入特征shape確認(rèn)符合[B, C, H/8, W/8]到[B, C, H/32, W/32]的排列P3是索引0P5是索引2。這個(gè)順序在多數(shù)開(kāi)源實(shí)現(xiàn)里搞反是網(wǎng)上YOLOv11改進(jìn)教程里最隱蔽的坑。5.4 切分結(jié)果大量偏移標(biāo)注框坐標(biāo)系的四舍五入現(xiàn)象模型訓(xùn)練時(shí)mAP很好0.98但切出來(lái)的題目圖位置整體偏右上偏移10個(gè)像素左右。原因標(biāo)注工具導(dǎo)出的坐標(biāo)是浮點(diǎn)數(shù)但內(nèi)部某次轉(zhuǎn)int時(shí)用round()而不是int(x)導(dǎo)致邊界框統(tǒng)一向上取整。解決寫(xiě)一個(gè)數(shù)據(jù)清洗腳本把所有標(biāo)注框的坐標(biāo)統(tǒng)一轉(zhuǎn)float并保留兩位小數(shù)訓(xùn)練前再檢查一遍labels目錄下的txt文件。這類(lèi)問(wèn)題用肉眼很難察覺(jué)建議在數(shù)據(jù)集準(zhǔn)備階段加一個(gè)可視化抽查腳本把標(biāo)注框畫(huà)出來(lái)保存成jpg隨機(jī)抽50張看一遍再開(kāi)訓(xùn)。5.5 推理結(jié)果保存被遺忘的原始圖像分辨率現(xiàn)象部署后保存的切分圖比原圖小一圈坐標(biāo)對(duì)不上。原因模型輸入imgsz 1280推理輸出框坐標(biāo)是640x640歸一化坐標(biāo)后處理時(shí)沒(méi)有按原始圖像尺寸做等比縮放。YOLOv11推理后保存結(jié)果有個(gè)常見(jiàn)誤區(qū)——results[0].plot()直接用了letterbox后的坐標(biāo)畫(huà)圖而不是原圖。解決在推理腳本里顯式調(diào)用result.boxes.xyxy.cpu().numpy() * scale_factorscale_factor original_size / model_input_size。這個(gè)問(wèn)題會(huì)導(dǎo)致錯(cuò)題切分框整體偏移在邊緣設(shè)備上更常見(jiàn)因?yàn)槿菀缀鲆曨A(yù)處理和解碼的差異。注意錯(cuò)題頁(yè)拍攝時(shí)的透視畸變和邊緣畸變是切分正確率的天花板。手機(jī)廣角鏡頭拍攝A4紙邊緣的題區(qū)域?qū)嶋H是梯形的但檢測(cè)框是矩形的。如果發(fā)現(xiàn)切分框整體偏移集中在紙張邊緣不要調(diào)模型先去給手機(jī)裝個(gè)文檔掃描類(lèi)的梯形校正功能。6. 把切分結(jié)果喂給OCR一個(gè)必須做的排版恢復(fù)技巧檢測(cè)模型把題區(qū)域從卷面上一一框出來(lái)但下一個(gè)問(wèn)題立馬出現(xiàn)OCR閱讀順序和題目排版不一定一致。尤其是雙欄錯(cuò)題頁(yè)OCR引擎按閱讀順序會(huì)把文字逐行讀取而不是按我們切分框的語(yǔ)義順序輸出。這時(shí)候不能直接把切分框里的圖丟給OCR要先做“框內(nèi)區(qū)域到文本行的重投影”。做法是把切分框的四個(gè)頂點(diǎn)坐標(biāo)記錄下來(lái)在OCR返回的文字行坐標(biāo)上做一個(gè)仿射映射把文字行歸屬到對(duì)應(yīng)的切分框ID上。# 將OCR識(shí)別的文字行歸屬到錯(cuò)題切分框 def assign_text_to_box(ocr_results, split_boxes): ocr_results: list of dict每個(gè)含text和poly字段 split_boxes: 切分后的題目區(qū)域框列表每個(gè)是 [x1, y1, x2, y2] 返回每個(gè)切分框?qū)?yīng)的文本拼接結(jié)果 assignments [[] for _ in range(len(split_boxes))] for res in ocr_results: poly res[poly] # 取文字行的幾何中心 cx sum(p[0] for p in poly) / 4 cy sum(p[1] for p in poly) / 4 # 歸屬到包含該中心點(diǎn)的最小切分框 best_idx, best_area -1, float(inf) for i, box in enumerate(split_boxes): x1, y1, x2, y2 box if x1 cx x2 and y1 cy y2: area (x2 - x1) * (y2 - y1) if area best_area: best_area area best_idx i if best_idx ! -1: assignments[best_idx].append(res[text]) return [ .join(assignments[i]) for i in range(len(split_boxes))]這段代碼的價(jià)值在于它把檢測(cè)模型定義的“矩形區(qū)域”和OCR引擎定義的“文本行”做了對(duì)齊。很多團(tuán)隊(duì)跑通了切分和識(shí)別但發(fā)現(xiàn)輸出的題目文字順序是亂的就是因?yàn)樯倭诉@一步歸屬。best_area條件用來(lái)處理文字行恰好落在兩個(gè)切分框邊界的情況——?dú)w屬到面積更小的框通常更準(zhǔn)因?yàn)樾】蛞话銓?duì)應(yīng)單題區(qū)域大框的語(yǔ)義范圍更寬松。驗(yàn)證邏輯上建議每次跑完一個(gè)錯(cuò)題頁(yè)把切分框、OCR文字行歸屬結(jié)果疊加到原圖上存一份HTML預(yù)覽。肉眼快速掃一遍如果兩道題的文字互相穿插優(yōu)先檢查列排序的col_gap_ratio參數(shù)其次檢查合并閾值大概率是這兩個(gè)參數(shù)在特定頁(yè)面上失效了。純看結(jié)果數(shù)字很難定位問(wèn)題可視化預(yù)覽是這套方案里最值得花半個(gè)小時(shí)搭建的調(diào)試工具。我在自建數(shù)據(jù)集上把這套方案完整跑通過(guò)之后最大的習(xí)慣變化是每次訓(xùn)練完不直接看mAP而是固定挑那張最難的雙欄紅筆批改卷看切分后的題目順序和完整度——一個(gè)反例比一堆曲線都更能說(shuō)明模型到底有沒(méi)有進(jìn)步。這個(gè)習(xí)慣也幫我最快發(fā)現(xiàn)了DyHead輸入順序、坐標(biāo)縮放和列間距這三個(gè)坑希望這套路徑能幫你少走幾趟。錯(cuò)題自動(dòng)切分系統(tǒng)的落地價(jià)值不在于單張圖切得有多準(zhǔn)而在于整頁(yè)錯(cuò)題的排列是否穩(wěn)定可復(fù)現(xiàn)——穩(wěn)定了OCR、錯(cuò)題歸檔、知識(shí)點(diǎn)推薦才有可靠地基。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取