「拓展無(wú)人機(jī)自主飛行的能力邊界」目錄01 DPNet預(yù)判看不見(jiàn)的死胡同實(shí)現(xiàn)主動(dòng)規(guī)避而非事后補(bǔ)救行業(yè)固有路線的短板02 AgilePE自博弈強(qiáng)化學(xué)習(xí)端到端無(wú)人機(jī)追逃對(duì)抗03 兩套系統(tǒng)定位、邊界與行業(yè)位置04 寫(xiě)在最后浙江大學(xué)高飛團(tuán)隊(duì)近期發(fā)布兩篇工作DPNet面向靜態(tài)復(fù)雜環(huán)境通過(guò)輕量網(wǎng)絡(luò)預(yù)判視場(chǎng)外的死胡同結(jié)構(gòu)生成虛擬障礙屏障讓規(guī)劃器主動(dòng)繞開(kāi)陷阱機(jī)載50Hz高頻重規(guī)劃AgilePE面向動(dòng)態(tài)對(duì)抗場(chǎng)景基于優(yōu)先虛擬自博弈PFSP完成端到端追逃強(qiáng)化學(xué)習(xí)直接輸出底層總推力機(jī)體角速度指令仿真訓(xùn)練完零樣本遷移真實(shí)無(wú)人機(jī)涌現(xiàn)出側(cè)翼包抄、側(cè)向震蕩躲閃等博弈戰(zhàn)術(shù)。兩篇工作分別覆蓋「環(huán)境驅(qū)動(dòng)的安全導(dǎo)航」和「對(duì)手驅(qū)動(dòng)的對(duì)抗博弈」均不依賴(lài)實(shí)機(jī)標(biāo)注微調(diào)把感知預(yù)測(cè)、規(guī)劃、仿真?實(shí)機(jī)遷移完整打通代表小型自主無(wú)人機(jī)兩套不同的技術(shù)演進(jìn)路線。01 DPNet預(yù)判看不見(jiàn)的死胡同實(shí)現(xiàn)主動(dòng)規(guī)避而非事后補(bǔ)救行業(yè)固有路線的短板傳統(tǒng)應(yīng)對(duì)死胡同的方案分為兩類(lèi)但都屬于事后反應(yīng)式處理一類(lèi)是被困之后執(zhí)行后退、旋轉(zhuǎn)等恢復(fù)機(jī)動(dòng)飛行軌跡被打斷任務(wù)連續(xù)性被破壞另一類(lèi)維護(hù)高精度全局拓?fù)涞貓D尋找備選路徑但建圖計(jì)算開(kāi)銷(xiāo)巨大還會(huì)累積位姿漂移不適合算力有限的微型無(wú)人機(jī)。圖| DPNet解決的問(wèn)題有限局部感知下的死胡同失效問(wèn)題也有部分工作學(xué)習(xí)預(yù)測(cè)未知區(qū)域占據(jù)、前沿邊界但大多目標(biāo)是稠密重建探索計(jì)算開(kāi)銷(xiāo)高不會(huì)專(zhuān)門(mén)針對(duì)死胡同這種凹形危險(xiǎn)結(jié)構(gòu)做定向處理。死胡同不需要完整重建整個(gè)未知空間只需要拿到三件極簡(jiǎn)信息死胡同是否存在、相對(duì)距離、方位角就足夠約束規(guī)劃器。DPNet 沿著任務(wù)導(dǎo)向最小預(yù)測(cè)這個(gè)思路不做全場(chǎng)景重建只聚焦死胡同 hazard 預(yù)測(cè)。論文在貢獻(xiàn)聲明中明確寫(xiě)道據(jù)我們所知這是首個(gè)針對(duì)視覺(jué)無(wú)人機(jī)導(dǎo)航顯式處理主動(dòng)死胡同規(guī)避的工作。整套系統(tǒng)由三部分構(gòu)成雙分支死胡同預(yù)測(cè)網(wǎng)絡(luò)、虛擬障礙屏障生成、死胡同感知的軌跡庫(kù)碰撞檢測(cè)。1雙分支輕量預(yù)測(cè)網(wǎng)絡(luò)RGB分支、深度分支兩套編碼器分別提取語(yǔ)義特征和幾何結(jié)構(gòu)特征特征拼接融合之后分兩個(gè)輸出頭掩碼頭輸出二值掩碼標(biāo)記死胡同像素區(qū)域深度頭回歸對(duì)應(yīng)區(qū)域距離逐像素相乘之后只保留死胡同區(qū)域的有效深度。網(wǎng)絡(luò)訓(xùn)練完全依靠仿真自動(dòng)標(biāo)注數(shù)據(jù)集不需要人工打標(biāo)簽。算法依據(jù)內(nèi)角點(diǎn)、外角點(diǎn)的可見(jiàn)幾何規(guī)則自動(dòng)生成真值掩碼區(qū)分“可推斷”和“歧義不可推斷”樣本規(guī)避標(biāo)簽噪聲。RGB編碼器復(fù)用DINOv3預(yù)訓(xùn)練權(quán)重并凍結(jié)權(quán)重只微調(diào)深度分支這一非對(duì)稱(chēng)微調(diào)策略是實(shí)現(xiàn)sim?zero?shot的關(guān)鍵防止網(wǎng)絡(luò)過(guò)擬合仿真紋理。圖| DPNet系統(tǒng)整體框架總覽2虛擬障礙屏障生成網(wǎng)絡(luò)輸出的死胡同像素投影到三維空間取最小預(yù)測(cè)深度構(gòu)建平行于圖像平面的平面虛擬障礙再通過(guò)MLS點(diǎn)云上采樣生成致密點(diǎn)云和原始深度點(diǎn)云融合成統(tǒng)一的局部障礙物點(diǎn)云。這個(gè)虛擬屏障并不是真實(shí)物理物體是給規(guī)劃器的“警示墻”阻止軌跡駛?cè)胨篮肟凇?死胡同感知的軌跡篩選與重進(jìn)入抑制DPNet基于預(yù)計(jì)算運(yùn)動(dòng)基元軌跡庫(kù)做碰撞檢測(cè)融合虛擬障礙后的點(diǎn)云做碰撞校驗(yàn)把所有會(huì)撞上虛擬屏障的軌跡直接剪枝。這里存在一個(gè)特殊工程問(wèn)題無(wú)人機(jī)飛過(guò)去之后死胡同離開(kāi)視場(chǎng)虛擬屏障消失貪心規(guī)劃器會(huì)又選一條折返沖回死胡同的軌跡。論文新增平滑一致性代價(jià)項(xiàng)懲罰航向角突變抑制“二次闖入”陷阱。圖| 普通碰撞檢測(cè)與死胡同感知碰撞檢測(cè)對(duì)比仿真設(shè)置簡(jiǎn)單分為簡(jiǎn)單、困難兩個(gè)等級(jí)對(duì)比EGO?Planner、Primitive?Planner、Faster三套主流本地規(guī)劃器。簡(jiǎn)單場(chǎng)景DPNet成功率100%困難場(chǎng)景依然保持99%成功率對(duì)比基線Faster平均飛行時(shí)間縮短25%左右?；€方案要么撞毀要么觸發(fā)后退恢復(fù)機(jī)動(dòng)飛行距離和耗時(shí)顯著增加。機(jī)載Jetson Orin NX完整流水線穩(wěn)定50Hz運(yùn)行網(wǎng)絡(luò)推理僅9.2ms點(diǎn)云后處理2.4ms軌跡規(guī)劃5.1ms完全滿(mǎn)足微型無(wú)人機(jī)高速導(dǎo)航實(shí)時(shí)約束。圖| 有限局部感知條件下的算法基準(zhǔn)對(duì)比真實(shí)室內(nèi)實(shí)驗(yàn)表明DPNet可以區(qū)分真正死胡同和中間存在可通行缺口的“形似死胡同”不會(huì)錯(cuò)誤設(shè)置虛擬屏障允許無(wú)人機(jī)正常穿過(guò)開(kāi)口通道。圖| 真實(shí)世界導(dǎo)航實(shí)驗(yàn)02 AgilePE自博弈強(qiáng)化學(xué)習(xí)端到端無(wú)人機(jī)追逃對(duì)抗如果說(shuō)DPNet要對(duì)抗的是靜態(tài)環(huán)境陷阱AgilePE要面對(duì)的是會(huì)主動(dòng)博弈的智能對(duì)手。追逃對(duì)抗是零和博弈追蹤方需要把目標(biāo)保持在機(jī)載視錐內(nèi)并且縮短距離逃逸方要飛出對(duì)方視場(chǎng)拉大戰(zhàn)術(shù)距離。傳統(tǒng)方案的痛點(diǎn)微分博弈HJI方程高自由度四旋翼動(dòng)力學(xué)下面臨維度爆炸很難用于真實(shí)敏捷機(jī)動(dòng)MPC模型預(yù)測(cè)控制極度依賴(lài)對(duì)手運(yùn)動(dòng)的精準(zhǔn)預(yù)測(cè)對(duì)手戰(zhàn)術(shù)變化則性能暴跌現(xiàn)有強(qiáng)化學(xué)習(xí)追逃大多輸出航路點(diǎn)、速度這類(lèi)中間指令受中間規(guī)劃層限制無(wú)法釋放無(wú)人機(jī)全部機(jī)動(dòng)能力樸素自博弈訓(xùn)練存在嚴(yán)重策略震蕩、災(zāi)難性遺忘對(duì)抗策略不斷循環(huán)無(wú)法沉淀穩(wěn)健戰(zhàn)術(shù)仿真到真機(jī)鴻溝推力延遲、機(jī)體速率滯后、傳感器噪聲仿真訓(xùn)練策略經(jīng)常真機(jī)直接失控。AgilePE完整框架分為三塊端到端敏捷控制子系統(tǒng)、雙邊對(duì)抗訓(xùn)練子系統(tǒng)、硬件對(duì)齊仿真部署子系統(tǒng)。圖| AgilePE整體框架包含三大子系統(tǒng)1端到端CTBR底層指令輸出策略網(wǎng)絡(luò)直接把觀測(cè)映射到底層控制指令總推力三軸機(jī)體角速度CTBR拋棄航路點(diǎn)、中間軌跡規(guī)劃模塊神經(jīng)網(wǎng)絡(luò)可以直接調(diào)用飛行器完整機(jī)動(dòng)包絡(luò)。獎(jiǎng)勵(lì)函數(shù)綜合追蹤博弈目標(biāo)、超速懲罰、邊界懲罰、防撞懲罰、指令平滑項(xiàng)。平滑獎(jiǎng)勵(lì)是真機(jī)零樣本部署的關(guān)鍵抑制高頻抖動(dòng)指令。圖| 1v1無(wú)人機(jī)追逃博弈任務(wù)定義2層級(jí)化對(duì)抗自博弈訓(xùn)練Naive?SP → FSP → PFSP論文對(duì)比了三級(jí)自博弈訓(xùn)練范式樸素自博弈Naive?SP最新追蹤者和最新逃逸者互相對(duì)抗。缺點(diǎn)非平穩(wěn)環(huán)境訓(xùn)練后期容易出現(xiàn)策略單邊崩塌逃逸方學(xué)不出有效防御戰(zhàn)術(shù)。FSP虛擬自博弈維護(hù)歷史對(duì)手策略池訓(xùn)練的時(shí)候均勻采樣歷史對(duì)手緩解震蕩但采樣沒(méi)有區(qū)分對(duì)手難度。PFSP優(yōu)先虛擬自博弈本文核心創(chuàng)新采樣概率和歷史對(duì)抗失敗率掛鉤訓(xùn)練優(yōu)先選擇最難對(duì)付的歷史對(duì)手相當(dāng)于自動(dòng)課程學(xué)習(xí)加速高級(jí)戰(zhàn)術(shù)涌現(xiàn)同時(shí)保留歷史策略池防止災(zāi)難性遺忘。圖| FSP與PFSP的交叉評(píng)估收益矩陣交叉評(píng)估收益PFSP訓(xùn)練出來(lái)的追蹤者對(duì)全部歷史版本逃逸者保持82%以上視場(chǎng)內(nèi)捕獲率會(huì)自發(fā)涌現(xiàn)dash?and?flank側(cè)翼包抄、距離管控、側(cè)向震蕩躲閃這類(lèi)人類(lèi)可理解的博弈戰(zhàn)術(shù)。權(quán)衡優(yōu)先采樣困難對(duì)手會(huì)帶來(lái)戰(zhàn)術(shù)特化面對(duì)簡(jiǎn)單腳本對(duì)手性能會(huì)輕微下降但對(duì)演化對(duì)抗對(duì)手魯棒性大幅提升。3硬件對(duì)齊仿真?實(shí)機(jī)遷移管線不使用普通物理引擎接觸求解器采用RK4四階積分直接積分機(jī)體位姿顯式建模推力45ms延遲、機(jī)體角速度30ms延遲疊加推力、機(jī)體速率乘性噪聲大量域隨機(jī)化質(zhì)量、氣動(dòng)、延遲參數(shù)讓策略在訓(xùn)練階段就適應(yīng)硬件帶來(lái)的非理想特性做到零樣本遷移真機(jī)不需要微調(diào)。真實(shí)飛行動(dòng)捕環(huán)境下部署在Jetson Orin NX策略推理運(yùn)行60Hz復(fù)現(xiàn)仿真里的包抄、側(cè)向躲閃戰(zhàn)術(shù)。圖| 真實(shí)追逃實(shí)驗(yàn)長(zhǎng)曝光光軌圖紅藍(lán)分別代表追蹤機(jī)、逃逸機(jī)軌跡03 兩套系統(tǒng)定位、邊界與行業(yè)位置在整個(gè)微型無(wú)人機(jī)自主智能的技術(shù)譜系上DPNet屬于感知?預(yù)測(cè)?規(guī)劃路線的延伸不去做完整稠密重建堅(jiān)持“任務(wù)導(dǎo)向最小預(yù)測(cè)”給傳統(tǒng)本地規(guī)劃增加預(yù)判能力兼容現(xiàn)有運(yùn)動(dòng)基元規(guī)劃棧工程落地門(mén)檻相對(duì)低。它解決的是傳統(tǒng)局部規(guī)劃“近視”問(wèn)題規(guī)劃器只能看到眼前幾米DPNet幫它“多看一眼拐角后面的危險(xiǎn)”但是只針對(duì)凹形死胡同這一類(lèi)特定危險(xiǎn)結(jié)構(gòu)。AgilePE屬于端到端強(qiáng)化學(xué)習(xí)對(duì)抗智能路線繞開(kāi)傳統(tǒng)規(guī)劃、微分博弈讓?xiě)?zhàn)術(shù)機(jī)動(dòng)從對(duì)抗交互中涌現(xiàn)代價(jià)是當(dāng)前依賴(lài)完整狀態(tài)觀測(cè)如果要完全脫離動(dòng)捕后續(xù)需要接入視覺(jué)感知模塊。兩篇工作共同的亮點(diǎn)訓(xùn)練全部可以在仿真完成真機(jī)不需要重新采集數(shù)據(jù)和微調(diào)這對(duì)于小型無(wú)人機(jī)非常關(guān)鍵——真機(jī)高速機(jī)動(dòng)實(shí)驗(yàn)炸機(jī)風(fēng)險(xiǎn)高硬件損耗成本昂貴。04 寫(xiě)在最后DPNet和AgilePE代表小型自主無(wú)人機(jī)兩個(gè)重要的技術(shù)方向一個(gè)面向環(huán)境帶來(lái)的危險(xiǎn)用輕量感知預(yù)測(cè)彌補(bǔ)傳感器視場(chǎng)的局限性改良傳統(tǒng)規(guī)劃系統(tǒng)追求安全可靠的A?B點(diǎn)導(dǎo)航另一個(gè)面向?qū)κ謳?lái)的博弈用對(duì)抗強(qiáng)化學(xué)習(xí)挖掘飛行器機(jī)動(dòng)極限讓無(wú)人機(jī)學(xué)會(huì)復(fù)雜戰(zhàn)術(shù)對(duì)抗。兩者都貫徹了“仿真大規(guī)模生成數(shù)據(jù)真機(jī)零樣本部署”的思路降低高風(fēng)險(xiǎn)真機(jī)試飛的依賴(lài)。但也留下共同的待解命題把兩套能力融合——在充滿(mǎn)障礙物的真實(shí)物理世界無(wú)人機(jī)既要預(yù)判環(huán)境死胡同又要和動(dòng)態(tài)對(duì)手開(kāi)展博弈這也是未來(lái)空中具身智能值得探索的方向。參考文獻(xiàn)1、DPNet: Efficient Dead?End Prediction and Avoidance for Vision?Based UAV Navigation (arXiv:2608.16640)2、AgilePE: Autonomous UAV Pursuit?Evasion via Self?Play Reinforcement Learning (arXiv:2608.14135)