計(jì)算成像這個(gè)方向我最早接觸是從手機(jī)多攝和夜景算法開(kāi)始的。當(dāng)時(shí)一直有個(gè)疑問(wèn)為什么同樣一片傳感器有的團(tuán)隊(duì)能拍出接近單反的夜景有的卻連基本細(xì)節(jié)都糊成一團(tuán)后來(lái)才慢慢意識(shí)到差距不在后期調(diào)色而在對(duì)成像物理過(guò)程的理解深度。計(jì)算成像的核心就是把光怎么變成電信號(hào)這件事用數(shù)學(xué)寫(xiě)清楚再反過(guò)來(lái)解出我們真正想要的圖像。這一講我想把入門(mén)最關(guān)鍵的三個(gè)概念——前向模型、逆問(wèn)題、AI——用從業(yè)者的視角講透不堆公式重點(diǎn)說(shuō)清楚它們各自解決什么問(wèn)題、為什么必須這樣設(shè)計(jì)、實(shí)際落地時(shí)哪里最容易翻車(chē)。1. 計(jì)算成像到底在算什么從拍照到解方程的思維轉(zhuǎn)變1.1 傳統(tǒng)成像和計(jì)算成像的分水嶺在哪里傳統(tǒng)相機(jī)的邏輯很直接鏡頭把場(chǎng)景聚焦到傳感器上傳感器把光強(qiáng)轉(zhuǎn)成電壓讀出電路量化成像素值一張圖就出來(lái)了。整個(gè)過(guò)程是物理直接映射圖像質(zhì)量取決于光學(xué)設(shè)計(jì)和傳感器工藝軟件能做的只是錦上添花。計(jì)算成像不一樣它承認(rèn)一個(gè)事實(shí)從場(chǎng)景到最終圖像之間存在一個(gè)可以被建模的變換過(guò)程而這個(gè)變換往往是病態(tài)的——信息在傳遞中丟失了、混疊了、被噪聲污染了。一旦你接受這個(gè)前提思路就完全變了。你不再問(wèn)怎么把鏡頭做得更好而是問(wèn)我能不能設(shè)計(jì)一個(gè)編碼方式讓傳感器記錄的不是最終圖像而是某種中間測(cè)量值然后通過(guò)計(jì)算把原始場(chǎng)景恢復(fù)出來(lái)。這就是計(jì)算成像的本質(zhì)把成像問(wèn)題轉(zhuǎn)化為一個(gè)數(shù)學(xué)反演問(wèn)題。單像素相機(jī)、編碼孔徑、光場(chǎng)相機(jī)、無(wú)透鏡成像全都是這個(gè)思路的產(chǎn)物。我常跟新人打一個(gè)比方傳統(tǒng)成像像是用復(fù)印機(jī)復(fù)印文件復(fù)印質(zhì)量取決于機(jī)器計(jì)算成像是先把文件打散成碎片、編碼后存儲(chǔ)再根據(jù)碎片的統(tǒng)計(jì)規(guī)律拼回原文。前者簡(jiǎn)單直接后者靈活但需要更強(qiáng)的數(shù)學(xué)工具。1.2 為什么必須先把前向模型寫(xiě)出來(lái)前向模型forward model是計(jì)算成像的地基。它描述的是給定一個(gè)真實(shí)場(chǎng)景 x經(jīng)過(guò)成像系統(tǒng)的物理過(guò)程最終得到測(cè)量值 y 的映射關(guān)系通常寫(xiě)成 y A(x) n其中 A 是成像算子n 是噪聲。這個(gè)式子看起來(lái)簡(jiǎn)單但它是整個(gè)系統(tǒng)設(shè)計(jì)的起點(diǎn)。為什么必須先寫(xiě)前向模型因?yàn)槟鎲?wèn)題的求解完全依賴(lài)于它。你不知道 A 長(zhǎng)什么樣就不知道哪些信息被保留、哪些被丟棄也就無(wú)法判斷恢復(fù)是否可能。舉個(gè)例子編碼孔徑成像里A 是一個(gè)由編碼圖案決定的卷積加下采樣算子如果你把編碼圖案設(shè)計(jì)成隨機(jī)二值矩陣A 的頻域響應(yīng)就比較平坦逆問(wèn)題相對(duì)好解如果設(shè)計(jì)成有規(guī)律的低頻圖案高頻信息幾乎全丟再?gòu)?qiáng)的算法也救不回來(lái)。實(shí)際項(xiàng)目中我見(jiàn)過(guò)太多團(tuán)隊(duì)跳過(guò)前向建模直接上深度學(xué)習(xí)結(jié)果網(wǎng)絡(luò)在訓(xùn)練集上表現(xiàn)很好換一個(gè)場(chǎng)景就崩。原因很簡(jiǎn)單網(wǎng)絡(luò)隱式學(xué)到的 A 和真實(shí)物理過(guò)程不一致泛化能力自然差。前向模型不是學(xué)術(shù)裝飾它是約束算法搜索空間的物理先驗(yàn)。1.3 逆問(wèn)題為什么病態(tài)病態(tài)體現(xiàn)在哪逆問(wèn)題就是已知 y 和 A求 x。聽(tīng)起來(lái)是解方程但成像里的逆問(wèn)題幾乎都是病態(tài)的ill-posed主要體現(xiàn)在三個(gè)方面。第一是不適定多個(gè)不同的 x 可能產(chǎn)生相同的 y。比如下采樣操作把 4K 圖像降成 1080p無(wú)數(shù)張 4K 圖都能降成同一張 1080p 圖你無(wú)法唯一確定原圖。第二是不穩(wěn)定y 里一點(diǎn)點(diǎn)噪聲可能導(dǎo)致解出來(lái)的 x 面目全非。第三是解不存在由于噪聲和模型誤差嚴(yán)格滿(mǎn)足 y Ax 的 x 可能根本不存在。病態(tài)意味著你不能直接求逆必須引入正則化或先驗(yàn)。這就是為什么計(jì)算成像和優(yōu)化理論、統(tǒng)計(jì)推斷、深度學(xué)習(xí)深度綁定——它們本質(zhì)上都在提供什么樣的 x 是合理的這個(gè)先驗(yàn)信息。稀疏性、低秩、深度圖像先驗(yàn)、擴(kuò)散模型先驗(yàn)都是不同形式的正則化手段。2. 前向模型的構(gòu)建細(xì)節(jié)從物理過(guò)程到矩陣算子2.1 把光學(xué)、傳感器、噪聲拆成可計(jì)算的模塊構(gòu)建前向模型的第一步是分解物理鏈路。一個(gè)典型的成像鏈路可以拆成場(chǎng)景輻射度 → 光學(xué)系統(tǒng)傳遞 → 傳感器采樣 → 讀出噪聲 → 量化。每一段都可以單獨(dú)建模最后乘起來(lái)或級(jí)聯(lián)起來(lái)。光學(xué)部分通常用點(diǎn)擴(kuò)散函數(shù)PSF描述它告訴你一個(gè)理想點(diǎn)光源經(jīng)過(guò)系統(tǒng)后在傳感器上變成什么形狀。如果系統(tǒng)是空間不變的光學(xué)傳遞就是一個(gè)卷積如果空間變化比如大視場(chǎng)鏡頭邊緣畸變嚴(yán)重就得用分塊卷積或更復(fù)雜的算子。傳感器部分涉及采樣和積分像素不是理想點(diǎn)它有一定面積會(huì)對(duì)入射光做空間積分這個(gè)積分本身就是一個(gè)低通濾波。噪聲部分要區(qū)分讀出噪聲、散粒噪聲、暗電流它們的統(tǒng)計(jì)特性不同散粒噪聲服從泊松分布讀出噪聲通常近似高斯。我一般建議新人先用最簡(jiǎn)模型跑通假設(shè)空間不變、只考慮高斯噪聲把 A 寫(xiě)成卷積矩陣。等這條鏈路驗(yàn)證沒(méi)問(wèn)題再逐步加入空間變化、泊松噪聲、量化誤差。一次性建太復(fù)雜的模型調(diào)試成本會(huì)高到讓你懷疑人生。2.2 離散化連續(xù)物理模型怎么變成矩陣真實(shí)世界是連續(xù)的但計(jì)算必須離散。離散化的關(guān)鍵是把連續(xù)算子 A 用矩陣或可快速計(jì)算的算子表示。對(duì)于卷積型成像A 可以寫(xiě)成托普利茲矩陣或循環(huán)矩陣后者可以用 FFT 加速?gòu)?fù)雜度從 O(N2) 降到 O(N log N)。對(duì)于編碼孔徑這類(lèi)系統(tǒng)A 往往是編碼圖案逐元素相乘 卷積 下采樣的組合。這里有個(gè)容易踩的坑離散化尺度選擇。如果場(chǎng)景的離散網(wǎng)格比傳感器像素細(xì)太多A 的維度會(huì)爆炸如果太粗又會(huì)丟失高頻細(xì)節(jié)導(dǎo)致模型和真實(shí)物理不匹配。我的經(jīng)驗(yàn)是離散網(wǎng)格至少要比傳感器像素密度高一倍給逆問(wèn)題留出超分辨的空間同時(shí)用算子形式不顯式構(gòu)造矩陣來(lái)控制內(nèi)存。另一個(gè)細(xì)節(jié)是邊界條件。卷積時(shí)圖像邊界怎么處理直接影響邊緣區(qū)域的恢復(fù)質(zhì)量。零填充會(huì)引入暗邊周期延拓會(huì)產(chǎn)生環(huán)繞偽影對(duì)稱(chēng)延拓相對(duì)溫和但也不是萬(wàn)能。實(shí)際項(xiàng)目里我會(huì)根據(jù)場(chǎng)景內(nèi)容選邊界策略并在損失函數(shù)里對(duì)邊界區(qū)域單獨(dú)加權(quán)。2.3 噪聲建模為什么不能一律當(dāng)高斯處理噪聲建模是前向模型里最容易被低估的部分。很多論文為了數(shù)學(xué)方便直接假設(shè)加性高斯噪聲但真實(shí)傳感器在低照度下主要是散粒噪聲服從泊松分布它的方差和信號(hào)強(qiáng)度相關(guān)不是常數(shù)。如果把泊松噪聲當(dāng)高斯處理逆問(wèn)題的求解會(huì)出現(xiàn)系統(tǒng)性偏差亮區(qū)噪聲被高估暗區(qū)噪聲被低估恢復(fù)出來(lái)的圖像要么暗部噪聲爆炸要么亮部過(guò)度平滑。正確做法是用泊松-高斯混合模型或者用方差穩(wěn)定變換如 Anscombe 變換把泊松噪聲近似轉(zhuǎn)成高斯再套用成熟的高斯去噪算法。我在一個(gè)低照度成像項(xiàng)目里吃過(guò)這個(gè)虧。最初用高斯假設(shè)暗部恢復(fù)出來(lái)全是彩色噪點(diǎn)換成泊松模型后同樣的算法框架暗部信噪比提升了將近一倍。噪聲模型選錯(cuò)后面所有優(yōu)化都是在錯(cuò)誤的道路上狂奔。3. 逆問(wèn)題求解的三條路線(xiàn)優(yōu)化、迭代、學(xué)習(xí)3.1 基于正則化的優(yōu)化方法從 Tikhonov 到全變分最經(jīng)典的逆問(wèn)題求解是正則化優(yōu)化minimize ||y - Ax||2 λR(x)第一項(xiàng)保證數(shù)據(jù)一致性第二項(xiàng) R(x) 是正則項(xiàng)λ 控制兩者權(quán)衡。Tikhonov 正則用 L2 范數(shù)解有閉式形式計(jì)算快但會(huì)過(guò)度平滑邊緣。全變分TV正則用梯度稀疏性能保邊但優(yōu)化是非光滑的需要 ADMM、 primal-dual 等算法。選正則項(xiàng)本質(zhì)是在選先驗(yàn)。TV 適合分段常數(shù)圖像比如醫(yī)學(xué) CT、遙感對(duì)于紋理豐富的自然圖像TV 會(huì)產(chǎn)生塑料感這時(shí)候可以考慮高階 TV、非局部均值或稀疏字典。λ 的選擇也很講究太大則細(xì)節(jié)丟失太小則噪聲放大常用 L 曲線(xiàn)法或交叉驗(yàn)證來(lái)定。我個(gè)人的經(jīng)驗(yàn)是優(yōu)化類(lèi)方法可解釋性強(qiáng)、理論保證好適合對(duì)穩(wěn)定性要求高的場(chǎng)景比如工業(yè)檢測(cè)、醫(yī)學(xué)重建。但它的缺點(diǎn)是求解慢而且正則項(xiàng)的表達(dá)能力有限面對(duì)復(fù)雜先驗(yàn)時(shí)力不從心。3.2 迭代重建Plug-and-Play 為什么好用Plug-and-PlayPnP是這幾年非常實(shí)用的框架。它的核心思想是把優(yōu)化算法如 ADMM里的去噪子問(wèn)題替換成一個(gè)現(xiàn)成的去噪器這個(gè)去噪器可以是 BM3D、NLM也可以是訓(xùn)練好的 CNN。這樣一來(lái)你既保留了優(yōu)化框架的收斂性又借用了強(qiáng)大去噪器的先驗(yàn)表達(dá)能力。PnP 的好處是模塊化前向模型 A 和去噪器解耦換傳感器只需改 A換先驗(yàn)只需換去噪器。我在做多模態(tài)融合成像時(shí)特別依賴(lài)這個(gè)特性不同模態(tài)的前向模型不同但去噪先驗(yàn)可以共享。不過(guò) PnP 也有坑。去噪器的噪聲水平參數(shù)必須和迭代過(guò)程中的等效噪聲匹配否則會(huì)震蕩或不收斂。實(shí)踐中我會(huì)用一個(gè)噪聲水平調(diào)度策略從大到小逐步降低模擬退火的感覺(jué)。另外PnP 的收斂性理論保證比純優(yōu)化弱需要監(jiān)控殘差和目視檢查。3.3 深度展開(kāi)網(wǎng)絡(luò)把迭代算法展開(kāi)成網(wǎng)絡(luò)深度展開(kāi)deep unfolding是把迭代算法的每一步映射成網(wǎng)絡(luò)的一層展開(kāi)固定次數(shù)后端到端訓(xùn)練。比如 ISTA 展開(kāi)成 LISTAADMM 展開(kāi)成 ADMM-Net。這樣網(wǎng)絡(luò)結(jié)構(gòu)有物理意義參數(shù)量比黑箱網(wǎng)絡(luò)少泛化性通常更好。展開(kāi)網(wǎng)絡(luò)的關(guān)鍵設(shè)計(jì)是哪些參數(shù)可學(xué)習(xí)、哪些固定。前向算子 A 通常固定它是物理的步長(zhǎng)、閾值、正則權(quán)重可以學(xué)習(xí)。訓(xùn)練時(shí)用真實(shí)測(cè)量值 y 和真值 x 配對(duì)損失用 MSE 或感知損失。我實(shí)測(cè)下來(lái)展開(kāi)網(wǎng)絡(luò)在訓(xùn)練分布內(nèi)表現(xiàn)極好但分布外泛化仍然依賴(lài)訓(xùn)練數(shù)據(jù)的多樣性。如果訓(xùn)練集只有某類(lèi)場(chǎng)景換場(chǎng)景后性能下降明顯。解決辦法是加入物理仿真數(shù)據(jù)做增廣或者在損失里加入前向一致性約束強(qiáng)制網(wǎng)絡(luò)輸出經(jīng)過(guò) A 后仍能匹配 y。4. AI 在計(jì)算成像里的真實(shí)角色不是替代物理而是補(bǔ)先驗(yàn)4.1 端到端網(wǎng)絡(luò)能做什么、不能做什么端到端網(wǎng)絡(luò)直接從測(cè)量 y 回歸圖像 x省去了顯式建模和迭代。它在特定任務(wù)上確實(shí)能打比如固定編碼孔徑的超分辨、特定顯微鏡的點(diǎn)擴(kuò)散函數(shù)反卷積。但它有兩個(gè)硬傷。第一是物理不一致。網(wǎng)絡(luò)輸出的 x 經(jīng)過(guò)真實(shí)前向模型 A 后未必能得到接近 y 的測(cè)量值這意味著它可能編造了不存在的細(xì)節(jié)。第二是泛化差。訓(xùn)練時(shí)的噪聲水平、編碼圖案、場(chǎng)景分布一變性能就崩。我見(jiàn)過(guò)一個(gè)端到端去模糊網(wǎng)絡(luò)訓(xùn)練時(shí)用高斯模糊核換成運(yùn)動(dòng)模糊后輸出全是偽影。所以端到端網(wǎng)絡(luò)適合場(chǎng)景固定、數(shù)據(jù)充足的封閉任務(wù)不適合開(kāi)放環(huán)境。要用它最好加上前向一致性損失或者用展開(kāi)結(jié)構(gòu)約束。4.2 擴(kuò)散模型和 score-based 方法帶來(lái)的新可能擴(kuò)散模型作為先驗(yàn)是這兩年計(jì)算成像里最讓人興奮的方向。它的思路是訓(xùn)練一個(gè)去噪網(wǎng)絡(luò)學(xué)習(xí)圖像分布的 score 函數(shù)然后在逆問(wèn)題求解時(shí)用這個(gè) score 作為先驗(yàn)通過(guò)迭代采樣恢復(fù)圖像。相比傳統(tǒng)正則擴(kuò)散先驗(yàn)的表達(dá)能力強(qiáng)得多能生成紋理自然、細(xì)節(jié)豐富的結(jié)果。實(shí)際用法有幾種一是把擴(kuò)散模型當(dāng)作 PnP 里的去噪器替換 BM3D二是用擴(kuò)散后驗(yàn)采樣DPS直接在測(cè)量條件下采樣三是用擴(kuò)散模型做后處理先優(yōu)化求解再擴(kuò)散精修。我在一個(gè)稀疏視角 CT 重建項(xiàng)目里試過(guò) DPS相比 TV 正則細(xì)節(jié)恢復(fù)明顯更好但采樣速度慢需要幾百步迭代實(shí)時(shí)性差。擴(kuò)散模型的坑在于采樣步數(shù)、噪聲調(diào)度、條件引導(dǎo)強(qiáng)度都需要調(diào)而且它對(duì)前向模型的準(zhǔn)確性很敏感。如果 A 有偏差擴(kuò)散模型會(huì)自信地生成錯(cuò)誤結(jié)構(gòu)。4.3 數(shù)據(jù)驅(qū)動(dòng)先驗(yàn)和物理模型的融合策略最穩(wěn)的方案永遠(yuǎn)是物理模型加數(shù)據(jù)先驗(yàn)的混合。具體做法用前向模型保證數(shù)據(jù)一致性用神經(jīng)網(wǎng)絡(luò)提供先驗(yàn)兩者在優(yōu)化框架里交替。PnP、展開(kāi)網(wǎng)絡(luò)、擴(kuò)散先驗(yàn)都屬于這個(gè)范疇。融合的粒度可以不同。粗粒度是 PnP去噪器和前向算子完全解耦中粒度是展開(kāi)網(wǎng)絡(luò)每層都有物理結(jié)構(gòu)細(xì)粒度是把物理參數(shù)也做成可學(xué)習(xí)比如讓網(wǎng)絡(luò)同時(shí)估計(jì) PSF 和圖像。細(xì)粒度最靈活但最難訓(xùn)練容易陷入局部最優(yōu)。我的建議是先從 PnP 入手驗(yàn)證前向模型和去噪先驗(yàn)是否匹配穩(wěn)定后再?lài)L試展開(kāi)網(wǎng)絡(luò)提升速度如果對(duì)生成質(zhì)量要求極高且算力充足再上擴(kuò)散先驗(yàn)。不要一上來(lái)就端到端那是在給自己挖坑。5. 實(shí)操中那些文檔不會(huì)告訴你的坑5.1 仿真數(shù)據(jù)和真實(shí)數(shù)據(jù)的域 gap 怎么縮小做計(jì)算成像研究前期幾乎都在仿真數(shù)據(jù)上驗(yàn)證。但仿真和真實(shí)之間有一道鴻溝仿真假設(shè)的 PSF、噪聲、編碼圖案和真實(shí)系統(tǒng)總有偏差。這個(gè) gap 不處理算法上真實(shí)設(shè)備就廢?？s小 gap 的常用手段一是標(biāo)定真實(shí)系統(tǒng)的 PSF 和噪聲參數(shù)用實(shí)測(cè)值替換仿真假設(shè)二是做域隨機(jī)化訓(xùn)練時(shí)隨機(jī)擾動(dòng) PSF、噪聲水平、編碼圖案讓網(wǎng)絡(luò)見(jiàn)過(guò)足夠多的變化三是用少量真實(shí)配對(duì)數(shù)據(jù)做微調(diào)。我在一個(gè)無(wú)透鏡成像項(xiàng)目里先用仿真預(yù)訓(xùn)練再用 50 組真實(shí)數(shù)據(jù)微調(diào)最終真實(shí)場(chǎng)景的 PSNR 比純仿真訓(xùn)練高了 4 dB 以上。標(biāo)定這件事值得單獨(dú)說(shuō)。PSF 標(biāo)定通常用點(diǎn)光源或刀口法但真實(shí)系統(tǒng)的 PSF 可能隨視場(chǎng)變化單點(diǎn)標(biāo)定不夠。我會(huì)在視場(chǎng)里選多個(gè)位置分別標(biāo)定然后插值得到空間變化的 PSF。噪聲標(biāo)定則用暗場(chǎng)和多亮度平場(chǎng)擬合出噪聲方差和信號(hào)強(qiáng)度的關(guān)系。5.2 評(píng)價(jià)指標(biāo)選錯(cuò)優(yōu)化方向就錯(cuò)了PSNR 和 SSIM 是最常用的指標(biāo)但它們和人類(lèi)視覺(jué)感知的相關(guān)性有限。計(jì)算成像里如果目標(biāo)是視覺(jué)質(zhì)量PSNR 高不代表好看如果目標(biāo)是下游任務(wù)檢測(cè)、分割那應(yīng)該直接用下游指標(biāo)評(píng)估。我踩過(guò)的坑一個(gè)去噪項(xiàng)目PSNR 優(yōu)化到很高但下游目標(biāo)檢測(cè)的 mAP 反而下降因?yàn)檫^(guò)度平滑把一些小目標(biāo)抹掉了。后來(lái)改用感知損失加下游任務(wù)損失聯(lián)合訓(xùn)練才把問(wèn)題解決。所以指標(biāo)選擇要服務(wù)于最終目標(biāo)。重建任務(wù)看 PSNR/SSIM感知任務(wù)看 LPIPS下游任務(wù)看任務(wù)指標(biāo)。最好多個(gè)指標(biāo)一起看避免被單一指標(biāo)誤導(dǎo)。5.3 算力、內(nèi)存和實(shí)時(shí)性的現(xiàn)實(shí)約束計(jì)算成像的算法往往很重尤其是擴(kuò)散先驗(yàn)和深度展開(kāi)。實(shí)際部署時(shí)算力和內(nèi)存是硬約束。我見(jiàn)過(guò)論文里的算法在服務(wù)器上跑幾分鐘一張圖到嵌入式設(shè)備上根本跑不動(dòng)。優(yōu)化方向一是用算子形式避免顯式構(gòu)造大矩陣用 FFT 或稀疏矩陣加速二是模型量化、剪枝、蒸餾三是減少迭代步數(shù)用展開(kāi)網(wǎng)絡(luò)替代長(zhǎng)迭代四是分塊處理把大圖切成小塊分別恢復(fù)再拼接但要注意塊間一致性避免拼接縫。實(shí)時(shí)性要求高的場(chǎng)景比如手機(jī)夜景、自動(dòng)駕駛通常只能用輕量展開(kāi)網(wǎng)絡(luò)或 PnP 加快速去噪器。擴(kuò)散模型目前還很難做到實(shí)時(shí)除非用蒸餾或一致性模型加速。6. 入門(mén)學(xué)習(xí)路徑和第一個(gè)可跑通的項(xiàng)目建議6.1 數(shù)學(xué)和編程基礎(chǔ)該補(bǔ)到什么程度入門(mén)計(jì)算成像數(shù)學(xué)上需要線(xiàn)性代數(shù)矩陣、特征值、SVD、優(yōu)化理論凸優(yōu)化、梯度下降、ADMM、概率統(tǒng)計(jì)貝葉斯、最大似然、噪聲模型。不需要一上來(lái)就啃透邊做邊補(bǔ)效率更高。編程上Python 是絕對(duì)主力NumPy 做數(shù)值計(jì)算SciPy 做優(yōu)化和信號(hào)處理PyTorch 做深度學(xué)習(xí)和 GPU 加速。建議熟練掌握用 FFT 做卷積、用自動(dòng)微分求梯度、用 GPU 批量處理。MATLAB 在光學(xué)和醫(yī)學(xué)成像社區(qū)仍有大量遺產(chǎn)代碼看得懂就行新項(xiàng)目我基本都用 Python。6.2 從哪個(gè)小項(xiàng)目切入最合適我推薦從圖像去模糊或單像素成像仿真切入。去模糊的前向模型簡(jiǎn)單卷積加噪聲逆問(wèn)題經(jīng)典資料多容易跑通。單像素成像則能完整體驗(yàn)編碼、測(cè)量、重建的全流程而且前向模型清晰適合理解計(jì)算成像的精髓。具體步驟先寫(xiě)前向模型用已知圖像生成仿真測(cè)量值然后實(shí)現(xiàn)一個(gè) TV 正則的優(yōu)化求解看恢復(fù)效果再換成 PnP 或展開(kāi)網(wǎng)絡(luò)對(duì)比提升最后加入噪聲、模型誤差觀察魯棒性。這一套走下來(lái)前向模型、逆問(wèn)題、AI 三條線(xiàn)就都摸到了。6.3 怎么判斷自己真的入門(mén)了一個(gè)簡(jiǎn)單的標(biāo)準(zhǔn)給你一個(gè)新的成像系統(tǒng)你能獨(dú)立寫(xiě)出它的前向模型判斷逆問(wèn)題是否病態(tài)、病態(tài)在哪選擇合適的正則或先驗(yàn)并解釋為什么這么選。能做到這些說(shuō)明你已經(jīng)從調(diào)包進(jìn)入設(shè)計(jì)階段。再高一級(jí)的標(biāo)準(zhǔn)你能設(shè)計(jì)編碼圖案或光學(xué)系統(tǒng)主動(dòng)改善逆問(wèn)題的條件數(shù)讓后續(xù)重建更容易。這就是計(jì)算成像從計(jì)算輔助成像走向計(jì)算驅(qū)動(dòng)成像的標(biāo)志也是這個(gè)領(lǐng)域最有意思的地方。我在實(shí)際項(xiàng)目里最深的體會(huì)是計(jì)算成像的難點(diǎn)從來(lái)不在某個(gè)算法而在對(duì)整個(gè)鏈路的理解。前向模型錯(cuò)了逆問(wèn)題再花哨也沒(méi)用先驗(yàn)選錯(cuò)了AI 再?gòu)?qiáng)也救不回來(lái)。把物理、數(shù)學(xué)、學(xué)習(xí)三件事打通才是這個(gè)方向真正的門(mén)檻。