很多人剛接觸數(shù)字圖像處理的時候都會被一堆顏色空間搞到懷疑人生RGB、HSV、YUV、YCbCr、YPbPr……光是這幾個名字就夠繞一陣子了。尤其是YPbPr看起來和YUV、YCbCr長得幾乎一模一樣實際用起來卻經(jīng)常對不上號。我見過不少人在代碼里把YCbCr數(shù)據(jù)當成YPbPr去處理結果畫面偏色、灰蒙蒙的查半天才發(fā)現(xiàn)是顏色空間理解出了問題。這篇文章我就專門盯著YPbPr講。它的物理含義是什么數(shù)學定義怎么來的和YUV、YCbCr到底差在哪里以及在實際的圖像處理和視頻鏈路中怎么正確使用它。如果你正在學數(shù)字圖像處理、做視頻采集編碼相關開發(fā)或者自己寫圖像算法這篇文章應該能幫你省下一堆翻規(guī)格書和排查bug的時間。1. 為什么YPbPr不是YUV也不是YCbCr很多教材和網(wǎng)絡資料喜歡把這幾兄弟混著說給人一種“反正差不多”的感覺。但做技術的人一旦較真起來這三個東西其實各有各的位置混用的代價就是處理結果莫名其妙地不對。這里我先把最根本的物理和語義差異講清楚。1.1 從RGB到亮色分離這里藏著一個“人眼視覺”的秘密RGB顏色空間長得直觀紅綠藍三個分量疊加出各種顏色顯示器和攝像頭都按這個思路工作。但RGB有一個問題它給三個通道的“待遇”是一樣的。而在實際應用中不管是壓縮存儲還是視頻傳輸我們往往希望把“亮度”和“顏色”拆開處理YPbPr就是在這樣一個需求下誕生的。拆開的好處有兩個層面。第一人類視覺系統(tǒng)對亮度細節(jié)的敏感度遠高于對顏色細節(jié)的敏感度把亮度單獨拿出來后面做壓縮、做增強都可以針對性下手。第二黑白設備兼容性。早年彩色電視要兼容黑白電視如果直接傳RGB黑白電視機拿到的是三個灰蒙蒙的通道根本沒法還原出正常黑白畫面。但傳一個Y亮度加上兩個色差信號黑白電視只需要取Y通道就能看到正?；叶葓D像后面兩個色差信號直接忽略就行。這就是YPbPr的出身背景。它本質上是一種亮色分離的顏色表示方式Y代表亮度分量Pb和Pr代表兩個色差分量。Pb是藍色分量與亮度的差值比例Pr是紅色分量與亮度的差值比例。至于綠色不需要單獨傳因為亮度Y里面已經(jīng)包含了綠色的主要貢獻RGB三通道的信息可以在數(shù)學上完整恢復。1.2 Pb和Pr為什么是負的負號也是有意義的接觸YPbPr的人第一次看波形圖通常會被負值嚇到。RGB里每個通道要么是0要么是255歸一化后是0到1都是非負值。但YPbPr不一樣Y永遠是正的Pb和Pr卻是可正可負的。這是正常的因為色差信號本身表示的就是“當前顏色偏離灰色多少”。拿純紅色來說歸一化RGB是1, 0, 0亮度Y大概是0.299我們后面會講這個系數(shù)從哪來然后算Pb和Pr就能得到一組包含負數(shù)的值。這不代表物理上有什么“負的顏色”而是說藍色差或紅色差的方向相反。因為在數(shù)學上這些值都是圍繞灰度軸中性色上下波動的中間灰色的Pb和Pr正好是0偏藍的像素Pb為正偏黃的像素Pb為負紅橙色調的像素Pr為正方向青綠色調的像素Pr為負方向。理解這一點后面看分量直方圖、排查偏色問題都會輕松很多。1.3 模擬域和數(shù)字域的分岔路YPbPr、YUV、YCbCr三者對比很多人把YUV當成YPbPr或者YCbCr的統(tǒng)稱這個說法并不嚴謹。YUV嚴格來說源自模擬復合視頻編碼時代指代的是通過色度調制方式編碼到復合信號里的分量它的數(shù)學定義和現(xiàn)在的分量信號不太一致。而YPbPr是模擬分量視頻信號的標準表示YCbCr則是數(shù)字分量視頻信號的標準表示。也就是說一個走模擬線纜一個走數(shù)字總線兩者之間只差一個縮放和偏置的映射關系。為了更直觀我做了一個對比表看完應該就清楚了名稱所屬域典型應用場景與YPbPr的關系YUV模擬復合域老式復合視頻編碼與傳輸早期術語常被誤用作泛稱YPbPr模擬分量域DVD色差分量接口、老式監(jiān)視器原始模擬分量信號Pb/Pr范圍對稱于0YCbCr數(shù)字分量域HDMI、SDI、視頻編碼、圖像存儲由YPbPr抽樣量化而來Cb/Cr有固定偏置從這個表能看出YPbPr和YCbCr在數(shù)學上其實是“同一個色彩空間”的兩種不同表示階段。如果用一句話概括YPbPr是連續(xù)模擬量YCbCr是把這些連續(xù)的色差信號做A/D轉換后得到的離散量化值。最直接的差別就是——YPbPr的色差分量是以0為中心的正負浮動而YCbCr在8bit量化下給Cb和Cr加上了128的偏置中心點變成了128也就是說數(shù)字代碼128表示“無顏色”的灰色。這個差別極其容易踩坑因為很多開源庫和代碼里直接把PNG、JPEG解碼出來的YCbCr數(shù)據(jù)當成YPbPr來調色、做濾波結果就是亮度沒變顏色全亂了。我在后面的實操部分會專門演示這個問題。2. YPbPr的數(shù)學核心兩套矩陣和一套量化規(guī)則搞清概念之后接下來就是硬核的數(shù)學部分。YPbPr不是拍腦袋定出來的它的Y亮度、Pb藍差、Pr紅差都是由RGB線性組合得到的。這里面最核心的是兩套系數(shù)矩陣對應標清和高清兩個標準。2.1 BT.601與BT.709標清與高清用不同“配方”先看最常用的BT.601標清標準下的亮度公式Y 0.299R 0.587G 0.114B這三個系數(shù)看起來很神奇但它不是隨便湊的。0.299、0.587、0.114大致對應人眼對紅、綠、藍三色光的相對敏感度綠色貢獻最高藍色最低這和我們在暗光環(huán)境下對綠色最敏感、對藍色最不敏感的主觀體驗一致。另一個方面這三個系數(shù)也跟早期CRT熒光粉的發(fā)光效率和色度坐標有關所以一直沿用下來。到了高清時代BT.709標準把系數(shù)更新為Y 0.2126R 0.7152G 0.0722B綠色權重更高了紅色變低藍色更低。這是因為高清標準對應的顯示設備色域、白點都不一樣了而我們已經(jīng)習慣了這種稍微偏冷的畫面渲染方式。好多人做視頻處理不管輸入源是標清還是高清直接套一個固定矩陣這樣出來的顏色偏色是必然的。緊接著是色差分量Pb (B - Y) / 1.8556Pr (R - Y) / 1.402這里的除法是歸一化過程目的是讓Pb和Pr的最大絕對值不超過0.5方便后續(xù)量化。1.8556和1.402這兩個常數(shù)并不是誰拍腦袋定的而是由RGB的取值范圍反推出來的保證純色信號在色差通道上也不會過沖。2.2 量化范圍為什么不是0到255模擬YPbPr信號本身是連續(xù)電壓但在數(shù)字圖像處理里我們最終拿到的是離散量化結果也就是YCbCr。8bit量化時Y和Cb、Cr的映射規(guī)則如下Y數(shù)字值 219 × Y模擬值 16Cb數(shù)字值 224 × Pb模擬值 128Cr數(shù)字值 224 × Pr模擬值 128看到規(guī)律了嗎亮度Y被量化到16到235這個區(qū)間色度Cb、Cr被量化到16到240兩頭各留了一截余量。這跟前幾年智能手機相機拍照動態(tài)范圍不夠、高光容易“爆掉”是一個道理預留保護帶可以防止過沖信號被硬切并且在濾波、壓縮過程中不容易產(chǎn)生超出范圍的振鈴。所以一個16、128、128的YCbCr像素對應的就是純黑Y16CbCr128是消色差。如果你強行把YCbCr按0到255的全范圍去做歸一化不等比拉伸那畫面整體就會變灰顏色飽和度也會全部失真。這是圖像處理里最經(jīng)典的“黑電平錯位”問題。2.3 逆變換從YPbPr還原RGB時的精度問題逆變換同樣重要。從YCbCr還原RGB時我們需要先減去偏置再反歸一化最后用矩陣的逆矩陣運算出來。很多人覺得逆變換不就是套公式嗎沒什么好說的真正做起來才會發(fā)現(xiàn)精度問題特別煩。在做整數(shù)定點運算時中間結果應該保留足夠的位寬。我可以舉個例子如果你把YCbCr還原成RGB中間變量直接用uint8來存那么減偏置后得到的可能是負數(shù)uint8會直接截斷成0整個畫面的暗部細節(jié)全部丟失偏色非常明顯。正確做法是中間計算至少用int16甚至float32等所有運算結束、反變換完成之后再統(tǒng)一round和clamp到0到255的uint8范圍。還有一個小細節(jié)很多人做逆變換時用的是float矩陣但把逆矩陣系數(shù)打印出來會發(fā)現(xiàn)有的系數(shù)是負的。這說明RGB到YPbPr的變換并不是正交歸一變換逆變換時必須嚴格按完整的矩陣乘法恢復三個通道的耦合關系不能簡單地說“Y通道對應亮度我就只處理Y”否則會引入嚴重的顏色串擾。3. 手寫RGB轉YPbPr轉換器Python可直接運行理論上說OpenCV里確實有cvtColor函數(shù)可以做RGB和YCrCb的互轉但很多人用的時候并沒有意識到OpenCV里的YCrCb默認采用的量化范圍、矩陣系數(shù)和真正的YPbPr并不是一回事。我在實際項目里遇到過幾次“調庫調得歡結果輸出不對”的情況所以這里建議你手動實現(xiàn)一遍轉換邏輯既能加深理解又能靈活控制細節(jié)。3.1 一段能直接跑的轉換代碼下面這段代碼我基于BT.601矩陣分別實現(xiàn)了RGB轉模擬YPbPr和RGB轉數(shù)字YCbCr。為了讓你能直接體會兩者差別我特意把兩個輸出放在一起對比。import numpy as np def rgb_to_ypbpr(rgb): 輸入: rgb, 形狀為 (..., 3), 取值范圍 0~255 的 uint8 或 float 返回: ypbpr, 形狀為 (..., 3), Y 范圍 [0, 1] 左右, Pb/Pr 范圍約為 [-0.5, 0.5] rgb rgb.astype(np.float32) / 255.0 r, g, b rgb[..., 0], rgb[..., 1], rgb[..., 2] y 0.299 * r 0.587 * g 0.114 * b pb (b - y) / 1.8556 pr (r - y) / 1.402 return np.stack([y, pb, pr], axis-1) def ypbpr_to_ycbcr(ypbpr, bit_depth8): 模擬YPbPr - 數(shù)字YCbCr, 默認8bit量化 y, pb, pr ypbpr[..., 0], ypbpr[..., 1], ypbpr[..., 2] y_digital 219.0 * y 16.0 cb_digital 224.0 * pb 128.0 cr_digital 224.0 * pr 128.0 ycbcr np.stack([y_digital, cb_digital, cr_digital], axis-1) return np.clip(np.round(ycbcr), 0, 255).astype(np.uint8) # 隨便構造一個純紅像素和一個中性灰像素 test_rgb np.array([ [[255, 0, 0], # 純紅 [128, 128, 128]], # 中性灰 ], dtypenp.uint8) ypbpr rgb_to_ypbpr(test_rgb) ycbcr ypbpr_to_ycbcr(ypbpr) print(RGB:) print(test_rgb) print(YPbPr (模擬風格):) print(ypbpr) print(YCbCr (8bit量化):) print(ycbcr)這段代碼跑完之后你會清楚地看到純紅的YPbPr里Y不是0.299就是0.299左右的浮點值Pr大約0.5Pb則是個負數(shù)而到了YCbCrCb會落在128以下Cr會落在128以上這就是“偏置”兩個字在數(shù)值上的全部意義。3.2 在目標顏色空間里處理圖像而不是在RGB上亂動既然YPbPr把亮度和色度分開了那么很多圖像處理操作就不該在RGB上直接做而是應該轉到YPbPr或者YCbCr域去做。說個最常見的場景灰度圖增強。如果直接在RGB三個通道分別做直方圖均衡化畫面很容易出現(xiàn)色彩偏移和過度飽和因為三個通道的均衡映射函數(shù)是獨立計算的拉伸幅度不一致。我實際寫過一個簡單的Y分量直方圖均衡代碼思路是先轉YPbPr然后只對Y分量做均衡最后再轉回來。核心處理中間只需加一行y_channel equalize_hist(y_channel)效果比在RGB上直接操作穩(wěn)定很多。這也是很多圖像增強、去霧、超分辨率算法能保持色彩自然的原因它們不是不肯處理色彩而是把色彩分量保護起來了。3.3 貼一個容易犯錯的例子把YCbCr數(shù)據(jù)當成YPbPr處理我之前調試一個視頻采集程序時遇到過這么個情況硬件SDI信號采集出來文檔寫的是YCbCr 4:2:2但我在預處理階段用了一套模擬域的YPbPr調色參數(shù)結果整個畫面飽和度夸張到?jīng)]法看。后來查日志才發(fā)現(xiàn)軟件層已經(jīng)把數(shù)字YCbCr的數(shù)據(jù)直接交給調色模塊了而調色模塊還傻乎乎地以為Pb/Pr是圍繞0浮動的強行給負值區(qū)間做了映射把正常的128偏置當成了“嚴重的偏藍信號”。如果你在代碼里遇到類似情況最簡單的判斷方式就是打印一組中性灰像素的Cb、Cr值。如果它們都在128附近說明數(shù)據(jù)是數(shù)字YCbCr如果都在0附近且可能為負說明是模擬風格的YPbPr。這個檢查只需要三五行代碼但能省下半天的排查時間。4. 視頻接口、色度抽樣與應用前瞻YPbPr不只是課本里做矩陣變換用的理論玩具它在真實的視頻傳輸鏈路和圖像處理系統(tǒng)里一直存在。想要理解整個數(shù)字圖像處理的知識體系就不能回避這些工程細節(jié)。4.1 分量接口與色差端子早年DVD播放器和高清電視上常見的“色差分量接口”英文就是Component Video傳輸?shù)男盘栒荵PbPr。這種接口把Y、Pb、Pr三個分量分成三根線獨立傳輸分別用綠、藍、紅三種顏色標記實際線的顏色不一定對應通道含義但綠線通常是Y。與復合視頻相比YPbPr分量信號不再經(jīng)過色度副載波調制亮度和色度之間的串擾小得多畫面的銳利度和色彩純度都有大幅提升。如果你用過這種接口應該還會注意到接口旁邊標注的是逐行掃描Progressive的PbPr而與隔行掃描對應的有時候會寫成PbPr或CbCr其實核心差別不是掃描方式而是這個信號在新標準里到底經(jīng)過了多少數(shù)字處理。很多老工程師一看到“YPbPr”就知道這是模擬分量看到“YCbCr”就知道數(shù)字化之后但這種直覺在新人那里往往沒有建立起來。多接觸硬件接口文檔能幫助你更快建立這種條件反射。4.2 4:2:2和4:2:0抽樣是怎么回事既然亮度和色度分開了那么色度抽樣就成了數(shù)字視頻壓縮中繞不開的概念。常見的有4:4:4、4:2:2、4:2:0這個數(shù)字的寫法看起來像比例實際含義是在一行像素中亮度Y全部保留而色度Cb、Cr在水平方向按每兩個亮度像素采一個、或者每四個亮度像素采一個來降低分辨率。4:2:2就是說在每行4個亮度像素里只保留2個Cb和2個Cr樣本相當于水平方向色度減半。4:2:0則在水平和垂直方向都減半所以色度信息量只有亮度的四分之一。人眼對亮度細節(jié)敏感、對色度細節(jié)遲鈍這個特點正好被抽樣策略利用了。但注意抽樣后如果直接對色度通道做放大、銳化、邊緣檢測很容易產(chǎn)生彩色鋸齒或偽彩這也是很多圖像算法在YCbCr上處理時需要注意的坑。4.3 數(shù)字圖像處理新場景中還要不要關注YPbPr可能有人覺得現(xiàn)在的圖像處理都上深度學習、神經(jīng)網(wǎng)絡了YPbPr這種老掉牙的顏色空間還有人關注嗎我的回答是不但有關注而且相關需求一直在增長。舉個實際的例子遙感圖像處理。很多遙感影像的原始數(shù)據(jù)和預處理產(chǎn)品都帶有多光譜通道但在做真彩色合成、圖像融合、目標檢測可視化時亮色分離的表示方式依然是標準中間層因為很多增強算法只希望作用在亮度上避免改變地物的光譜特征。還有數(shù)字圖像處理實驗里經(jīng)常出現(xiàn)的直方圖匹配、頻域濾波、圖像融合題目如果在RGB域直接操作結果往往色彩詭異而有經(jīng)驗的人會先把圖像轉到亮色分離空間處理Y分量最后再還原。說白了YPbPr這類顏色空間是很多經(jīng)典圖像處理算法“為什么效果更自然”的技術底座。另外在AI視覺處理里一些超分辨率模型的訓練數(shù)據(jù)也喜歡在YCbCr上做監(jiān)督因為PSNR和SSIM評估指標對標的就是亮度通道的恢復質量。你不必非得用YPbPr做模型輸入但如果你連這些中間表示都分不清后面調試模型輸出顏色不對的時候會相當被動。5. 常見問題速查與調試經(jīng)驗最后這部分我把自己實際調試圖像處理程序時踩過的坑整理成一張表再附帶兩個印象深刻的案例。做視頻處理和圖像算法調試很多時候不是原理多難而是問題出在一個被忽略的小細節(jié)上查起來極其浪費時間。5.1 一張表理清典型故障現(xiàn)象可能原因快速排查方法畫面整體發(fā)灰、對比度低黑電平錯位YCbCr的Y值沒有從16拉伸到0~255打印Y通道最小值如果集中在16附近做范圍映射顏色嚴重偏紅或偏青用了BT.601矩陣去處理BT.709數(shù)據(jù)或反之確認輸入源分辨率/標準查看規(guī)格書邊緣出現(xiàn)彩色鋸齒色度抽樣后的4:2:0數(shù)據(jù)直接做邊緣增強先上采樣色度通道或只在Y通道做銳化紅色變成紫色、綠色發(fā)暗逆變換時整數(shù)截斷中間量用uint8存儲用int16/float32做中間計算最后再裁剪飽和度忽高忽低把YPbPr模擬信號直接按YCbCr偏置處理檢查數(shù)據(jù)是否帶128偏置用中性灰像素驗證這張表不是教科書里的理論而是我在實際寫代碼和調試設備時篩選出來的高發(fā)問題。每次遇到顏色不對我都會先按照這個順序排查基本能解決八成問題。5.2 兩個踩過的坑第一個坑是矩陣選擇錯誤。有一年我在做一個高清視頻轉換項目當時的輸入源是1080p的SDI信號代碼里卻默認用了BT.601的系數(shù)屏幕上的紅色全部偏到了橙色方向綠色變得很“悶”。后來排查半天發(fā)現(xiàn)是封裝庫的默認參數(shù)沒改。從那以后我再寫任何顏色空間轉換函數(shù)都會把矩陣系數(shù)作為顯式參數(shù)傳進去并寫上標準和適用范圍。第二個坑是量化范圍。有一次我從一個視頻文件里提取幀用FFmpeg解出來的是YUV420P格式我以為是正常的“YUV”就直接用0~255的全范圍去做歸一化結果暗部糊成一片。后來我才意識到這個文件解出來的YCbCr數(shù)據(jù)是有限范圍limited range的Y的有效范圍是16到235Cb/Cr是16到240。如果不做偏置移除和范圍映射直接拉伸畫面暗部細節(jié)直接廢掉。所以現(xiàn)在我在處理任何YUV/YCbCr素材之前都會先確認一件事這個素材的量化范圍是full range還是limited range。5.3 一個好習慣測試圖配合中間量分析最后分享一個經(jīng)驗。很多新人在調顏色空間處理的時候喜歡直接拿一張照片跑完看結果然后“憑感覺”調參數(shù)。這不是不行但效率太低。我自己的習慣是先構造幾條標準色條——比如純紅、純綠、純藍、中性灰、黑色、白色——作為測試數(shù)據(jù)跑一遍轉換和反向轉換把中間量的數(shù)值打印出來和理論值逐一對比。這樣做的最大好處是一旦某個分量出了問題你能立刻判斷是矩陣系數(shù)寫錯、偏置沒加、還是范圍裁切出錯。純色測試圖能幫你繞過圖像內(nèi)容本身的干擾把問題精確到具體的數(shù)學環(huán)節(jié)。等測試圖全部通過之后再拿真實圖像做主觀驗證通常就不會出現(xiàn)離譜的偏色了。最后說兩句我自己學顏色空間那段時間最大的感受就是“名詞太多容易想當然”。YUV、YPbPr、YCbCr這幾個名字擺在一起看著像一家人實際用起來差之毫厘、謬以千里。要真正掌握YPbPr關鍵不是死記公式而是在腦子里建立起一套分層認知先分清它屬于模擬域還是數(shù)字域再看有沒有偏置最后才是選定矩陣系數(shù)。順序對了思路就順了。希望這篇內(nèi)容能幫你少踩幾個我踩過的坑。