文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.180682
中文引用格式: 陳文藝,張龍,楊輝. HDR圖像色調映射的自適應色彩調節算法[J].電子技術應用,2018,44(11):107-110.
英文引用格式: Chen Wenyi,Zhang Long,Yang Hui. Adaptive color adjustment method based on HDR image[J]. Application of Electronic Technique,2018,44(11):107-110.
0 引言
高動態范圍(High Dynamic Range,HDR)圖像是一種可以記錄實際場景亮度范圍變化較大的圖像,擁有更豐富的亮度層次,尤其是亮區域和暗區域的細節展現,遠比普通圖像更逼近現實的色彩效果。但HDR圖像通過普通顯示設備再現時存在動態范圍不匹配問題,因此動態范圍的壓縮算法成為了研究的熱點。
近年來,已經涌現出很多HDR圖像色調映射(tone mapping)算法[1-4],例如KUANG J[3]等在圖像色貌模型的基礎上提出了iCAM06算法;REINHARD E[4]等提出基于攝影法的動態范圍壓縮算法。這些色調映射算法提供了將真實世界的亮度范圍映射到輸出媒介亮度范圍的復雜方法,但它們通常會導致圖像顏色外觀的變化。最常見的色調操作是亮度壓縮,會導致較暗的色調變得更亮并且扭曲對比關系[5]。這是由于調映射算法起初都是針對圖像在亮度域進行壓縮處理,但在處理彩色的高動態范圍圖像時,僅僅考慮亮度分量,忽略了在對亮度壓縮的同時圖像的色彩分量也被壓縮了,顏色發生了變化。
本文提出圖像經色調映射壓縮處理后,在色域增加色彩調節算法,以解決因壓縮后存在的褪色、偏色等色彩失真問題,從而提高圖像的色彩表現。
1 色彩調節算法描述
整個算法分為兩個部分:亮度域處理和色域處理。亮度域處理是對采集得到的高動態圖像在亮度域進行動態范圍的壓縮映射和限制對比度的自適應直方圖均衡化處理,將圖像的高動態范圍映射到低動態范圍內。色域處理包含兩方面,一方面是色彩恢復處理,結合下文中所給曲線的特點,根據圖像處理前后亮度比值自適應地調節色彩飽和度參數,對壓縮后的圖像色彩恢復;另一方面對恢復后的圖像做色彩增強處理,解決圖像拍攝過程中,受到周圍環境光源的影響,使得合成后的圖像色彩出現偏差的問題。通過色彩增強因子對圖像色彩進行增強。算法處理過程如圖1所示。
1.1 亮度域處理
對于HDR圖像,當前標準的顯示設備存在動態范圍不匹配問題,無法將圖像正常地顯示出來,需要對其在亮度域進行色調映射壓縮處理,將其動態范圍映射到0~255,使得圖像可以在顯示器上顯示。本文結合高動態圖像的特點及對數曲線的特性,采用對數壓縮方法對HDR圖像進行動態范圍的映射,降低了高亮區域的對比度,增強了低亮度區域的細節部分,使得壓縮后的圖像更加符合人眼的視覺特性。首先,獲取HDR色彩圖像的亮度數據,采用如下的亮度轉換公式:
式中,Ir、Ig和Ib分別為輸入的HDR圖像R、G、B 3個通道的數據,L為計算得到的圖像的亮度值。然后,對轉換得到的圖像亮度值進行對數壓縮處理,對數壓縮通用函數為:
式中,Lin和Lout分別為輸入圖像壓縮前后的亮度數據,a為常數。最后采用限制對比度的直方圖均衡化(CLAHE)算法[6]增強圖像對比度,得到壓縮后的圖像。
1.2 色域處理
1.2.1 色彩恢復
在RGB色彩空間中,R、G、B為3種基礎色,3種顏色不同程度地混合疊加,從而產生豐富而廣泛的顏色。在進行色調映射過程中,由于壓縮使得色彩的深淺程度前后發生了變化,壓縮后的圖像顏色偏淺,從而導致色彩失真,而其深淺程度的變化在RGB色彩空間無法直觀表示,為此本文引入HSI色彩空間。在HSI色度空間中,飽和度S(Saturation)表示顏色的深淺程度。其模型為圖2所示的雙圓錐3D模型,反映了人感知顏色的基本屬性,與人感知顏色的結果一一對應。圖像壓縮后,其顏色的深淺程度發生變化,在該模型上體現為3D雙圓錐輪廓收縮,引起收縮的主要原因是圖像色飽和度發生了變化。通過引入色飽和度參數s,來調整圖像色彩飽和度,從而使圖像色彩得到恢復。
在壓縮亮度范圍過程中,采用如下彩色圖像的還原公式,在色彩域利用處理前后的亮度信息來恢復圖像的色彩信息。
式中,Cl為LDR圖像在RGB顏色空間下三通道分量的色彩值,Ch為HDR圖像在RGB顏色空間下三通道分量的色彩值,Lin和Lout分別為輸入圖像壓縮前后的亮度數據,s是調節輸出圖像色彩飽和度參數。
對高動態圖像進行色調映射壓縮處理后,圖像中不同區域的像素亮度值的變化程度不同。在不考慮亮度值前后變化程度的情況下,固定的s值設置依然會引起某些區域色彩失真,不能使所有區域都有良好的色彩感觀,圖3為設置幾個固定s值對圖像進行處理后的效果圖。
從圖3可以看出,當s值為固定值時,并不能確保圖像中每個區域的效果都比較好。圖3(b)的參數s值設置為0.5時,圖像燈光下樹葉部分色飽和度較好,但是樹下區域飽和度較低。為了使圖像中不同區域的飽和度更符合視覺效果,對固定s值的設置提出改進,強調對任一像素點有相應的s值處理,以達到自適應的調節。
首先,考慮到亮度值的變化,采用亮度值處理前后的比值D來衡量變化程度,其表達式如下:
式中,D為壓縮前后的亮度比值,λ為映射常數。對亮度比值D進行歸一化處理,此時,任一像素點處亮度比值的大小反映當前像素點處壓縮前后的變化情況。
圖4曲線為圖像壓縮前后,亮度比值D與色飽和度參數s之間的關系。當壓縮比值D較小時,表示該點前后色彩變化程度不大(如圖3(b)中燈光下的亮區域),體現在HSI色度空間中為飽和度S變化對該點造成的收縮影響不大,此時在RGB色彩空間內,應使用較小的s值調整當前像素點,效果較好;當壓縮比值D較大時,表示該點前后色彩變化程度明顯(如圖3(d)中樹下的暗區域),體現在HSI色度空間中為飽和度S變化對該點造成的收縮影響較大,此時在RGB色彩空間應使用較大s值處理當前像素點,效果較好。兩者關系表達式如下:
式中,b、c為常數,D為壓縮前后的亮度比值,s為飽和度系數。根據每個像素點的比值大小,通過上述對應關系,可以自適應地選取s值。此時針對圖像中每一像素點,都有相應的s值進行處理,避免了用相同的s值對圖像的每個像素點處理。
最后,通過調節系數b和c的取值,使圖像可以得到較好的色彩表現。圖5為改進后算法處理得到的效果圖。
由圖5可以看出,采用改進后算法對圖像處理,圖像的色飽和度較好,此時b、c的取值分別為1和0.2。
1.2.2 色彩增強
由于HDR攝像機拍攝HDR圖像時會受到周圍環境光源的影響,導致合成后的高動態圖像色彩出現偏差。因此在圖像色彩恢復之后,需用色彩增強因子Kr、Kg、Kb對色彩恢復后圖像的R、G、B分量進行調整,增強色彩表現,從而消除偏色現象。色彩增強因子[7]的計算表達式為:
其中,Kr、Kg、Kb為得到的色彩調節因子,Rij、Gij、Bij為圖像中滿足一定條件的像素點處R、G、B分量的灰度值。像素點篩選具體做法如下:
(1)統計圖像中每個像素點的R/G和B/G的值;
(2)判斷該點的R/G和B/G的值,是否落在圖6在實驗環境下標定得到的色溫曲線[8]中的虛線之間區域。該區域的確定是通過不斷調整色溫曲線的上下限,而上下限的范圍通過圖像中每個像素點的R/G和B/G的落點情況統計得到;
(3)滿足條件的像素點,將其R、G、B分量的灰度值分別統計求和。
圖6的色溫曲線是在實驗燈箱內使用攝像機分別拍攝6 500 K、4 000 K、2 700 K色溫下的24色卡,統計圖像中每個像素點的R/G和B/G落點情況,經過線性插值和二維曲線標定得到。最后,用上述方法得到的增益系數Kr、Kg、Kb分別乘以色調映射算法中的R、G、B分量:
2 實驗結果及分析
本文實驗在Windows 7系統下的MATLAB平臺開發環境下,測試所用HDR圖像來自FPGA+DM368組合而成的HDR攝像機,其上搭載了高動態傳感器MT9M034對以下場景進行拍攝,得到尺寸為1 280×960的raw格式HDR圖像。MT9M034高動態傳感器的高動態范圍是通過多次曝光技術實現的,可處理的動態范圍達到120 dB。再分別使用本文算法,基于圖像色貌模型iCAM06算法以及基于Retinex的壓縮算法[9]進行比較,其結果如圖7~圖9所示。
由于人眼的直觀感受是評判圖像色彩恢復好壞的主要因素,本文選取3種算法對測試圖像處理后的效果圖,采用對比的方法進行主觀的評判。通過觀察圖7、圖8和圖9所示的3種算法處理后的效果圖可以看出,iCAM06算法和Retinex算法處理后的圖像在色彩方面的表現欠佳。為了能更加直接地說明算法處理前后圖像的效果,接下來選用圖像的信息熵作為其客觀評判標準。信息熵反映圖像中包含的信息豐富程度,其大小可以代表當前圖像所含信息量的多少[10],結果如表1所示。
3 結論
本文針對HDR圖像色彩重建過程中,受到色調映射處理和拍攝環境的光照條件的影響,引起再現LDR圖像與源圖像色外觀不一致的問題,提出了在色彩域增加色彩調節算法。算法首先在亮度域使用對數壓縮和限制對比度的自適應直方圖均衡化算法處理圖像;然后在色彩域通過圖像各像素點處的亮度比值自適應調節色飽和度參數,補償由于壓縮導致的色彩信息丟失;最后采用色彩增強因子校正因光照條件帶來的圖像偏色問題。
參考文獻
[1] HU K J,LU M Y,WANG J C,et al.Using adaptive tone mapping to enhance edge-preserving color image automatically[J].Eurasip Journal on Image & Video Processing,2010,2010(1):1-11.
[2] KASLIWAL H,MODI S.A novel approach for reduction of dynamic range based on hybrid tone mapping operator[J].Procedia Computer Science,2015,58:265-271.
[3] KUANG J,JOHNSON G M,FAIRCHILD M D.iCAM06: A refined image appearance model for HDR image rendering[J].Journal of Visual Communication & Image Representation,2007,18(5):406-414.
[4] REINHARD E,STARK M,SHIRLEY P,et al.Photographic tone reproduction for digital images[J].Proc.SIGGRAPH,2002,21(3):267-276.
[5] MANTIUK R,MANTIUK R,TOMASZEWSKA A,et al.Color correction for tone mapping[J].Computer Graphics Forum,2010,28(2):193-202.
[6] REZA A M.Realization of the contrast limited adaptive histogram equalization(CLAHE) for real-time image enhancement[J].Journal of Vlsi Signal Processing Systems for Signal Image & Video Technology,2004,38(1):35-44.
[7] 姚洪濤,李鑫巖.RGB空間的HDR圖像合成與色彩調節算法[J].長春理工大學學報(自然科學版),2015,38(5):145-149.
[8] 王敏,李斌橋,徐江濤.基于色溫估計的自動白平衡算法研究[J].光電子·激光,2011(12):1872-1875.
[9] 蘆碧波,陳靜,王建龍,等.一種改進的多尺度Retinex色調映射算法[J].計算機工程與科學,2017,39(5):951-957.
[10] 羅雪梅,王義峰,曾平,等.色外觀匹配的高動態范圍圖像再現[J].計算機研究與發展,2013,50(8):1787-1796.
作者信息:
陳文藝1,張 龍2,楊 輝1
(1.西安郵電大學 物聯網與兩化融合研究院,陜西 西安710021;
2.西安郵電大學 通信與信息工程學院,陜西 西安710021)