手機拍照背后還加載著圖像算法:為什么需要圖像算法?

　　人類進入智能手機時代后，攝影方式也發(fā)生了巨大變化：用來拍照的不再只是鏡頭和傳感器了，背后還加載著一系列的圖像算法，它可以用更快的速度處理圖像，并獲得更好的拍攝效果。

　　好作品只能依賴專業(yè)攝影師的時代過去了，圖像算法引入到手機拍照應用后，讓人人拍出好照片成為可能。

　　紫光展銳擁有自主研發(fā)的圖像算法團隊，而且這些算法已普遍應用在展銳的芯片平臺里。目前，展銳的圖像算法團隊已經(jīng)超過了200人，分布在美國、印度、中國臺灣、上海和北京等多個國家和地區(qū)。

　　更好的手機拍照效果需要圖像算法的加持，為了讓大家有更好的了解，接下來的系列，我們準備了幾篇科普、視頻和圖說，一起來看看吧~~~

　　這事得從人類對色彩的感知能力說起…

　　人類對色彩的感知能力是漫長進化過程中產(chǎn)生的一項重要能力，它使得我們眼中的世界五彩斑斕。顏色是怎么呈現(xiàn)出來的呢？它是光線通過眼睛成像到視網(wǎng)膜上，由視網(wǎng)膜上的視細胞感知光信號的強弱，視覺神經(jīng)對信號的傳播，再由大腦處理所產(chǎn)生的視覺感受。顏色的產(chǎn)生極其復雜，人類所獲得的色彩感受不但取決于光的物理特性，還受心理等因素影響。

　　首先，我們先來了解一下顏色的物理特性。肉眼所見到的光線（一般波長范圍是380-780nm，見圖1），是電磁波譜中人眼可以感知到的部分，不同波長的可見光表現(xiàn)為不同的顏色，對色彩的辨別是肉眼受到可見的電磁波輻射能刺激后引發(fā)的視覺神經(jīng)感覺。

圖1：可見光波長及其對應的顏色

　　人眼中對光敏感的細胞分為兩類：視桿細胞和視錐細胞。其中，視桿細胞對弱光線最敏感，光譜響應范圍覆蓋整個可見光區(qū)域，在500nm附近達到相應的峰值，但無法區(qū)分不同的波段的光線，因此無法產(chǎn)生色覺。在非常低的光照水平下，這樣的視覺叫做暗視覺，暗視覺僅視桿細胞在工作。所以在黑暗的夜晚，人們能看到物體，卻分辨不出物體的顏色。

　　在高光照水平下，主要工作的是視錐細胞，有色覺，這樣的視覺叫明視覺。視錐細胞分為三類：感紅細胞(L) 、感綠細胞(M)和感藍細胞(S)。對同一波長的光線，不同的視錐細胞有不同的響應能力（見圖2），因此視錐細胞具有顏色的辨別能力。

圖2：三種視錐細胞對光的響應能力

　　光源發(fā)射某一光譜分布的電磁波，經(jīng)過物體的反射或者透射進入人眼，再通過視錐細胞對光線的探測，這整個過程涵蓋了顏色的物理屬性。顏色同時受到人們的心理、現(xiàn)實經(jīng)驗等因素的影響，某個場景的光在視細胞產(chǎn)生的信號并不等于人們對這個場景的感受。例如，一張白紙不管在紅色還是綠色燈光下，人眼看起來都會覺得這是一張白紙，這來源于大腦的經(jīng)驗處理，這種現(xiàn)象叫做顏色恒常性。

　　可以說，你看到的景色都是經(jīng)過大腦處理加工過的，眼見并不一定為實哦~

　　圖像算法最大的用途是可以修復照片，使拍攝到的照片獲得真實的色彩效果，或者滿足用戶的某些色彩偏好。

【自動白平衡】

　　在展銳的ISP（Image Signal Processing）系統(tǒng)里，主要有自動白平衡（AWB）和顏色校正（CCM）模塊來處理色彩。

　　先看自動白平衡，ISP系統(tǒng)需要根據(jù)圖像的統(tǒng)計信息，計算出圖像R、B channel的增益，以實現(xiàn)自動白平衡功能，以求在各種復雜場景下均能準確還原物體本來的顏色。因為人類視覺系統(tǒng)具有顏色恒常性的特點，對事物的觀察可以不受光源的影響，但圖像傳感器不具有這個特點，因此在不同光線下拍攝的圖像，會呈現(xiàn)出不同的顏色。比如，在晴朗的天空下拍攝的圖像可能偏藍，而在燭光下拍攝的物體可能偏紅。

　　自動白平衡功能，就是模擬了人類視覺系統(tǒng)的顏色恒常性特點，來消除光源對圖像成像的不良影響。

圖3 ：左邊是自動白平衡功能關閉，右邊是自動白平衡開啟

　　紫光展銳的自動白平衡算法具有以下特點：

　　效果穩(wěn)定性好：所謂效果穩(wěn)定性，指的是拍照場景發(fā)生細微改變時，圖像色彩效果不會出現(xiàn)明顯跳變。

　　準確度高：展銳的算法在處理絕大部分場景時，都能得到符合預期的結(jié)果，尤其是用戶關心的藍天、綠植、人物等等重點場景和混合光源、純色、夜景等難點場景。

　　適用范圍廣、靈活性好：展銳的算法既可以運行在入門級相機設備上（如30萬像素的手表項目）上，也可以運行在中高端相機設備上（如3200萬像素以上的手機項目），還可以應用到車載記錄等物聯(lián)網(wǎng)領域中。而且，不同產(chǎn)品，展銳的自動白平衡算法可以實現(xiàn)靈活配置，實現(xiàn)算法效果、算法復雜度、內(nèi)存消耗等多樣化的分級需求。

【顏色校正】

　　相機實際是在模擬人眼的彩色成像來拍圖，由于相機傳感器的RGB三通道的光譜響應與人眼中視細胞的光譜響應（見圖2）不同，導致其拍攝的圖片與人眼看到的有差別，因此需要進行顏色校正（Color Correction Matrix，CCM）。

　　顏色校正矩陣一般通過標定得到，利用圖像傳感器拍攝得到的圖像與標準圖像相比較，計算得到校正矩陣（即CCM矩陣）。利用CCM矩陣對圖像的各像素點的進行驗收校正，以獲得最接近于物體真實顏色的圖像。

　　一般情況下，在顏色校正過程中，都會伴隨有顏色飽和度的調(diào)整。顏色飽和度是指色彩的純度，其色彩的純度越高，圖像表現(xiàn)越鮮明；純度越低，表現(xiàn)就越黯淡。

圖4 ：左邊是CCM關閉，右邊是CCM開啟

圖5：展銳CCM模塊的色彩還原效果評測

（圖中18個小圓點和小方點越接近，則表示色彩還原性越好）

　　隨著機器學習等高新技術(shù)的發(fā)展，以及用戶對手機拍照功能的需求日益苛刻，色彩還原技術(shù)也會面臨一些新的機遇和挑戰(zhàn)，例如如何利用AI技術(shù)提升色彩還原效果，如何在多攝像頭手機上實現(xiàn)更加一致的色彩還原。這些附加技術(shù)將給用戶帶來更好的手機拍照體驗，進而持續(xù)提升公司產(chǎn)品的競爭力。