揭開(kāi)圖形信號(hào)處理的面紗，看背后的大學(xué)問(wèn)

　這篇文章是我從事ISP研究數(shù)年來(lái)的一些經(jīng)驗(yàn)總結(jié)，沒(méi)有用到深?yuàn)W的理論知識(shí)，有的只是根據(jù)實(shí)際狀況來(lái)處理的一些常規(guī)方法，以及曾經(jīng)犯過(guò)的錯(cuò)誤總結(jié)。我想把ISP function的原理用簡(jiǎn)單淺顯的語(yǔ)言描述出來(lái)，希望對(duì)初學(xué)者有所幫助。這里的ISP主要是指從CMOS sensor輸出的bayer pattern，到轉(zhuǎn)換成通用的YUV或者YCbCr格式的過(guò)程，通常用于USB攝像頭/監(jiān)控?cái)z像頭/手機(jī)/平板等芯片設(shè)計(jì)中。
　　在IC設(shè)計(jì)中，受限于處理速度，像素級(jí)的ISP算法都相對(duì)簡(jiǎn)單，只會(huì)用到加/減/乘/比較等基本運(yùn)算，通常不會(huì)用到除法、指數(shù)、對(duì)數(shù)、平方根、三角函數(shù)等復(fù)雜運(yùn)算。以1080p 30fps的視頻為例，像素處理速度為1080*1920*30=62M pixel/s，每個(gè)pixel都需要非常多的基本運(yùn)算，用pipeline的方式實(shí)現(xiàn)連續(xù)高速計(jì)算。像除法，指數(shù)運(yùn)算或者三角函數(shù)，則較多的時(shí)鐘周期才能完成一次計(jì)算，因此不適用于ISP的像素級(jí)處理，在算法設(shè)計(jì)中要盡量避免這些復(fù)雜運(yùn)算。ISP中也有針對(duì)整幅圖像處理的運(yùn)算（非像素級(jí)），例如白平衡AWB，自動(dòng)曝光AE和自動(dòng)對(duì)焦AF，這些算法比較靈活，處理速度要求不高，通常由CPU來(lái)處理的，任何復(fù)雜運(yùn)算都可以用，只要CPU性能足夠。
　　研究ISP算法是一件充滿樂(lè)趣的事情，原因在于ISP算法沒(méi)有標(biāo)準(zhǔn)答案，任何ISP算法都沒(méi)有一個(gè)標(biāo)準(zhǔn)協(xié)議，每個(gè)人都可以自由發(fā)揮自己的想象力，目的只有一個(gè)，讓人眼看得舒服，大家看著好，才是真的好。每個(gè)人的想象力各不相同，算法復(fù)雜度也是無(wú)窮盡，評(píng)價(jià)ISP算法的優(yōu)劣，主要就是一個(gè)性?xún)r(jià)比：在一定復(fù)雜度要求的條件下，達(dá)到最好的圖像質(zhì)量。在學(xué)習(xí)ISP相關(guān)的paper的時(shí)候，要關(guān)注的重點(diǎn)是算法的原理，或者說(shuō)出發(fā)點(diǎn)，而不是計(jì)算公式，因?yàn)楣街型ǔ６际菑?fù)雜運(yùn)算，難以實(shí)際用起來(lái)，在理解了原理之后，可以找近似的替代算法來(lái)達(dá)到相近的效果。
　　從視覺(jué)感受來(lái)分，我把ISP大致分成亮度，色彩和細(xì)節(jié)三個(gè)部分。亮度是指對(duì)圖像整體的亮度調(diào)整，涉及到的算法有自動(dòng)曝光Auto Exposure，黑電平校正Black Level Correction，鏡頭陰影校正Lens Shading Correction，Gamma，High Dynamic Ranger等。涉及到色彩的有白平衡Auto White Balance，色彩校正Color Correction Matrix，飽和度Saturation，色相Hue等。細(xì)節(jié)的算法主要的去噪Denoise，插值interpolation，縮放zoom，邊緣增強(qiáng)edge enhance等。還有一些其他相對(duì)特殊的算法，例如自動(dòng)對(duì)焦Auto Focus，防閃爍anti-flick等。一個(gè)簡(jiǎn)化的ISP算法框架如下圖。
　　
　　Figure 0.1 ISP簡(jiǎn)單框架
　　ISP各個(gè)基本算法是相對(duì)獨(dú)立的，但是在整體效果呈現(xiàn)上，又是相互關(guān)聯(lián)的。舉例來(lái)說(shuō)，Lens Shading Correction這個(gè)算法把要圖像四周的拉亮，這就導(dǎo)致圖像四周的Noise比較大， 而Noise較大的話，edge enhance就要對(duì)四周的像素做特殊處理，使得Noise不會(huì)被放大，這會(huì)導(dǎo)致圖像中心相對(duì)清晰，四周相對(duì)模糊。經(jīng)常調(diào)校ISP的人，對(duì)此可能深有體會(huì)。諸多ISP算法模塊，內(nèi)在是有一些確定的邏輯關(guān)系的，上圖中的框架結(jié)構(gòu)，有些順序是可以改變，有些則不可以改變， 有些改變會(huì)導(dǎo)致算法復(fù)雜度提升。ISP算法中有不少特性是相互對(duì)立矛盾的，例如清晰度和噪聲，AWB中的穩(wěn)定度和精確度，AE中的收斂穩(wěn)定性和收斂速度等，這些對(duì)立的特性，就像天平的兩端，需要根據(jù)客戶需求或者實(shí)際應(yīng)用場(chǎng)景去做平衡。
　　對(duì)ISP的研究學(xué)習(xí)過(guò)程，既有符合構(gòu)想預(yù)期的情況，也有充滿意外的時(shí)候，同時(shí)感嘆一下人眼或者說(shuō)人腦的高復(fù)雜度和高靈敏度。ISP的各種數(shù)學(xué)運(yùn)算，最終是要讓CMOS sensor感應(yīng)到的圖像，轉(zhuǎn)化模擬成人眼/人腦感受到的圖像，通過(guò)不斷的學(xué)習(xí)和嘗試，讓各種ISP模塊中的數(shù)學(xué)計(jì)算，能夠得出期望的圖像效果，或者從圖像效果反推出算法中的原因所在。一個(gè)有經(jīng)驗(yàn)的ISP算法研究工程師，就是建立起數(shù)學(xué)計(jì)算和圖像效果之間的映射關(guān)系。
　　接下來(lái)，我將從圖像format開(kāi)始，然后再?gòu)膱D像亮度，色彩和細(xì)節(jié)三個(gè)方面來(lái)一一介紹ISP中各個(gè)function。