ISP是什么，達摩院為什么要自研ISP圖像處理器

（文章來源：獵云網(wǎng)）

4月8日，阿里達摩院宣布推出自研ISP圖像處理器，并且在夜間等具有挑戰(zhàn)性的環(huán)境下圖像識別精準率比業(yè)界主流產(chǎn)品有10%以上的提升。ISP處理器是攝像頭的關(guān)鍵組件，阿里達摩院進入這個領(lǐng)域的邏輯是什么？

ISP是圖像信號處理器（Image Signal Processor）的簡稱，目前已經(jīng)被廣泛應(yīng)用于我們每個人的智能手機當中。大家都知道現(xiàn)在有海量的嵌入式設(shè)備都帶攝像頭，近至我們的智能手機、很多的大眾消費級的顯示器，當然也包含正在研發(fā)當中的智能駕駛系統(tǒng)，以及各種公共場所上的監(jiān)控設(shè)備，遠至在近地軌道上運行的眾多微型衛(wèi)星，可以說圖像信號的獲取和處理是一個極為廣泛存在的需求。圖像信號處理器能夠?qū)z像頭拍攝到的畫面做不同程度的分析，并對畫面做不同程序的增強和改善。

以現(xiàn)在的智能手機為例，大家?guī)缀趺刻於紩褂米约旱闹悄苁謾C來拍照，而現(xiàn)在的各家智能手機廠商，都并不直接研發(fā)攝像頭模組，都是采購歐菲光，索尼等第三方廠商的攝像頭模組，有時候不同的智能手機用了同一個廠家、同一個型號的攝像頭，但是照片呈現(xiàn)出來的質(zhì)量仍然有非常明顯的不同，這很大程度上就是因為各家廠商使用的ISP的好壞導(dǎo)致的。

對于大家比較熟悉的智能手機日常拍照的場景，手機芯片內(nèi)置的ISP會進行自動人臉對焦，自動色調(diào)映射等一系列功能，這其中有很多講究，都會直接影響到最終照片質(zhì)量，例如ISP的自動圖像銳化，如果銳化太多，則照片會有比較明顯的“扎眼”的感覺，如果銳化太少，則照片整體會有一種朦朧感，給人的感受是這個手機的拍照系統(tǒng)捕捉細節(jié)的能力不足。而眾多消費者們每天拍照的場景條件千奇百怪五花八門，沒有一種自動銳化技術(shù)是放之四海皆準的，ISP必須能夠自動地檢測識別場景中的一些特征來決定銳化進行到何種程度。這類ISP研發(fā)中的難點反應(yīng)到產(chǎn)品上，就是大家經(jīng)常會爭論的各家智能手機拍照系統(tǒng)的“出片風格”、“出片質(zhì)量”了。

在當前流行的在自動駕駛系統(tǒng)構(gòu)架設(shè)計中，總的來說一般都會有一個很強的人工智能系統(tǒng)，去判斷拍照系統(tǒng)傳回的當前場景信息，例如當前場景存在哪些車輛，行人，障礙物，估計速度，估計距離等等。讓這個人工智能系統(tǒng)要想實現(xiàn)高度準確判斷的前提，是拍照系統(tǒng)傳回的當前場景信息盡可能準確無誤。

可以說相比手機這樣的大眾消費品，自動駕駛更加需要ISP。因為對于手機來說，ISP只是決定照片質(zhì)量的好壞，無非是一個觀感問題，而在高速運動的車輛上，如果ISP不能準確地將場景特征暴露給后繼系統(tǒng)部件，導(dǎo)致的結(jié)果就可能會是災(zāi)難性的。

例如，由于車輛會處在高速運動當中，所以攝像頭拍攝到的照片往往會帶有一定的“拖尾”或者“重影”，這對于圖像處理系統(tǒng)中的后繼算法去識別物體特征是不利的，因此ISP的重要職責之一就是減少這種“拖尾”和“重影”。這在ISP當中是一個非常重要的子領(lǐng)域叫做“運動估計”。

再例如，如果是在夜間行車，那么由于當前攝像頭傳感器技術(shù)的限制，夜間的成像往往會暴露比日間成像更多的問題，攝像頭傳感器為了捕捉更多的場景細節(jié)，就不得不延長曝光時間，提高進光量，但這樣一來又會帶來明顯的噪點。例如在這組對比圖片中，左圖經(jīng)過處理后明顯暴露出了更多的場景信息，樹木，草地的細節(jié)和邊緣都更加清晰銳利，但與此同時在背景的夜空中，在遠處的建筑上，都存在著更多的噪點。

再考慮到自動駕駛系統(tǒng)中應(yīng)用的電子元器件還有經(jīng)過車規(guī)級驗證，難度又更上一層樓。據(jù)筆者所知，一些車規(guī)級電子元器件需要耐受125度的工作溫度，而一般大眾消費級市場上的芯片，例如Intel的CPU，只要求100度，接近這個溫度就會觸發(fā)過熱保護，電腦會自動掉電重啟。與此同時車規(guī)級芯片對可靠性也有額外要求，因此可以毫不夸張地說，ISP在整個自動駕駛系統(tǒng)中的地位是至關(guān)重要的，ISP的研發(fā)也是非常具有技術(shù)含量和挑戰(zhàn)性的一個領(lǐng)域。

經(jīng)過20年的發(fā)展，阿里從一家電商公司發(fā)展成為一家科技巨頭公司，并且今天已經(jīng)開始扮演全社會數(shù)字經(jīng)濟的基礎(chǔ)設(shè)施。今天的阿里不僅在業(yè)務(wù)范圍上進行橫向擴張，同時在業(yè)務(wù)深度上也在進行縱向擴張。所以我們看到過去幾年里，阿里進入了芯片等基礎(chǔ)研研究領(lǐng)域，成立了達摩院，設(shè)立了平頭哥半導(dǎo)體公司，并且在量子計算等很多前沿的領(lǐng)域展開研究。

自動駕駛毫無疑問是未來十年中可能帶來顛覆性變化的賽道，阿里沒有理由缺席，更不要說阿里的很多業(yè)務(wù)場景也需要自動化升級。而頂級的自動駕駛系統(tǒng)，必然是軟件-硬件的配合（人工智能算法 + 傳感器），同樣也有硬件-硬件間的配合（多傳感器融合）。

理想的自動駕駛系統(tǒng)需要在復(fù)雜的道路光線環(huán)境/惡劣天氣環(huán)境下仍然可以得到滿足深度學(xué)習算法所需要的圖像數(shù)據(jù)，這需要算法設(shè)計和硬件設(shè)計之間的相互配合，與此同時，預(yù)知圖像傳感器的曝光時間極其重要，可以保證雷達掃描到某一位置時刻同時觸發(fā)圖像傳感器曝光，這需要硬件與硬件之間的相互配合。因此達摩院選擇了自研ISP去追求這一極致。

從目前接觸到的評測結(jié)果來看，達摩院的自研ISP已經(jīng)毫無疑問地躋身業(yè)界一流水平，經(jīng)過自研ISP與深度學(xué)習算法的互相配合，夜間場景的識別準確率提升了十個百分點。不要小瞧這十個百分點的提升，這背后有深層算法的創(chuàng)新，對于提升自動駕駛設(shè)備的感知能力有著巨大的提升作用。
（責任編輯：fqj）