人工智能能解決ISP的技術挑戰(zhàn)

圖像信號處理（Image Signal Processor，ISP）傳統(tǒng)上是多媒體市場的重要芯片支柱。從數(shù)字照相機到智能手機，ISP在一切需要拍攝圖像的領域都扮演著重要的作用。而隨著社會生活智能化的進一步提升，ISP也在進入許多新的市場應用領域，而這些新的智能場景對于ISP提出了新的需求。

首先是自動駕駛/輔助駕駛領域。機器視覺是自動駕駛/輔助駕駛的支柱技術，如果沒有機器視覺那么這些新的智能駕駛技術恐怕都很難成功。在自動駕駛/輔助駕駛領域，ISP扮演著重要的角色。ISP負責把原始影像（RAW Image）作相應處理，使之成為能夠更好地被機器視覺模型處理的圖像。在這個過程中，為了確保自動駕駛/輔助駕駛技術的可靠性，需要確保在低光照等情況下機器視覺模型也能正確工作，這就需要ISP能對于圖像做夜視和降噪處理。傳統(tǒng)上可以通過提高曝光時間來降低噪聲的影響，然而對于自動駕駛/輔助駕駛這類對于延遲非常敏感的場景，提高曝光時間并非一個有用的選項，這就需要ISP能夠使用下一代降噪和夜視技術來滿足相應的需求。 在自動駕駛/輔助駕駛之外，安防也是對于ISP技術有新需求的新智能場景。安防場景中，也需要處理各種低光照等場景，為了確保成像質量不受影響，也需要ISP能很好地處理這些場景，從而確保安防監(jiān)控能真正在所有時間段和所有場景下都能提供保護。

最后，在多媒體場景下（如手機等），拍攝也在越來越智能化，用戶對于拍攝成像質量的需求也在逐漸提升，除了和前述相似的夜景拍攝之外，還有各種智能化的需求，包括自動場景識別（從而能夠根據場景自動調用最佳的傳感器設定），自動人臉檢測（從而確保自動曝光和對焦等算法的準確性），超分辨（從而實現(xiàn)更好的遠距離拍攝）等等。這些都要么需要對原有的ISP功能做改進，要么就是需要ISP引入新的功能，從而確保用戶體驗。

01人工智能能解決ISP的技術挑戰(zhàn)

在前述的智能化應用中，事實上使用新一代的人工智能神經網絡往往是夜視、場景識別、人臉檢測、超分辨等的最佳解決方案。

從夜視降噪來說，目前的最優(yōu)解決方案就是使用神經網絡來完成降噪。由于噪聲是一個隨機過程，因此很難有解析的公式來完成降噪；而是用神經網絡則可以通過收集大量的同一個場景的低光照／高光照照片對來實現(xiàn)訓練，確保神經網絡能在訓練數(shù)據集上能夠將低光照照片擬合到高光照照片上，這樣當訓練數(shù)據量足夠大的時候，該神經網絡就能夠有很好的泛化能力，從而在所有的場景下都能夠完成夜視降噪。如下圖所示，右邊使用人工智能神經網絡的解決方案效果遠遠好于傳統(tǒng)ISP的夜視降噪方案。

除了夜視降噪之外，超分辨是人工智能另一個有顯著優(yōu)勢的場景。超分辨和夜視降噪一樣，很難對于整個問題做數(shù)學上的建模，但是通過大量數(shù)據的學習，神經網絡可以實現(xiàn)非常好的超分辨效果，其效果遠遠超過普通的數(shù)字變焦，從而可以以較低的硬件成本（無需高倍鏡頭）就能實現(xiàn)很好的用戶體驗。

最后，對于場景識別、人臉檢測等功能來說，本來人工智能就已經在這類場景得到大量的廣泛應用，因此把相關的模型使用到ISP相關的領域，讓ISP來根據模型的輸出來做相關的拍攝參數(shù)調整，也是自然不過的選擇。值得注意的是，場景識別和人臉檢測使用神經網絡的準確度會比使用其他傳統(tǒng)方法高許多（判斷錯誤的概率甚至可以低一個數(shù)量級），因此未來使用人工智能也是自然的方向。

02人工智能與ISP的整合

回到芯片設計的角度，為了在ISP中加入人工智能的元素，就需要對于ISP做相應的調整，來和人工智能做整合。 眾所周知，這一代的基于神經網絡的人工智能的一個重要特點是神經網絡參數(shù)多，計算量大，因此為了滿足ISP的相關需求，需要能有一個能高效處理人工智能計算的相應模塊（AI引擎）來滿足ISP的需求。同時需要注意的是，由于ISP對于延遲和功耗都有需求，因此AI引擎也必須考慮這兩方面的因素。 為此，有兩種不同的ISP整合人工智能解決方案。第一種方案是把ISP和AI引擎整合到一起，在同一個IP模塊里面。這樣做的好處在于ISP和AI引擎耦合度較高，因此能夠通過ISP和AI引擎的協(xié)同優(yōu)化來實現(xiàn)較高的延遲和功耗。舉例來說，ISP往往是一個流水線，處理像素的時候也是分批處理（而不會一直是等到所有像素都傳到之后再處理）；另一方面，基于卷積神經網絡的AI模型也可以利用類似的流水線特性，將像素分批處理。通過將ISP和AI引擎深度整合在一起，就可以協(xié)同設計這樣的流水線，從而實現(xiàn)更好的延遲。另外，神經網絡和ISP事實上對于DRAM訪問都有很高的需求，如果能夠將ISP和AI引擎通過深度整合來協(xié)同優(yōu)化內存訪問的調度，從而確保兩者不會同時大量訪問內存，將會大大減少對于DRAM帶寬的壓力。然而，這樣設計的問題在于AI引擎只能被ISP調用，因此如果ISP不工作的時候，AI引擎事實上就不會被打開，從而就有了dark silicon（芯片面積浪費）的問題；另外ISP和AI引擎的協(xié)同設計很多時候是假設AI引擎會跑幾個固定的模型，如果想要更新模型的話類似的硬件上固化的設計就不再是最優(yōu)的了。 除了深度整合之后，另一種設計思路是將ISP和AI引擎分開，但是確保ISP可以AI引擎之間有順暢的數(shù)據通路，同時確保ISP有高優(yōu)先級調用AI引擎。這樣的好處是AI引擎不會被浪費，就是ISP不啟動的時候也可以給其他應用調用；另外可以靈活配置使用在AI引擎中的模型，從而讓ISP中使用的神經網絡模型可以使用軟件控制。當然，由于ISP和AI引擎耦合度較低，這樣也較難深度地為ISP和AI引擎做協(xié)同優(yōu)化，從而在延遲和能效比方面將會有一定成本。

我們認為，在這兩種整合模式中，如果目標產品本身就是一塊ISP芯片，那么顯然第一種整合方式是最合理的，因為ISP芯片的首要目標就是高性能高能效比，而且其AI引擎本來就不會被系統(tǒng)中的其它模塊所調用。另一方面，如果目標產品是ISP IP的話，那么兩種整合方式都有其合理性，對于追求性能的高端ISP IP，我們認為更有可能會在ISP中集成一個較為強力的AI引擎，確保高性能高能效比；對于中端的ISP IP，未來的方向可能是在ISP IP中整合進一個較為基本的AI引擎，來確?；镜南嚓P模型可以運行，同時也會在ISP上留夠接口，使得ISP能通過片內互聯(lián)的方式來訪問SoC上的其他AI引擎，從而如果需要運行較大的模型時候可以使用其他的AI引擎實現(xiàn)。

03AI ISP在芯片業(yè)界已經漸成主流

AI ISP事實上已經得到了半導體業(yè)界的重視，相關的產品已經漸漸問世。 去年年底，海思就宣布推出了下一代用于安放場景的越影ISP芯片，其主要的亮點就是通過與AI引擎的深度整合，實現(xiàn)夜視降噪的高效處理。同樣是在去年，Oppo發(fā)布了自研的馬里亞納ISP芯片，其主要特點也是通過整合高達18TOPS算力的AI引擎，從而實現(xiàn)4K影像的實時夜視降噪，從而為手機用戶帶來全新的用戶體驗。 在今年，也有越來越多的廠商推出了AI ISP。今年年初，安霸在CES上發(fā)布了AISP，該產品充分利用了安霸在圖像和AI領域的積累，從而實現(xiàn)高效的下一代ISP；上個月，芯原也推出了AI-ISP的IP，同樣是針對夜視降噪場景；愛芯元智的愛芯智眸AI-ISP也正式發(fā)布，通過將ISP中的幾個關鍵硬件模塊抽離并用AI算法取而代之，實現(xiàn)整個AI ISP的最佳效果。

如前所述，隨著自動駕駛/輔助駕駛、安防、消費電子的進一步智能化，相應的對于ISP的需求正在推動ISP和人工智能做整合，而上述公司的新產品也恰好是針對了這些重要的應用場景。我們認為，隨著智能化的進一步加深，AI將會成為ISP中越來越重要的一個環(huán)節(jié)，未來ISP芯片和IP中也會看到AI引擎的進一步整合。

GTIC峰會預告

11月8日，GTIC 2022全球自動駕駛峰會將在深圳舉辦。西安交通大學薛建儒教授、元戎啟行CEO周光、黑芝麻智能CMO楊宇欣、安謀科技智能物聯(lián)及汽車業(yè)務線負責人趙永超、后摩智能聯(lián)合創(chuàng)始人、產品副總裁信曉旭等嘉賓已確認出席和演講。歡迎報名線下參會交流。

審核編輯 ：李倩