基于AI視覺處理的更多新應用

在對人工智能（AI）而非提高像素的需求推動下，特別是在由計算機視覺和數(shù)據(jù)驅動的決策制定方面，GPU（圖形處理單元）領域已出現(xiàn)一場革命。神經網(wǎng)絡的到來已使視覺處理成為現(xiàn)代世界的關鍵因素。因此，機器人處理操作、智能監(jiān)控攝像頭以及汽車高級駕駛輔助系統(tǒng)（ADAS）等相關行業(yè)都發(fā)生了變化——隨著這類技術的全面涌現(xiàn)，未來還將出現(xiàn)更多新的應用。

換句話說，專業(yè)人員需要考慮現(xiàn)在以及未來幾年的市場情況。隨著AI方面的開發(fā)繼續(xù)取得突破性進展及其投資量超過幾乎所有其他行業(yè)，AI對我們所做一切產生影響只是時間問題。 想想自從第一款智能手機推出以來，移動設備上已增加大量新的應用，從而打開了種種基于位置的服務、社交互動、商業(yè)以及娛樂。AI有可能開啟新的應用，并使現(xiàn)有應用得到發(fā)展，使之大幅改進，而為用戶提供更好的服務。

云端作用

AI視覺處理已從數(shù)據(jù)中心迅速發(fā)展到邊緣，最新的專用集成電路（ASIC）和片上系統(tǒng)（SoC）IP正在圍繞一個主題發(fā)展，即從視覺信息的預處理，到傳統(tǒng)的計算機視覺算法，然后再用神經網(wǎng)絡進行邊緣推理，產生對象檢測、識別以及適當?shù)膭幼鳌?/p>

AI這個術語是包括計算機視覺深度學習在內的多種機器學習的總稱。這些網(wǎng)絡的設計旨在使用數(shù)字等效物和感知器來模擬人腦的神經元和突觸，它們通常需要經過訓練，才能識別視覺等數(shù)據(jù)中的模式，然后當遇到新的數(shù)據(jù)時，就可以從中推斷出數(shù)據(jù)可能的含義。盡管推理通常是在本地使用GPU或專用神經網(wǎng)絡加速器（NNA）IP實現(xiàn)，但訓練則通常是在數(shù)據(jù)中心的計算機上通過GPU來完成——這類處理器非常適合處理并行流水線任務。

在過去十年，由于可負擔計算能力的增加，以及卷積神經網(wǎng)絡（CNN）及其所用傳感器的發(fā)展，視覺處理一直在以指數(shù)級的速率進步。具體而言，若能根據(jù)傳感器、數(shù)據(jù)集和SLAM（同時定位與映射）算法輸入去“了解”世界并對其“開發(fā)出”表征模型，那么系統(tǒng)就可以開始掌握周圍環(huán)境及其在空間中的位置，并做出預測和采取行動。在云端訓練出的高級系統(tǒng)現(xiàn)在能夠顯著加快推理速度，這樣就可以以支持實時決策的速度來完成對象識別。自動駕駛汽車中的嵌入式系統(tǒng)具有多個傳感器，這樣的系統(tǒng)可以識別其他車輛，區(qū)分道路與人行道以及行人與動物。然后，它們就可以開始對行人是否會即將進入公路進行預測。

值得注意的是，這種高級推理傳統(tǒng)上是在云端執(zhí)行，而現(xiàn)在正轉向在邊緣設備上運行，即在本地使用一個1到2mm2的嵌入式處理器芯片，而以極佳的性能對網(wǎng)絡層進行加速。也就是說，現(xiàn)在可以將強大的AI計算內置到非常小的傳感器、電子控制單元（ECU）和物聯(lián)網(wǎng)（IoT）設備當中。

隨著AI越來越靠近邊緣并進入到傳感器、攝像頭和移動設備等設備中，它不僅消除了對基于云端推理架構的需求，而且將分析轉移到設備本身，消除了處理延遲，減少了數(shù)據(jù)傳輸和帶寬，同時可以增加安全性。強大的CNN可以通過量化和適應部署在小型邊緣設備中，并且當推理可以在小到大頭針針頭大小的芯片上運行時，這些設備就可以對大量的市場產生影響，例如安全、零售、工廠、家庭和汽車，無處不在。

神經網(wǎng)絡正在成為異構系統(tǒng)中的重要組成部分，涉及GPU和NNA的組合，它們分別可以做自己最擅長的事情并相互補充。

CPU、GPU還是NNA？

由于CPU或GPU可提供的現(xiàn)成計算能力大幅增加，神經網(wǎng)絡已變得非常普遍。然而，AI運算涉及到高度密集型的計算，這也就解釋了為何當談到邊緣設備時，它們難以實現(xiàn)令人滿意的性能——專用硬件解決方案則更為可取。例如，如果我們對典型的移動CPU以“1倍”來衡量其在運行神經網(wǎng)絡時的性能，那么GPU可將這個速度加速到大約12倍。但是，在專用的神經網(wǎng)絡加速器上，這些運算的運行速度可以快100倍（對于支持的層），如果運行在較低的位深度，例如4位，則可以快200倍。

這種方法使用定點量化數(shù)據(jù)類型來最小化模型的大小和所需的帶寬。無損壓縮進一步提高了效率。此外，一些NNA硬件核心IP支持可變位深度，這樣就可以逐層調整權重，實現(xiàn)最大的部署模型精度，同時最小化模型大小，從而減少內存帶寬和功耗?？偟膩碚f，這樣可以實現(xiàn)非常高效的性能并滿足低功耗要求。小型（約1 mm2）NNA出色的功率效率，甚至可以使設備以電池或基于太陽能或風能收集到的能量而運行。

用例1：圖像預處理

將GPU和NNA結合使用的高級方法，可實現(xiàn)用GPU對魚眼鏡頭圖像（例如廣角/魚眼鏡頭）進行去扭曲處理，然后將其作為輸入送到NNA，再運行SSD（單鏡頭檢測）算法而在輸入的去扭曲圖像上進行對象檢測（圖1）。這種方法已經得到實際使用，例如安防監(jiān)控，或者將它用到需要用智能攝像頭或安裝在頭頂上的攝像頭來捕獲巨大視野的場景，或者用它來減少鏡頭失真。

圖1：預處理案例。

用例2：兩級對象檢測

然而，對于需要中間處理的網(wǎng)絡，例如選擇已訓練的感興趣區(qū)域或人群中的人臉，則可以采用諸如Faster R-CNN的兩級對象檢測網(wǎng)絡實現(xiàn)（圖2）。另一個可能的例子是將神經網(wǎng)絡鏈接在一起，即將一個網(wǎng)絡的輸出作為另一個網(wǎng)絡的輸入，其中包含了預處理、中間處理和后處理。處理路徑中間的非神經網(wǎng)絡運算可以根據(jù)適用情況而在GPU或CPU上進行處理，而可加速的層則可以在NNA上運行。

圖2：兩級對象檢測。

智慧城市、智能工廠和自動駕駛汽車中的AI處理

如果能將GPU和NNA組合到同一芯片上，則有機會充分利用這兩個領域，而將圖形視覺計算處理與神經網(wǎng)絡相結合，這通常會使用共享內存來減少帶寬和外部數(shù)據(jù)傳輸。

智慧城市

智慧城市與基礎設施有關（圖3）。在智慧城市里，傳感器將數(shù)據(jù)轉發(fā)回云端的“大腦”，通過監(jiān)控交通流量來平穩(wěn)地引導交通，從而提高道路效率，而車輛依靠這種智能基礎設施來讓駕駛員了解即將到來的交通狀況。因此，車與燈柱，交通信號燈和街道標志進行交互，這可能會讓人覺得不可思議；未來，我們的車會一直做這樣的事情。因此，我們將看到越來越多的車對車（V2V）和車對基礎設施（V2X）進行通信，以及智能邊緣傳感器“所見”數(shù)據(jù)的交互，及其如何作為有用信息進行傳遞。

圖3：智慧城市場景。

V2X將會成為一項基本要求——這個領域將使用AIoT（在物聯(lián)網(wǎng)中結合使用人工智能）并將采用數(shù)萬億個傳感器。AIoT將會支持這種車對基礎設施的通信，也就是說它們之間會進行多方面的信息交換，確保車輛能根據(jù)實時預測的信息做出明智的選擇。例如，要是人類管理員疏忽，忘了對高速公路標志上的過時信息更新，那將多么令人沮喪？或者，要是能知道提前下高速能避免繞遠路或排長隊，那豈不是更好？

目前，衛(wèi)星導航系統(tǒng)依靠眾包數(shù)據(jù)來實現(xiàn)這一目標，但使用實時信息，可以使這個過程實現(xiàn)自動化并減少獲取數(shù)據(jù)的延遲。

汽車電子：自動駕駛汽車

自動駕駛汽車上裝有多個攝像頭，用來實現(xiàn)計算機視覺、對象識別、車道警告和駕駛員監(jiān)控，以及其他傳感器（例如，熱成像、RADAR和LiDAR）而實現(xiàn)傳感器融合。在邊緣端處理數(shù)據(jù)，可以最大程度地降低汽車收發(fā)數(shù)據(jù)所需的帶寬，并避免分析的延遲。在有連接盲點或延遲非常嚴重的時候（例如以70mph以上的速度行駛），邊緣處理對能否挽救生命起到決定性作用。

此外，人工智能和路徑規(guī)劃可以識別和預測是否有小孩會走到公路上，從而讓車輛預測和減速，以便采取規(guī)避行動。在更簡單的層面上，自動代客泊車可以使駕駛員省去尋找停車位的負擔。

再者，邊緣傳感器可以跟蹤水、廢物、能源和環(huán)境污染（進而對流量改道而減少對特定地區(qū)的污染），以及使家庭和工作場所變得更安全和智能。

在智慧城市，AIoT將使更智能的邊緣設備不僅是數(shù)據(jù)生成器（傳感器），而且是數(shù)據(jù)聚合器，數(shù)據(jù)交換和數(shù)據(jù)驅動的決策“大腦”。對于城市中的汽車而言，這意味著可以通過街道基礎設施（V2X）和其他車輛（V2V）不斷對汽車更新信息來分散交通堵塞或完全消除堵塞，共享數(shù)據(jù)也可更好地對路線規(guī)劃和行車安全進行決策，并為救護車通行清理道路。

未來工作

在工作場所，以往“不通情達理”的工業(yè)機器人和自動駕駛車輛將變得可“了解”它們周圍的環(huán)境和人類的存在，從而使未來的工廠變得更加安全，例如，如果有人進入到機器人的工作范圍，它就能立即了解到將發(fā)生的事情并進入到安全模式，從而提高安全性。雖然工廠和工作場所正采用機器學習來徹底改變任務學習，但我們仍然需要保留在必要時允許人類進行介入和干預的權利。我們正在進入可 “教授”機器人做特定任務的階段，例如讓它們做弧形運動或者在做某項事時實現(xiàn)可接受的運動范圍。

同樣，我們將擁有智能便利店，顧客在此可以方便地選擇零售商品，例如維生素飲料，然后當他離開商店時，商店就會自動將款項從其帳戶扣除，并更新其忠誠度積分，同時對貨架進行補充。所有這一切都是依靠傳感器和攝像頭的動作實現(xiàn)，而沒有任何的人類互動。

本文小結

人工智能正在推動第四次工業(yè)革命。我們所生活的時代激動人心，我們幾乎每天都能看到有進步發(fā)生。業(yè)界對圖形和人工智能的投資也正在以指數(shù)級的速度擴大，并正在通過持續(xù)創(chuàng)新來開發(fā)新的用例。計算機和機器視覺的這些發(fā)展引人入勝，我們可以通過傳感器、邊緣設備和先進的高性能IP來為我們的世界增添智能。使用專用芯片IP進行神經網(wǎng)絡加速正在創(chuàng)造“智能邊緣”，我們正看到新的“視覺技術”部署在此，從而改變我們的世界。