基于NOVATEK NT98336 結(jié)合搭載 Hailo-8 的后端智能影像分析解決方案

在智能影像視頻分析的廣泛應(yīng)用下，多重識(shí)別是現(xiàn)今影像監(jiān)控系統(tǒng)中的一個(gè)重要應(yīng)用，在此過程中會(huì)使用多個(gè)影像視頻流來做分析識(shí)別，這有助于數(shù)據(jù)分析以及安全上的操作。而多重識(shí)別則需要有較高性能的計(jì)算與使用深度學(xué)習(xí)來將多重識(shí)別功能付諸實(shí)現(xiàn)?；诖艘辉瓌t下, 國內(nèi)IC設(shè)計(jì)領(lǐng)導(dǎo)廠商聯(lián)詠科技 Novatek 提供使用自家高性能芯片 NT98336 透過 PCIe Gen3 界面結(jié)合搭載擁有每秒高達(dá)26兆次運(yùn)算(TOPS)的 Hailo-8人工智能處理器，以開發(fā)具有高效能的后端智能影像視頻分析解決方案。

聯(lián)詠科技 Novatek NT98336 是一款專為多路 H265 高清 DVR/HVR 系統(tǒng)設(shè)計(jì)的專業(yè) SoC 芯片。它內(nèi)置 ARM Cortex CA53 四核 CPU、H.264/H265 編解碼器、MJPEG 編解碼器、Novatek CNN Gen2.5 - 2.25T 硬件加速器、2D 圖形加速引擎、多通道高清視頻采集、4K 超高清顯示控制器、RGMII 以太網(wǎng)控制器、USB3.0 和 USB2.0 端口、PCIe Gen3、SATA3.0 端口和 AMBA 總線架構(gòu)為用戶提供高性能高清 DVR/HVR。NT98336 還提供視頻預(yù)處理和后處理，并支持多格式視頻輸入應(yīng)用于高視頻質(zhì)量高清 DVR/HVR 的應(yīng)用。

(Novatek NT98336 Evaluation Kit)

Hailo-8人工智能處理器則是選用 Hailo-8 M.2 模塊，它是一款適用于 AI 應(yīng)用的 AI 加速器模塊。該 AI 模塊基于每秒26兆次運(yùn)算(TOPS)的 Hailo-8人工智能處理器，具有高能效。M.2 AI 加速器具有完整的 PCIe Gen-3.0 2通道接口，能提供前所未有的 AI 性能，并為廣泛市場提供低功耗深度神經(jīng)網(wǎng)絡(luò)推理。利用 Hailo 的綜合數(shù)據(jù)流編譯器及其對標(biāo)準(zhǔn) AI 框架的支持，可以輕松移植其神經(jīng)網(wǎng)絡(luò)模型 Hailo-8，提供高性能人工智能產(chǎn)品。

(Hailo-8 M.2 AI Acceleration Module)

(Hailo-8 M.2 AI Acceleration Module + PCIe adapter board)

應(yīng)用板使用方式

連接應(yīng)用板和周邊相關(guān)裝置 (ex. 12V電源、HDMI屏幕、攝像機(jī))

從 HDMI port 輸出開啟智能影像視頻分析顯示，以畫框方式來標(biāo)示人或物體。

?場景應(yīng)用圖

?展示板照片

?方案方塊圖

?核心技術(shù)優(yōu)勢

(1) 影像監(jiān)控結(jié)合 AI 運(yùn)算動(dòng)作更加精確

(2) 支援 DVR/HVR 混合應(yīng)用

(3) 支持多種影像顯示輸出界面 HDMI/VGA/CVBS

(4) 實(shí)現(xiàn)實(shí)時(shí)、低延遲、高效率的人工智能推理

(5) 專有的新型結(jié)構(gòu)驅(qū)動(dòng)數(shù)據(jù)流架構(gòu)

(6) 通過芯片級(jí)聯(lián)提供可擴(kuò)展功能

(7) 實(shí)現(xiàn)多流和多模型的同時(shí)處理

(8) 高精度同時(shí)處理多人與高質(zhì)量的影像視頻識(shí)別分析

(9) 改進(jìn)視頻分析并具有成本效益

(10) 與現(xiàn)有解決方案相比，成本效益最高（TOPS/$）

?方案規(guī)格

(1) ARM Cortex-CA53 Quad Cores NT98336 核心芯片

(2) 4CH、8CH、16CH Multi-channel encoding up to 1080p@300fps

(3) 每秒26兆次運(yùn)算 (TOPS) Hailo-8 M.2 的 AI 加速器模塊

(4) Hailo-8 支持框架 TensorFLow、TensorFlow Lite、ONNX、Keras、Pytorch

(5) 完整的 PCIe Gen-3.0 2通道接口

(6) Linux OS系統(tǒng)

(7) 電源輸入使用 12V/2A

Q&A

Q1. 解決方案所支援的操作系統(tǒng)？

A：NT98336 支援 Linux，聯(lián)詠 HDAL 系統(tǒng)框架，保持一致 API 接口，跨平臺(tái)/芯片通用

Q2. 解決方案可支援到多大的影像格式輸出？

A：NT98336 HDMI 最大可輸出 4K2K，VGA 最大可輸出 1080P/60fps

Q3. 解決方案是否有提供儲(chǔ)存裝置界面？

A：NT98336 有提供支援2個(gè) SATA 3.0 的儲(chǔ)存裝置界面

Q4. 解決方案中人工智能處理器支持框架有哪幾種?

A：Hailo-8 支持框架有 TensorFLow、TensorFlow Lite、ONNX、Keras、Pytorch

Q5. 解決方案中人工智能處理器的溫度范圍?

A：Hailo-8 支持 -40°C 至 85°C 的擴(kuò)展溫度范圍

Q6. 解決方案中人工智能處理器的功耗為多少?

A：Hailo-8 一般功耗為2.5瓦

Q7. 解決方案中人工智能處理器的優(yōu)勢?

A：Hailo-8 具有高達(dá)26 TOPS和一流的能效