NVIDIA Jetson Orin Nano的性能基準(zhǔn)

在本次 GTC 大會上，NVIDIA 發(fā)布了Jetson Orin Nano系列的系統(tǒng)級模組（SoM）。其 AI 性能是 NVIDIA Jetson Nano 的 80 倍，成為入門級邊緣 AI 和機(jī)器人技術(shù)的新基準(zhǔn)。

Jetson 系列首次包括基于 NVIDIA Orin 的模組，從入門級的 Jetson Orin Nano 到最高性能的 Jetson AGX Orin，使客戶能夠靈活地輕松擴(kuò)展其應(yīng)用程序。

借助 Jetson AGX Orin 開發(fā)者工具套件提供的完整軟件仿真支持，可以立即啟動您的 Jetson Orin Nano 開發(fā)。

各行業(yè)的日常用例對提高實(shí)時(shí)處理能力的需求繼續(xù)增長。入門級 AI 應(yīng)用程序，如智能相機(jī)、手持設(shè)備、服務(wù)機(jī)器人、智能無人機(jī)、智能儀表等，都面臨著類似的挑戰(zhàn)。

這些應(yīng)用需要在設(shè)備上對來自其多模態(tài)傳感器工作流的數(shù)據(jù)進(jìn)行更多的低延遲處理，同時(shí)保持在高能效、成本優(yōu)化的小尺寸的范圍內(nèi)。

Jetson Orin Nano 系列

Jetson Orin Nano 系列量產(chǎn)級模組將于 1 月份上市，售價(jià) 199 美元起。這些模組以最小的 Jetson 外形尺寸提供高達(dá) 40 TOPS 的 AI 性能，功率選項(xiàng)低至 5W，高達(dá) 15W。該系列有兩個(gè)不同的版本：Jetson Orin Nano 4GB 和 Jetson Orin Nano 8GB。

圖 1 Jetson Orin Nano 架構(gòu)分析框圖 * Jetson Orin Nano 8GB 的 NVIDIA Orin 架構(gòu)，Jetson Orin Nano 4GB 有 2 個(gè) TPC 和 4 個(gè) SM

如圖 1 所示，Jetson Orin Nano 展示了帶有 NVIDIA Ampere 架構(gòu) GPU 的 NVIDIA Orin 架構(gòu)。它有多達(dá) 8 個(gè)流式多處理器（ SM ），由 1024 個(gè) CUDA 核和多達(dá) 32 個(gè)用于 AI 處理的Tensor Core組成。

NVIDIA Ampere 架構(gòu)第三代 Tensor Core 的每瓦特性能優(yōu)于前一代，并通過對稀疏性的支持帶來更高的性能。通過稀疏性，您可以利用深度學(xué)習(xí)網(wǎng)絡(luò)中的細(xì)粒度結(jié)構(gòu)化稀疏性，將 Tensor Core 操作的吞吐量提高一倍。

為了加速應(yīng)用程序工作流的所有部分，Jetson Orin Nano 還包括一個(gè) 6 核 Arm Cortex-A78AE CPU、視頻解碼引擎、ISP、視頻圖像合成器、音頻處理引擎和視頻輸入塊。

Jetson Orin Nano 模塊占地面積小，僅有 70 x 45mm，260 針 SODIMM，包含了各種高速接口：

多達(dá)七條 PCIe Gen3 通道

三個(gè)高速 10 Gbps USB 3.2 Gen2 端口

八通道的 MIPI CSI-2 攝像頭端口

各種傳感器 I / O

為了減少您的工程工作量，我們已使 Jetson Orin Nano 和 Jetson Orin NX 模塊完全與引腳和外形尺寸兼容。表 1 顯示了 Jetson Orin Nano 4GB 和 Jetson Orin Nano 8GB 之間的差異。

表 1 Jetson Orin Nano 系列規(guī)格 * 有關(guān) DisplayPort 1.4a 和 HDMI 2.1 以及虛擬通道的其他兼容性的更多信息，請參閱 Jetson Orin Nano 系列數(shù)據(jù)表。 ? 1KU 容量

立即使用 Jetson AGX Orin 開發(fā)者套件和仿真

開啟您的開發(fā)流程

Jetson AGX Orin 開發(fā)者套件和所有 Jetson Orin 模組共享一個(gè) SoC 架構(gòu)，讓開發(fā)者工具套件能夠模擬任何模塊，使您能夠輕松開始開發(fā)下一個(gè)產(chǎn)品。

在開始將其應(yīng)用程序移植到新的 NVIDIA Orin 體系結(jié)構(gòu)和最新的NVIDIA JetPack之前，您無需等待 Jetson Orin Nano 硬件正式上線。通過新發(fā)布的覆蓋層，你可以用開發(fā)工具套件模擬Jetson Orin Nano模塊，就像使用其他Jetson Orin模塊一樣。通過將開發(fā)者套件配置為模擬Jetson Orin Nano 8GB或Jetson Orin Nano 4GB，用戶可以開發(fā)并運(yùn)行全部應(yīng)用程序工作流。

圖 2 模擬所有六個(gè) Jetson Orin 模組

Jetson Orin Nano 的性能基準(zhǔn)

憑借 Jetson AGX Orin，NVIDIA 在 MLPerf 的推理性能類別中處于領(lǐng)先地位。Jetson Orin 模組為您的下一代應(yīng)用程序提供了巨大飛躍，現(xiàn)在入門級 AI 設(shè)備也可以使用相同的 NVIDIA Orin 架構(gòu)。

我們使用 NVIDIA JetPack 5.0.2 的仿真模式運(yùn)行 Jetson Orin Nano 的計(jì)算機(jī)視覺基準(zhǔn)測試，結(jié)果顯示了它是如何設(shè)置新標(biāo)準(zhǔn)的。測試包括來自 NGC 的一些密集 INT8 和 FP16 預(yù)處理模型，以及標(biāo)準(zhǔn) ResNet-50 模型。我們還在 Jetson Nano、TX2 NX 和 Xavier NX 上運(yùn)行相同的模型進(jìn)行比較。

以下是基準(zhǔn)的完整列表：

NVIDIA PeopleNet v2.3 用于修剪人員檢測，NVIDIA PeopleNet v2.5 用于最高精度的人員檢測

NVIDIA ActionRecognitionNet 二維和三維模型

NVIDIA LPRNet 用于車牌識別

NVIDIA DashCamNet，BodyPoseNet 用于多人人體姿勢估計(jì)

ResNet-50（224 × 224）模型

圖 3 Jetson Orin Nano 系列基準(zhǔn)編號

圖 4 Jetson Orin Nano 系列基準(zhǔn)圖

以這些基準(zhǔn)的平均值來看，Jetson Orin Nano 8GB 的性能比 Jetson Nano 提高了 30 倍。隨著未來軟件的改進(jìn)，我們預(yù)計(jì)性能將提高 45 倍。其他 Jetson 設(shè)備自其第一個(gè)支持軟件發(fā)布以來，性能提高了 1.5 倍，我們預(yù)計(jì) Jetson Orin Nano 也會如此。

Jetson 運(yùn)行 NVIDIA AI 軟件堆棧，并提供特定于用例的應(yīng)用程序框架，包括用于機(jī)器人的NVIDIA Isaac、用于視覺 AI 的NVIDIA DeepStream和用于會話 AI 的NVIDIA Riva。使用NVIDIA Omniverse Replicator可以節(jié)省大量時(shí)間用于合成數(shù)據(jù)生成（SDG），使用NVIDIA TAO 工具套件可以節(jié)省大量的時(shí)間用于微調(diào) NGC 目錄中的預(yù)處理 AI 模型。

Jetson 與整個(gè) NVIDIA AI 加速計(jì)算平臺的兼容性使開發(fā)和無縫遷移變得容易。

使用 NVIDIA Isaac ROS 增強(qiáng)入門級機(jī)器人

Jetson Orin 平臺旨在解決最棘手的機(jī)器人挑戰(zhàn)，為 70 多萬名 ROS 開發(fā)人員帶來加速計(jì)算。結(jié)合 Jetson Orin Nano 強(qiáng)大的硬件功能，最新的NVIDIA Isaac軟件中針對 ROS 的增強(qiáng)功能為機(jī)器人專家提供了卓越的性能和生產(chǎn)力。

新的 Isaac ROS DP 版本優(yōu)化了可以在 Jetson Orin 平臺上執(zhí)行的 ROS2 節(jié)點(diǎn)處理工作流，并提供了新的基于 DNN 的 GEMS，旨在提高吞吐量。Jetson Orin Nano 可以利用那些高度優(yōu)化的 ROS 2 packages 執(zhí)行定位、實(shí)時(shí) 3D 重建和深度估計(jì)等任務(wù)，這些任務(wù)可用于避障。

與只能處理簡單應(yīng)用程序的原始 Jetson Nano 不同，Jetson Orin Nano 可以運(yùn)行更復(fù)雜的應(yīng)用程序。隨著不斷致力于提高 NVIDIA Isaac ROS，您將看到 Jetson Orin 平臺的精確度和吞吐量隨著時(shí)間的推移而不斷提高。

對于開發(fā)下一代服務(wù)機(jī)器人、智能無人機(jī)等的機(jī)器人專家來說，Jetson Orin Nano 是一種理想的解決方案，它具有高達(dá) 40 個(gè) TOPS，可在節(jié)能和小尺寸的情況下實(shí)現(xiàn)現(xiàn)代 AI 推理工作流。

審核編輯：湯梓紅