GTC23 | 使用 NVIDIA Jetson Orin Nano 開發(fā)套件開發(fā) AI 機器人及智能視覺系統(tǒng)

NVIDIA Jetson Orin Nano Developer Kit為創(chuàng)建入門級 AI 機器人、智能無人機和智能視覺系統(tǒng)設定了一個新標準，同時簡化了NVIDIA Jetson Orin Nano系列的入門。這款開發(fā)套件緊湊的設計、眾多的連接器以及高達 40 TOPS 的 AI 性能，非常適合將您富有遠見的概念轉化為現實。

這款開發(fā)套件由一個 Jetson Orin Nano 8GB 模塊和一個參考載板組成，可容納所有 NVIDIA Jetson Orin Nano 和 NVIDIA Jetson Orin NX 模塊，為下一代邊緣 AI 產品的原型設計提供了理想的平臺。

Jetson Orin Nano 8GB 模塊采用NVIDIA Ampere architectureGPU，具有 1024 個 CUDA 內核、32 個第三代 Tensor Core和一個 6 核 Arm CPU ，可實現多個并發(fā) AI 應用管線和高性能推理。開發(fā)套件載板擁有廣泛的連接器陣列，包括兩個 MIPI CSI 連接器，支持多達四個通道的相機模塊，實現了比以前更高的分辨率和幀速率。

上一代 Jetson Nano 開發(fā)套件讓 AI 變得平易近人。而新的 Jetson Orin Nano 開發(fā)套件以 80 倍的性能提高了入門級 AI 開發(fā)的門檻，使開發(fā)人員能夠運行任何類型的現代 AI 模型，包括 Transformer 和高級機器人模型。與上一代 Jetson Nano 相比，不僅大大提高了 AI 性能，Jetson Orin Nano 還提供了 5.4 倍的 CUDA 計算能力、6.6 倍的 CPU 性能和每瓦 50 倍的性能。

圖 1 NVIDIA Jetson Orin Nano 和 NVIDIA Jetson Nano 的性能和效率比較

NVIDIA Jetson Orin Nano 開發(fā)套件功能

圖 2 Jetson Orin Nano 開發(fā)套件包括一個 Jetson Orin Nano 8GB 計算模塊、參考載板、散熱器/風扇、直流電源和 802.11ac / abgn WLAN + BT 模塊

表 1 和表 2 顯示了套件載板的主要功能和接口。

表 1 NVIDIA Jetson Orin Nano 開發(fā)套件模塊說明

表 2 NVIDIA Jetson Orin Nano 開發(fā)套件載板規(guī)格

Jetson Orin Nano 開發(fā)套件現在可以預訂，將于 4 月開始發(fā)貨。欲查閱 Jetson Orin Nano 技術文檔、參考設計文件和軟件，請訪問 Jetson Download Center (https://developer.nvidia.com/embedded/downloads) 。

Jetson Orin Nano 運行所有現代 AI 模型

Jetson Orin Nano 開發(fā)套件具有高達 40 TOPS 的 AI 性能，可以運行所有現代 AI 模型。這一計算上的重大飛躍使要求最苛刻的 AI 應用成為可能，包括在邊緣運行 Transformer 模型，這在此前是不可能的。

Transformer 模型是近來生成式 AI 應用程序的基礎，如正在席卷世界的 ChatGPT 和 DALL-E。Transformer 模型通過跟蹤序列數據中元素之間的關系來學習上下文和意義，無需大型標記數據集。

今天就開始著手吧：

• City Segmentation (https://catalog.ngc.nvidia.com/orgs/nvidia/teams/tao/models/citysemsegformer) 用于將城市景觀劃分為不同類別

• PeopleNet Transformer(https://catalog.ngc.nvidia.com/orgs/nvidia/teams/tao/models/peoplenet_transformer) 基于 Deformable Detection Transformer

• BERT (https://docs.nvidia.com/deeplearning/riva/user-guide/docs/reference/models/nlp.html#bert) 用于自然語言處理

Jetson 軟件加速 AI 和 TTM

Jetson Orin Nano 開發(fā)套件具有特定于用例的可用應用程序框架，可運行 NVIDIA AI 軟件堆棧。其中包括用于機器人的 NVIDIA Isaac 、用于視覺 AI 的 NVIDIA DeepStream 和用于會話 AI 的 NVIDIA Riva。使用 NVIDIA Omniverse Replicator 進行合成數據生成（SDG ）可以節(jié)省大量時間，使用 NVIDIA TAO Toolkit 還可以從 NGC 目錄中微調預訓練的 AI 模型。

圖 3 顯示了基于 Jetson Orin Nano 使用即將推出的 NVIDIA JetPack 5.1.1 運行一些計算機視覺基準測試的結果。這些結果表明開發(fā)套件提高了入門級計算機視覺的標準。測試包括 NGC 的一些密集 INT8 和 FP16 預訓練模型，以及 Industry Resnet-50 基準?；鶞蕼y試包括以下內容：

• NVIDIA PeopleNet v2.5用于最高精度人員檢測

• NVIDIA ActionRecognitionNet二維和三維模型

• NVIDIA LPRNet用于車牌識別

• 用于多人體態(tài)判斷的NVIDIA DashCamNet 及BodyPoseNet

• ResNet-50（ 224 × 224 ）物體檢測模型

Jetson Orin Nano 開發(fā)套件是一個多功能平臺，支持使用 NVIDIA TAO Toolkit 4.0 訓練的模型，很快還將支持 TAO Toolkit 5.0 中新發(fā)布的模型。使用 TAO Toolkit 5.0，開發(fā)人員可以利用幾種最先進的視覺 Transformer 模型進行圖像分類、對象檢測和分割用例。了解更多信息，請參閱：

https://developer.nvidia.com/blog/access-the-latest-in-vision-ai-model-development-workflows-with-nvidia-tao-toolkit-5-0/

NVIDIA Jetson Orin Nano 和 NVIDIA DeepStream 是邊緣應用的理想組合，如智能零售、智能城市十字路口和工業(yè)自動化。隨著 DeepStream 即將推出的版本以及 GXF 運行時的引入，Jetson Orin Nano 將是運行 AI 圖形的理想平臺，這些圖形需要與確定性系統(tǒng)緊密集成，在工廠自動化用例中很常見。

此外，想要快速熟悉 DeepStream，您可以使用最新版本的 Jetson Graph Composer 構建應用程序，并通過單擊按鈕將其部署到 Jetson Orin Nano。

圖 4 在 DeepStream Graph Composer 中構建應用程序，并將其部署到 Jetson Orin Nano

在 NVIDIA Jetson Orin 上使用

NVIDIA Isaac 加速機器人應用

NVIDIA Isaac 機器人平臺是一個強大的端到端平臺，用于開發(fā)、模擬和部署 AI 機器人。特別是硬件加速包NVIDIA Isaac ROS，使 ROS 2 開發(fā)人員更容易在 Jetson Orin Nano 開發(fā)套件上構建高性能解決方案。新的 NVIDIA Isaac ROS DP 優(yōu)化了 ROS 2 節(jié)點處理管線，可以在 Jetson Orin 平臺上執(zhí)行。它還提供了新的基于 DNN 的 GEMS ，旨在提高吞吐量。

圖 4 顯示了使用即將發(fā)布的 NVIDIA Isaac ROS DP3 在 Jetson Orin Nano 上運行這些機器人軟件包的結果。性能是在負載情況下測量的，包括 RCL 中的消息傳輸成本，用于指示真實世界性能的實際基準測試。測試包括圖表中所示的算法（圖 4 ），包括：

• Visual SLAM使機器人能夠通過跟蹤環(huán)境周圍的視覺特征，基于圖像計算其位置和運動

• April Tags用于 AprilTag 檢測和姿態(tài)判斷

• Image Detection

• Image Segmentation

• Proximity Segmentation確定障礙物是否在近場內，并避免在導航過程中與障礙物碰撞

• Stereo Disparity用于拍攝立體輸入圖像并生成視差圖，用于機器人導航

了解如何開始使用 NVIDIA Jetson Orin Nano 開發(fā)套件：

開始構建下一代應用程序原型，預訂 NVIDIA Jetson Orin Nano 開發(fā)套件（https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/）并安裝最新的 NVIDIA JetPack。

圖 6 NVIDIA Jetson Orin Nano 開發(fā)套件

全線可用于量產的 NVIDIA Jetson Orin 系列模塊現已上市，包括 Jetson AGX Orin 系列、 Jetson Orin NX 系列和 Jetson Orin Nano 系列。Jetson AGX Orin 開發(fā)套件現已升級，包含 64GB 內存。

額外資源：

有關 NVIDIA Jetson Orin Nano 開發(fā)套件的更多信息，請觀看 NVIDIA GTC23 分會：Connect with the Experts: A Deep-Dive Q&A on Jetson Orin and Edge AI (https://www.nvidia.com/gtc/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=CWES52132#/session/1670472065129001rf2z).

要了解有關該模塊的更多信息，請參閱 Solving Entry-Level Edge AI Challenges with NVIDIA Jetson Orin Nano (https://developer.nvidia.com/blog/solving-entry-level-edge-ai-challenges-with-nvidia-jetson-orin-nano/#:~:text=Jetson%20Orin%20Nano%20series%20%20%20%20,CPU%20%20...%20%2014%20more%20rows%20) 和 Jetson Orin Nano Series Data Sheet (https://developer.nvidia.com/embedded/downloads#?search=Jetson%20Orin%20Nano%20Series%20Module%20Data%20Sheet).

訪問 NVIDIA Embedded Developer 頁面 (https://developer.nvidia.com/embedded-computing) 和 forums (https://forums.developer.nvidia.com/c/agx-autonomous-machines/jetson-embedded-systems/70) 以獲得社區(qū)專家的幫助。

掃描海報二維碼，或點擊“閱讀原文”，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！