將Jetson AGX Orin開發(fā)者套件轉化為任何Jetson Orin模塊

隨著 Jetson Orin Nano 在本次 GTC 大會的發(fā)布，整個 Jetson Orin 模塊陣容現(xiàn)已揭曉。憑借高達 40 TOPS 的 AI 性能，Orin Nano 模塊為入門級 AI 設定了新標準，正如 Jetson AGX Orin 已經通過 275 TOPS 的服務器級計算重新定義了機器人技術和其他自主邊緣用例一樣。

所有 Jetson Orin 模塊和 Jetson AGX Orin 開發(fā)套件均基于單一 SoC 架構，配備 NVIDIA Ampere 架構 GPU、高性能 CPU 和最新加速器。這種共享架構意味著您可以為一個 Jetson Orin 模塊開發(fā)軟件，然后輕松將其部署到任何其他模塊。

您現(xiàn)在可以開始使用 Jetson AGX Orin 開發(fā)者工具套件開發(fā)任何 Jetson Orin 模塊。開發(fā)者工具套件能夠本地模擬任何模塊的性能，讓您從現(xiàn)在開始并縮短上市時間。通過配置硬件特性和時鐘以匹配目標模塊的特性，開發(fā)者工具套件可以準確地模擬任何 Jetson Orin 模塊的性能。

開發(fā)團隊受益于這種簡單性，即只需要一種類型的開發(fā)者工具套件，而不用管哪些模塊是針對生產的。這也簡化了 CI / CD 基礎架構。無論您是針對機器人、視頻分析還是任何其他用例進行開發(fā)，這一開發(fā)者工具套件的功能都會帶來許多好處。

將 Jetson AGX Orin 開發(fā)者套件

轉化為任何 Jetson Orin 模塊

只需一步，您就可以將 Jetson AGX Orin 開發(fā)者套件轉換為任何一個 Jetson Orin 模塊。我們?yōu)榇诉^程提供了閃存配置文件。

在 Jetson AGX Orin 開發(fā)工具套件上模擬 Jetson Orin 模塊，遵循其中提到的相同步驟使用刷寫實用程序來刷寫 Jetson AGX Orin 開發(fā)者工具套件。將您的開發(fā)者工具套件置于強制恢復模式后，使用 flash.sh 命令行工具使用新映像對其進行閃存。例如，以下命令使用其默認配置刷新開發(fā)者工具套件：

$ sudo ./flash.sh jetson-agx-orin-devkit mmcblk0p1

您使用的確切命令應修改為適合您正在模擬的目標 Jetson Orin 模塊的閃存配置名稱。例如，要模擬 Jetson Orin NX 16GB 模塊，請使用以下命令：

$ sudo ./flash.sh jetson-agx-orin-devkit-as-nx-16gb mmcblk0p1

表 1 列出了 Jetson Orin 模塊和適用于每個模塊的 flash.sh 命令。

表 1 Jetson Orin 模塊的 flash.sh 命令

從 5.0.2 版本開始，NVIDIA JetPack 中尚未包含 Jetson Orin Nano 模塊的 Flash 配置。在下載這些新配置并按照下載文件中的說明在 NVIDIA JetPack 5.0.2 之上應用覆蓋補丁后，可以使用這些新配置。

有關用于仿真的閃存配置的更多信息，請參閱以下鏈接：

https://docs.nvidia.com/jetson/archives/r35.1/DeveloperGuide/text/SD/EmulationSupport.html

閃存完成后，完成初始啟動和配置。然后，您可以使用 SDK Manager 安裝其余的 NVIDIA JetPack 組件，或者只需在運行的開發(fā)者工具套件上使用軟件包管理器：

sudo apt updatesudo apt install nvidia-jetpack

現(xiàn)在您已經運行了開發(fā)者工具套件并安裝了 NVIDIA JetPack。您的 Jetson AGX Orin 開發(fā)者套件現(xiàn)在可以模擬指定的 Jetson Orin 模塊的性能和功率。

準確模擬任何 Jetson Orin 模塊

本機模擬非常準確，因為它將開發(fā)者工具套件配置為與目標模塊可用的時鐘頻率、GPU 和 CPU 內核數(shù)量以及硬件加速器相匹配。

例如，在模擬 Jetson Orin NX 16GB 模塊時：

開發(fā)者套件 GPU 配置有 1024 個 CUDA 內核和 32 個 Tensor 內核，最大頻率為 918 MHz。

CPU 復合體配置有八個運行頻率為 2 GHz 的 Arm Cortex-A78AE 內核。

DRAM 配置為 16 GB，帶寬為 102 GB/s。

該系統(tǒng)提供與 Jetson Orin NX 16GB 模塊支持的相同電源配置文件。

圖 1可用的電源模式

從桌面頂部菜單打開 Jetson Power 圖形用戶界面，您會看到系統(tǒng)已根據(jù)正在模擬的目標模塊進行了準確的配置?？梢酝ㄟ^運行以下命令來配置最大時鐘，Jetson Power 圖形用戶界面將顯示更改。

sudo jetson_clocks

圖 2 顯示了當 Jetson AGX 開發(fā)者套件閃存到模擬的 Jetson AGX-Orin 64GB 模塊時，與閃存到模擬 Jetson Orin NX 16GB 模塊時相比配置了最大時鐘后的 Jetson Power 圖形用戶界面。

圖 2開發(fā)者套件上顯示的 Jetson Power 圖形用戶界面閃爍以模擬 Jetson AGX Orin 64GB（左）和選擇 MAXN 電源模式的 Jetson Orin NX 16GB（右）

通過運行 NVIDIA JetPack 提供的各種示例，您可以看到性能已調整為與正在模擬的模塊相匹配。例如，在配置 Jetson AGX Orin 開發(fā)者套件進行仿真后，與 VPI 庫一起打包的基準測試示例可用于顯示 Jetson AGX Orin 64GB、Jetson Orin NX 16GB 和 Jetson Orin Nano 8GB 模塊的 CPU、GPU 和 PVA 性能相應的模塊。

要運行 VPI 基準測試示例，請使用以下命令：

cd /opt/nvidia/vpi2/samples/05-benchmarksudo cmake .sudo makesudo ./vpi_sample_05_benchmark 

VPI 基準測試示例以毫秒為單位輸出高斯算法的延遲。表 2 顯示了每個目標模塊的結果。

表 2 目標模塊的延遲（毫秒）

同樣，您可以運行多媒體樣本進行編碼和解碼。

要解碼，請運行以下命令：

cd /usr/src/jetson_multimedia_api/samples/00_video_decodesudo makesudo ./video_decode H264 --disable-rendering --stats --max-perf 

要進行編碼，請運行以下命令：

cd /usr/src/jetson_multimedia_api/samples/01_video_encodesudo makesudo ./video_encode input.yuv 1920 1080 H264 out.h264 -fps 30 1 -ifi 1000 -idri 1000 --max-perf --stats

表 3 顯示了使用 H.264 1080P 30FPS 視頻流運行這些編碼和解碼樣本后的 FPS 數(shù)。

表 3 運行編碼和解碼樣本后的 FPS 數(shù) * Jetson Orin Nano 不包括 NVEncoder。對于表 3，Jetson Orin Nano 的編碼是在 CPU 上使用 ffmpeg 完成的。使用四個 CPU 核心時，達到 110 FPS。當使用兩個 CPU 核心時，實現(xiàn)了 73 的 FPS，而當使用一個 CPU 核心時，實現(xiàn)了 33 的 FPS。

為了證明仿真的準確性，我們在 Jetson AGX Orin 開發(fā)者套件上運行了一些 AI 模型基準測試，模擬為 Jetson AGX Orin 32GB 。然后，我們將其與在實際 Jetson AGX Orin 32GB 模塊上運行相同基準測試所獲得的結果進行比較。從結果中可以看出，模擬性能和實際性能之間的差異微不足道。

盡管 Jetson AGX Orin 開發(fā)者套件包括 32GB 模塊，但它提供了相同級別的性能，并且配備了 275 個 TOPS，與 Jetson AGX Orin 64GB 相匹配。Jetson AGX Orin 64 GB 仿真不需要特殊的閃存配置，但您必須使用適當?shù)拈W存配置在 Jetson AGX Orin 開發(fā)者套件上仿真 Jetson AGX Orin 32GB。

表 4 真實和仿真 Jetson AGX Orin 模塊之間的性能比較

對任何 Jetson Orin 模塊進行端到端開發(fā)

您可以在模擬 Jetson Orin 模塊的同時使用整個 Jetson 軟件堆棧。NVIDIA DeepStream、NVIDIA Isaac 和 NVIDIA Riva 等框架在仿真模式下工作，而 TAO Toolkit 等工具在 NGC 的預處理模型中的性能符合預期。軟件堆棧與仿真無關，性能與被仿真目標的性能精確匹配。

圖 4 NVIDIA Jetson 軟件堆棧

如果您正在開發(fā)機器人用例或開發(fā)視覺 AI 工作流，您現(xiàn)在可以使用 Jetson AGX Orin 開發(fā)者套件和仿真模式對任何 Jetson Orin 模塊進行端到端開發(fā)。

使用 NVIDIA Isaac ROS 為任何 Jetson Orin 模塊開發(fā)機器人應用程序。只需使用正確的閃存配置來閃存并啟動 ROS 開發(fā)。圖 5 顯示了在 Jetson AGX Orin 開發(fā)者套件上運行 Isaac ROS Stereo Disparity DNN ，模擬為 Jetson Orin Nano 8GB 。

圖 5 NVIDIA Isaac ROS Stereo Disparity DNN 在模擬為 Jetson Orin Nano 8GB 的 Jetson AGX Orin 開發(fā)者套件上運行

在 Jetson AGX Orin 開發(fā)套件上使用 DeepStream 開發(fā)視覺 AI 工作流，適用于任何 Jetson Orin 模塊。

圖 6 顯示了在 Jetson AGX Orin 開發(fā)者套件上使用 DeepStream 運行人員檢測的 IVA 工作流，模擬為 Jetson Orin Nano 8GB ，具有四個 H.265 1080P 30FPS 流。

?

圖 6DeepStream 視覺工作流運行 Jetson AGX Orin 開發(fā)者套件上的人員和車輛檢測，模擬為 Jetson Orin Nano 8GB

使用 Jetson AGX Orin 開發(fā)者套件更快地進入市場

有了仿真支持，您可以通過在 Jetson AGX Orin 開發(fā)者套件上啟動和完成應用程序開發(fā)以便更快地投入生產。我們還將在即將推出的 NVIDIA JetPack 5.0.2 網(wǎng)絡研討會中做出詳細介紹。

審核編輯：湯梓紅