NVIDIA IGX平臺加速實時邊緣AI應用

實時邊緣 AI 對于醫(yī)療、工業(yè)和科學計算至關重要，因為這些任務關鍵型應用需要即時數(shù)據處理、低延遲和高可靠性，以確保作出及時準確的決策。這些挑戰(zhàn)不僅涉及硬件平臺上的高帶寬傳感器處理和 AI 計算，還需要企業(yè)級 AI 軟件來支持整個邊緣計算軟件堆棧。

NVIDIA IGX 專為工業(yè)和醫(yī)療環(huán)境而設計，可為企業(yè)提供邊緣 AI 所需的性能、耐用性、安全性和保密性。借助 NVIDIA AI Enterprise 上的 GPU 加速計算，IGX 加速了各行業(yè)先進的 AI 解決方案的開發(fā)，并大幅降低時間和成本，使企業(yè)無需花費數(shù)年時間設計自定義系統(tǒng)和定制 AI 模型。

在 COMPUTEX 2024 上，IGX 進行了一次重大更新，引入生產就緒型 NVIDIA AI Enterprise IGX 并擴展了 IGX 系統(tǒng)。所有相關的改進都提供長達 10 年的硬件和軟件支持，使企業(yè)能夠提供安全可靠的 AI，以支持人機協(xié)作。

NVIDIA IGX 軟件堆棧現(xiàn)已生產就緒

隨著 NVIDIA IGX-SW 1.0 的公開發(fā)布，NVIDIA IGX 上的軟件堆?，F(xiàn)已投入生產。您還可以獲得 NVIDIA AI Enterprise IGX 的長期支持，并在 NVIDIA 的支持下放心地部署您的產品。

為滿足對多模態(tài)生成式 AI 部署和高帶寬信號處理日益增長的需求，此版本將 AI 計算能力擴展到 1705 TOPS。相比使用板上集成 iGPU，AI 性能提升了 7 倍。借助此類高性能 AI 計算，您可以輕松運行要求嚴苛的 AI 任務，并支持生成式 AI 應用。

此版本還提供一個簡單易用的 Web 界面來安裝所有固件，有效簡化了安裝過程：只需選擇所需的固件，然后單擊安裝按鈕。

從下載中心下載 NVIDIA IGX-SW 1.0 公開版本，所有軟件堆棧均可免費用于開發(fā)和評估。

在生產方面，軟件堆棧由 NVIDIA AI Enterprise IGX 提供支持，并通過 NVIDIA 專家提供企業(yè)級長期支持。訂閱 NVIDIA AI Enterprise IGX 后，您可以訪問以下選項：

生產分支：使用最新的 NVIDIA AI 堆棧，并利用最新的技術和優(yōu)化。每 6 個月發(fā)布一次新的生產分支，每個分支維護 9 個月。這為零售和機器人等用例提供了一個理想選擇，確保您可以引入最新的 AI 模型和生成式 AI 任務。

長期支持分支：版本鎖定，維護和支持長達 10 年。新的長期支持分支每 2.5 年發(fā)布一次，包含新版本的堆棧。這對于醫(yī)療和科學計算等受監(jiān)管行業(yè)來說是理想的選擇。

這兩個分支均可提供對安全漏洞、API 穩(wěn)定性、錯誤修復的持續(xù)監(jiān)控，并由 NVIDIA 專家和工程師提供技術支持和及時解決問題。有關更多信息，請參閱如何使用 NVIDIA AI Enterprise IGX 支持任務關鍵型邊緣 AI。

首先，將固件、操作系統(tǒng)和計算堆棧下載到 NVIDIA IGX Orin 開發(fā)者套件。有關安裝的更多信息，請參閱 NVIDIA IGX 用戶指南。

要開始使用 NVIDIA AI Enterprise IGX，請申請 NVIDIA AI Enterprise IGX 軟件試用版。

專為醫(yī)療、工業(yè)和機器人使用而設計的企業(yè)級應用框架

NVIDIA IGX 支持 NVIDIA 提供的所有用于邊緣的 SDK、應用框架和工具。

圖 . IGX Orin 硬件上的 NVIDIA 應用框架

它包括以下應用框架：

NVIDIA Holoscan 用于從邊緣到云端的實時傳感器處理

NVIDIA Metropolis 用于構建、部署和擴展視覺 AI 應用

NVIDIA Isaac 用于構建高性能機器人應用

使用 NGC 中的預訓練模型縮短模型開發(fā)時間，使用合成數(shù)據生成器來創(chuàng)建用于模型訓練的合成數(shù)據，并使用 NVIDIA TAO 工具套件快速訓練和優(yōu)化模型，以實現(xiàn)最佳模型性能。

多模態(tài) AI 和生成式 AI 在處理非結構化數(shù)據和多樣化環(huán)境方面變得越來越重要。

在醫(yī)療領域，醫(yī)療診斷、用于外科手術的 AI copilot、AI 手術機器人和用于患者護理的 AI 智能體現(xiàn)已成為可能。

在制造儀器中，可以進行實時晶圓檢測和高帶寬傳感器處理。

在科學計算領域，雷達處理和射電天文學將由 AI 提供動力。

在工業(yè)機器人領域，AI 將為工廠自動化和機器人協(xié)作提供安全防護。

您可以在 Omniverse 中找到許多此類應用示例和生成式 AI 模型，在 /nvidia-holohub GitHub 庫中也有相關資源。

通過 NVIDIA 認證系統(tǒng)擴展 IGX 系列

NVIDIA IGX Orin 平臺引入了一款全新產品—— IGX Orin 500 系統(tǒng)模塊。它為 OEM 提供了設計載板和自定義配置的靈活性，以滿足客戶需求。在不犧牲企業(yè)軟件支持的情況下，IGX Orin 500 具有與 IGX Orin 700（此前名為 IGX Orin Boardkit）相同的 iGPU、CPU、內存和存儲，并且能夠通過附加 sMCU 來實現(xiàn)功能安全，適用于機器人和智能農業(yè)應用。

表 1. 主要特性比較

* 1705 TOPS = 248 TOPS（GPU）+1457 TOPS（dGPU）

通過使用 NVIDIA IGX Orin 500 設計指南，OEM 和 ODM 合作伙伴可以開始進行定制載板設計。對于所有 IGX 系統(tǒng)，OEM 完整系統(tǒng)都需要通過相同的 NVIDIA 認證流程，以確保獲得企業(yè)級軟件支持和最佳的 AI 軟件性能。這種嚴格的測試和驗證降低了部署可支持復雜、計算密集型生成式 AI 任務的專用基礎設施所涉及的風險和時間。