0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Edge Impulse發(fā)布新工具,助 NVIDIA 模型大規(guī)模部署

微云疏影 ? 來源:綜合整理 ? 作者:綜合整理 ? 2024-03-25 16:00 ? 次閱讀

Edge Impulse 邊緣智能平臺近日推出全新工具套組,借力 NVIDIA TAO Toolkit 和 Omniverse,針對基于 Arm Cortex-A、Cortex-M 以及Ethos-U NPU 的低階硬件架構(gòu)推出新型 AI 模型,如 NXP I.MX RT1170、Alif E3、STM32H747AI 及 Renesas CK-RA8D1。

借助 Edge Impulse 和 NVIDIA TAO 工具包的協(xié)同效應(yīng),工程師得以快速構(gòu)建并部署至邊緣優(yōu)化硬件(如上述型號)的計算機視覺模型。該平臺還支持用戶運用經(jīng)由 GPU 優(yōu)化的 NVIDIA TAO 模型(如 YOLO 以及 RetinaNet)進行自定義數(shù)據(jù)定制,調(diào)配后可適應(yīng)有無 AI 加速器的邊緣設(shè)備。

然而需注意,此創(chuàng)新方案需使用 GPU 進行模型訓(xùn)練。另外,Edge Impulse 還攜手 NVIDIA Omniverse,實現(xiàn)模型在使用合成數(shù)據(jù)和邊緣測試環(huán)境的應(yīng)用程序中的集成。尤其適用環(huán)境下獲取真實世界數(shù)據(jù)的成本高昂、耗時、存在隱私困擾或是無法充分描繪各類情景者。

利用 NVIDIA Omniverse Replicator ,Edge Impulse 可生成合成數(shù)據(jù),并導(dǎo)入邊緣設(shè)備的 AI 模型,配合應(yīng)用于檢測制造生產(chǎn)線上的缺陷、設(shè)備故障或者臨床監(jiān)測中的手術(shù)對象,以期避免術(shù)后并發(fā)癥等狀況。合成數(shù)據(jù)生成的優(yōu)勢頗多,包括:虛擬化減輕物理原型設(shè)計及測試負擔;加速開發(fā)周期及實驗過程;實現(xiàn)模擬傳感器及模型行為;為MCU兼容性測試提供機會;提升模型可靠性并創(chuàng)設(shè)難以復(fù)現(xiàn)的情境。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    4816

    瀏覽量

    102633
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    27

    文章

    4632

    瀏覽量

    128442
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3062

    瀏覽量

    48575
收藏 人收藏

    評論

    相關(guān)推薦

    FPGA仿真黑科技\"EasyGo Vs Addon \",助力大規(guī)模電力電子系統(tǒng)仿真

    ,可以搭建多電機系統(tǒng)、電力電子系統(tǒng)等包含開關(guān)器件的系統(tǒng)模型。依托強大的FPGA資源,最大可仿真240個關(guān)鍵元件的電力電子系統(tǒng),使得更大規(guī)模的電力電子化電力系統(tǒng)的實時仿真成為可能。▍圖形化模塊靈活組合
    發(fā)表于 10-23 18:18

    NVIDIA NIM助力企業(yè)高效部署生成式AI模型

    Canonical、Nutanix 和 Red Hat 等廠商的開源 Kubernetes 平臺集成了 NVIDIA NIM,將允許用戶通過 API 調(diào)用來大規(guī)模部署大語言模型。
    的頭像 發(fā)表于 10-10 09:49 ?276次閱讀

    NVIDIA RTX AI套件簡化AI驅(qū)動的應(yīng)用開發(fā)

    NVIDIA 于近日發(fā)布 NVIDIA RTX AI套件,這一工具和 SDK 集合能夠幫助 Windows 應(yīng)用開發(fā)者定制、優(yōu)化和部署適用于
    的頭像 發(fā)表于 09-06 14:45 ?321次閱讀

    魔搭社區(qū)借助NVIDIA TensorRT-LLM提升LLM推理效率

    “魔搭社區(qū)是中國最具影響力的模型開源社區(qū),致力給開發(fā)者提供模型即服務(wù)的體驗。魔搭社區(qū)利用NVIDIA TensorRT-LLM,大大提高了大語言模型的推理性能,方便了
    的頭像 發(fā)表于 08-23 15:48 ?304次閱讀

    NVIDIA AI Foundry 為全球企業(yè)打造自定義 Llama 3.1 生成式 AI 模型

    Foundry 提供從數(shù)據(jù)策管、合成數(shù)據(jù)生成、微調(diào)、檢索、防護到評估的全方位生成式 AI 模型服務(wù),以便部署自定義 Llama 3.1 NVIDIA NIM 微服務(wù)和新的 NVIDIA
    發(fā)表于 07-24 09:39 ?663次閱讀
    <b class='flag-5'>NVIDIA</b> AI Foundry 為全球企業(yè)打造自定義 Llama 3.1 生成式 AI <b class='flag-5'>模型</b>

    大規(guī)模語言模型:從理論到實踐】- 閱讀體驗

    和抗噪聲能力;以及通過可視化工具來增強模型的解釋性等。同時,隨著技術(shù)的不斷進步和發(fā)展,在未來能夠發(fā)展出更加高效、健壯和可解釋的大語言模型。
    發(fā)表于 06-07 14:44

    大規(guī)模語言模型:從理論到實踐】- 每日進步一點點

    非常推薦大家去讀 【大規(guī)模語言模型:從理論到實踐】這本書,系統(tǒng)的講解了大模型的前世今生,對各個環(huán)節(jié)知識進行了普及。 今天跟我一起學(xué)習(xí)歸一化的部分。 大模型訓(xùn)練中的歸一化是一個關(guān)鍵步驟
    發(fā)表于 05-31 19:54

    名單公布!【書籍評測活動NO.30】大規(guī)模語言模型:從理論到實踐

    ,在大模型實踐和理論研究的過程中,歷時8個月完成 《大規(guī)模語言模型:從理論到實踐》 一書的撰寫。希望這本書能夠幫助讀者快速入門大模型的研究和應(yīng)用,并解決相關(guān)技術(shù)問題。 本書一經(jīng)上市,
    發(fā)表于 03-11 15:16

    大規(guī)模RedCap商用部署!5G-A助力萬物智聯(lián)走向現(xiàn)實

    近日,廣東移動攜手中興通訊在廣州、深圳、佛山等地完成全國首個超大規(guī)模的RedCap商用部署,截止11月底已開通7千站以上,率先吹響了5G輕量化(RedCap)技術(shù)規(guī)模商用的號角,加速推動著經(jīng)濟社會
    的頭像 發(fā)表于 12-12 18:30 ?803次閱讀

    大規(guī)模語言模型的基本概念、發(fā)展歷程和構(gòu)建流程

    大規(guī)模語言模型(Large Language Models,LLM),也稱大規(guī)模語言模型或大型語言模型,是一種由包含數(shù)百億以上參數(shù)的深度神經(jīng)
    的頭像 發(fā)表于 12-07 11:40 ?3388次閱讀
    <b class='flag-5'>大規(guī)模</b>語言<b class='flag-5'>模型</b>的基本概念、發(fā)展歷程和構(gòu)建流程

    如何在 NVIDIA TensorRT-LLM 中支持 Qwen 模型

    背景介紹 大語言模型正以其驚人的新能力推動人工智能的發(fā)展,擴大其應(yīng)用范圍。然而,由于這類模型具有龐大的參數(shù)規(guī)模,部署和推理的難度和成本極高,這一挑戰(zhàn)一直困擾著 AI 領(lǐng)域。此外,當前存
    的頭像 發(fā)表于 12-04 20:25 ?844次閱讀
    如何在 <b class='flag-5'>NVIDIA</b> TensorRT-LLM 中支持 Qwen <b class='flag-5'>模型</b>

    NVIDIA AI Foundation Models:使用生產(chǎn)就緒型 LLM 構(gòu)建自定義企業(yè)聊天機器人和智能副駕

    ? 系列基礎(chǔ)模型是一套功能強大的全新工具,可用于為企業(yè)構(gòu)建生產(chǎn)就緒生成式 AI 應(yīng)用,從而推動從客服 AI 聊天機器人到尖端 AI 產(chǎn)品的各種創(chuàng)新。 這些新的基礎(chǔ)模型現(xiàn)已加入? NVIDIA
    的頭像 發(fā)表于 11-17 21:35 ?812次閱讀
    <b class='flag-5'>NVIDIA</b> AI Foundation Models:使用生產(chǎn)就緒型 LLM 構(gòu)建自定義企業(yè)聊天機器人和智能副駕

    NVIDIA Merlin 助力陌陌推薦業(yè)務(wù)實現(xiàn)高性能訓(xùn)練優(yōu)化

    通過 Merlin 大幅提升大規(guī)模深度多目標精排模型訓(xùn)練性能 本案例中,NVIDIA 團隊與陌陌推薦系統(tǒng)團隊深度合作,共同使用 NVIDIA GPU 和 Merlin 軟件解決方案替代
    的頭像 發(fā)表于 11-09 10:45 ?295次閱讀
    <b class='flag-5'>NVIDIA</b> Merlin 助力陌陌推薦業(yè)務(wù)實現(xiàn)高性能訓(xùn)練優(yōu)化

    WiFi 6下的大規(guī)模部署策略

    隨著數(shù)字化時代的快速發(fā)展,我們正處于一個多設(shè)備、高密度連接的時代。在這個背景下,WiFi 6(802.11ax)作為一項新的無線通信標準,被廣泛認為是滿足未來大規(guī)模連接需求的關(guān)鍵技術(shù)。本文將深入研究WiFi 6在大規(guī)模部署中的關(guān)
    的頭像 發(fā)表于 11-02 16:33 ?480次閱讀

    現(xiàn)已公開發(fā)布!歡迎使用 NVIDIA TensorRT-LLM 優(yōu)化大語言模型推理

    NVIDIA 于 2023 年 10 月 19 日公開發(fā)布 TensorRT-LLM ,可在 NVIDIA GPU 上加速和優(yōu)化最新的大語言模型(Large Language Mode
    的頭像 發(fā)表于 10-27 20:05 ?885次閱讀
    現(xiàn)已公開<b class='flag-5'>發(fā)布</b>!歡迎使用 <b class='flag-5'>NVIDIA</b> TensorRT-LLM 優(yōu)化大語言<b class='flag-5'>模型</b>推理