在深度學習產(chǎn)業(yè)落地過程中,我們經(jīng)常能聽到一種說法——模型部署是打通AI應用的最后一公里!想要走通這一公里,看似簡單,但是真正實踐起來卻困難重重:顯卡利用率低、內(nèi)存溢出、多線程調(diào)度奔潰、TensorRT加速算子不支持等等問題一直是深度學習模型最后部署的老大難問題。
在工業(yè)制造環(huán)境中,Windows系統(tǒng)有著廣泛的應用。為了更好的幫助工業(yè)用戶解決落地最后的一公里問題,飛槳聯(lián)合產(chǎn)業(yè)用戶,基于Windows系統(tǒng),提供了工業(yè)級的部署Demo,支持圖像分類、目標檢測、實例分割和語義分割模型的部署,并提供了一鍵的TensorRT加速方式,極大的提升了部署的效率,同時支持多線程推理的方式,滿足了用戶多視頻輸入預測的需求!
圖1部署開發(fā)示例說明
支持多種類別模型部署
滿足多種場景需求
為了更好的滿足用戶多種視覺任務場景,部署Demo基于PaddleX的Deployment模塊進行二次開發(fā),不僅僅支持對PaddleX自身訓練的模型進行推理,同時支持PaddleClas、PaddleDetection、PaddleSeg視覺開發(fā)套件的模型,滿足多種場景需求。
圖2 部署Demo支持模型說明
一鍵TensorRT加速
部署效率顯著提升
NVIDIA TensorRT 是一個高性能的深度學習預測庫,可為深度學習推理應用程序提供低延遲和高吞吐量。在部署Demo中集成了TensorRT預測庫,用戶只需一鍵啟動,即可進行高性能的部署。
圖3 部署Demo性能對比說明
為了更好的幫助用戶了解在工業(yè)制造場景部署的問題,飛槳邀請產(chǎn)業(yè)用戶現(xiàn)場coding,一步步帶著大家現(xiàn)場演示如何搭建部署開發(fā)示例,如何更高性能的應用在自己的產(chǎn)業(yè)落地中。
審核編輯 :李倩
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
原文標題:TensorRT加速、多線程部署,打通工業(yè)高性能部署最后一公里
文章出處:【微信號:All_best_xiaolong,微信公眾號:大魚機器人】歡迎添加關注!文章轉(zhuǎn)載請注明出處。
相關推薦
百業(yè)的最后一公里問題。而客戶端的AI能力也在不斷提升,最終將解決個人AI的數(shù)據(jù)隱私和個性化問題??梢姡?b class='flag-5'>AI非常適合云邊端三級架構,按照用戶場
發(fā)表于 10-12 10:26
?311次閱讀
華為開發(fā)者大會2024在東莞松山湖盛大召開。在大會主題演講環(huán)節(jié), 中軟國際華為業(yè)務集團模型工場業(yè)務部總裁曾菲發(fā)表了《打通AI應用最后一公里,
發(fā)表于 09-19 14:14
?227次閱讀
近日,伊克羅德信息科技,作為業(yè)界領先的數(shù)智化轉(zhuǎn)型服務商,與亞馬遜云科技正式簽署了一項為期四年的市場拓展戰(zhàn)略合作計劃(SCA)。雙方將深度整合云端前沿技術與生成式AI解決方案,旨在打通AI
發(fā)表于 08-07 17:56
?810次閱讀
言犀智能體平臺是企業(yè)級一站式 AI 智能體搭建與發(fā)布平臺。聚合大模型、知識庫、插件、工作流等能力,為用戶提供低成本將LLM落地為企業(yè)應用的SaaS平臺。無需代碼基礎亦可便捷的使用大模型
發(fā)表于 08-07 14:47
?188次閱讀
隨著人工智能技術的飛速發(fā)展,算力已成為推動產(chǎn)業(yè)變革的關鍵力量,但大模型的快速發(fā)展,參數(shù)的爆發(fā),對于算力需求也提出了更高的要求,帶來了全新的挑戰(zhàn)。那大算力芯片應對這些挑戰(zhàn),如何才能夠助力人工智能技術的發(fā)展,實現(xiàn)算力的落地和最后一公里
發(fā)表于 08-07 10:03
?634次閱讀
如今,人工智能(AI)非?;鸨?,這個風口該如何把握?作為一個電子工程師,和AI最主要的交集應該就是邊緣計算了,具體來講,就是在一些性能、功耗以及價格相對較低的嵌入式平臺上
發(fā)表于 08-02 11:46
?2574次閱讀
針對不同行業(yè)的企業(yè)因數(shù)據(jù)、場景和業(yè)務邏輯差異產(chǎn)生的行業(yè)特定需求,今年5月份,百度智能云推出了千帆·行業(yè)增強版,在通用大模型能力的基礎上,提供行業(yè)大模型、行業(yè)知識、行業(yè)智能體等行業(yè)增強能力,讓行業(yè)應用的開發(fā)事半功倍,把企業(yè)定制化的部分從“
發(fā)表于 07-20 08:00
?163次閱讀
在人工智能與機器學習領域,隨著技術的不斷演進,模型的高效部署與適應性成為研究的新熱點。近日,英偉達與德克薩斯大學奧斯汀分校攜手宣布了一項重大突破——推出了一種名為FLEXTRON的新型
發(fā)表于 07-18 15:22
?2519次閱讀
企業(yè)AI應用落地的最后一公里。靈奧科技現(xiàn)已服務全球超過30,000家用戶,廣泛覆蓋電商、金融、法律、房地產(chǎn)、教育和能源等行業(yè)。 大模型中間件是基于基礎
發(fā)表于 06-27 21:21
?496次閱讀
工業(yè)互聯(lián)網(wǎng)是實現(xiàn)智能制造的重要使能技術,通過人機物的深度互聯(lián)和深度融合,可為智能工廠提供完備的網(wǎng)絡支撐。網(wǎng)絡與現(xiàn)場級工業(yè)互聯(lián)網(wǎng)深度融合,期望實現(xiàn)互聯(lián)互通,滿足靈活便捷接入需求,實現(xiàn)現(xiàn)場終端和設備的可尋址、可通信、可控制。然而IPv4的地址早已枯竭,只有引入IPv6才能滿足工業(yè)現(xiàn)場設備對海量地址空間的需求。如何實現(xiàn)IPv6技術與工業(yè)網(wǎng)絡的融合,突破IPv6技術
發(fā)表于 04-12 14:56
?416次閱讀
3月28日,云天勵飛舉辦AI大模型產(chǎn)品發(fā)布會,正式發(fā)布“深目”AI模盒。該產(chǎn)品能夠做到“3個90%”——覆蓋場景超過90%、算法精度超過90%,使用成本降低90%,解決大模型在場景落地
發(fā)表于 03-29 09:24
?369次閱讀
看到CUBE_AI已經(jīng)支持到STM32F0系列芯片,就想拿來入門嵌入式AI。
生成的模型很小,是可以部署到F0上的,但是一直無法創(chuàng)建成功。
發(fā)表于 03-15 08:10
人想罵一句“人工智障”。手機、音箱里的“小藝小愛”們,只能做些約定俗成框架里的事,目前用起來是沒感覺他能學習的。但AI PC貌似可以走完我與大模型
發(fā)表于 03-05 15:51
?519次閱讀
“三網(wǎng)四帶”總體格局。聚焦國家省級水網(wǎng)先導區(qū)建設重點任務。重點實施骨干水網(wǎng)工程、農(nóng)村供水保障工程、中小河流治理工程和大中型灌區(qū)續(xù)建配套與現(xiàn)代化改造等。一、漫途農(nóng)飲
發(fā)表于 02-28 16:24
?238次閱讀
“三網(wǎng)四帶”總體格局。聚焦國家省級水網(wǎng)先導區(qū)建設重點任務。重點實施骨干水網(wǎng)工程、農(nóng)村供水保障工程、中小河流治理工程和大中型灌區(qū)續(xù)建配套與現(xiàn)代化改造等。 一、農(nóng)飲水遠程在線監(jiān)測方案 農(nóng)飲水遠程在線監(jiān)測方案,通過
發(fā)表于 02-28 14:13
?258次閱讀
評論