一場屬于開發(fā)者的技術(shù)盛宴“AI大模型:顛覆式創(chuàng)新與落地實踐”在上海模速空間完美收官,為所有參與者留下了深刻印象與滿滿收獲。
活動當(dāng)天,來自零一萬物、英特爾、未來速度科技、映云科技、儀酷智能、波爾鴨、研揚科技、億琪軟件、云錦微等眾多行業(yè)翹楚的專家和創(chuàng)始人,不僅分享了大模型領(lǐng)域的最新研究成果,更展示了落地實踐的生動案例,激發(fā)了現(xiàn)場每一位開發(fā)者對未來技術(shù)應(yīng)用的無限遐想。
模速空間總經(jīng)理陳海慈先生作為場地方代表開場分享,模速空間是專注于大模型產(chǎn)業(yè)的生態(tài)創(chuàng)新社區(qū),位于徐匯區(qū),去年9月成立,已吸引70+家企業(yè)入駐,一、二期場地近2萬方載體投入使用,目標(biāo)建設(shè)10萬方大模型生態(tài)社區(qū)。社區(qū)提供強(qiáng)大算力支持、豐富語料資源、權(quán)威模型測試、充足資金對接及便利備案服務(wù),包括超5000萬算力補貼、高質(zhì)量公共數(shù)據(jù)、200億人工智能母基金等,助力大模型產(chǎn)業(yè)高速發(fā)展。
零一萬物開源暨開發(fā)者生態(tài)總監(jiān)林旅強(qiáng)以脫口秀的形式展開了活動的分享環(huán)節(jié),講述自己從非技術(shù)背景轉(zhuǎn)型為開發(fā)者并投身AI領(lǐng)域的經(jīng)歷。轉(zhuǎn)型成功的關(guān)鍵在于個人興趣與動力,而非恐懼,他鼓勵大家主動培養(yǎng)愛好而非被動跟隨趨勢。并分享了從自學(xué)Linux到建立博客、社區(qū)互動,再到出版書籍的過程,強(qiáng)調(diào)輸出和參與開源項目、不斷練習(xí)的重要性。林旅強(qiáng)提及AI將模糊開發(fā)者與產(chǎn)品構(gòu)建者界限,使兩者更融合,認(rèn)為AI工具將降低代碼門檻,未來將幫助快速實現(xiàn)想法落地。
隨后,零一萬物開發(fā)者關(guān)系工程師在分享中深入解析了開源大模型現(xiàn)狀,指出大模型的核心在于詞匯概率預(yù)測,訓(xùn)練階段模型學(xué)習(xí)單詞出現(xiàn)概率,而微調(diào)優(yōu)劣構(gòu)架構(gòu)成對話則需監(jiān)督學(xué)習(xí)格式。探討了不同模型間性能差異因素,包括架構(gòu)、數(shù)據(jù)、訓(xùn)練科學(xué)、效率等,強(qiáng)調(diào)數(shù)據(jù)質(zhì)量至關(guān)重要。指出數(shù)據(jù)清洗的挑戰(zhàn),提及數(shù)據(jù)來源與質(zhì)量把控。討論了模型訓(xùn)練集與對話學(xué)習(xí)中的問題,提及數(shù)據(jù)量與質(zhì)量平衡,指出Lima路線選擇質(zhì)量高于數(shù)量。分享了社區(qū)與開源對話數(shù)據(jù)集的缺乏,以及處理技術(shù)如蒸餾分餾的現(xiàn)狀,為聽眾提供了理解大模型學(xué)習(xí)和開源領(lǐng)域?qū)嵱弥改吓c挑戰(zhàn)的全面視角。
英特爾AI軟件布道師武卓博士分享了OpenVINO 2024.1版本的最新特性,強(qiáng)調(diào)了對AI模型推理加速和部署的優(yōu)化。OpenVINO 作為英特爾的開源工具,支持多種深度學(xué)習(xí)框架模型,包括最新的大模型,并能優(yōu)化和部署在各種設(shè)備上運行。新版本增加了對大模型的支持,如Meta的模型,提高了現(xiàn)有模型的性能。從優(yōu)化角度,新版本引入混合量化技術(shù),如針對特定模型,顯著壓縮同時保持圖像質(zhì)量,提升推理速度。部署方面,OpenVINO 支持神經(jīng)處理單元,新插件讓OpenVINO 在AI PC上運行模型推理更高效。整體上,OpenVINO 2024.1展現(xiàn)了對AI大模型部署和優(yōu)化的強(qiáng)大支持,推動了技術(shù)的應(yīng)用與實踐。
杭州未來速度科技有限公司聯(lián)合創(chuàng)始人兼CEO秦續(xù)業(yè)在分享中介紹了,聚焦于大模型時代背景下,特別是分布式推理平臺Xinference的作用和優(yōu)化。隨著大模型如GPT等的出現(xiàn),模型愈發(fā)龐大,推理效率成為瓶頸。Xinference通過有效利用技術(shù),如KV緩存機(jī)制,優(yōu)化存儲訪問,減少計算量,加速推理過程。提及Berkeley提出的分頁機(jī)制,動態(tài)調(diào)整緩存管理,提高GPU利用率。討論了模型尺寸問題時,如GPT的巨型,推測性采樣技術(shù)可減少大模型調(diào)用頻次,提高吞吐量。整體分享展示了在面對大模型推理挑戰(zhàn),如何通過技術(shù)創(chuàng)新和策略優(yōu)化,實現(xiàn)高效部署,推進(jìn)AI應(yīng)用落地。
EMQ社區(qū)布道師周子博與智擎信息創(chuàng)始人王曦在聯(lián)合分享中強(qiáng)調(diào)了AI技術(shù)落地實踐,特別是工業(yè)領(lǐng)域中大模型的應(yīng)用價值。他們提到,通過與EMQ合作,利用IoT系列產(chǎn)品,結(jié)合歷史數(shù)據(jù)與新模型預(yù)測維護(hù)設(shè)備異常,幫助企業(yè)提前發(fā)現(xiàn)潛在問題。企業(yè)庫產(chǎn)品集成內(nèi)部信息,加速查詢與知識獲取,輔助決策。案例中,EMQ與全球500強(qiáng)客戶采用該方案,整合設(shè)備數(shù)據(jù)、文檔等,提高分析效率,通過AI模型與歷史數(shù)據(jù)融合,實現(xiàn)更直觀、快速診斷與報告,助力生產(chǎn)優(yōu)化。分享突出了AI技術(shù)在實際場景中的應(yīng)用與效能,展示了模型如何提升工業(yè)智能分析與決策速度,優(yōu)化工作流程。
上海儀酷智能科技有限公司CEO王立奇在分享中介紹了LabVIEW與英特爾緊密合作,在AI領(lǐng)域特別是在工業(yè)自動化與圖形化編程平臺上的應(yīng)用。他們開發(fā)的工具包,簡化了基于OpenVINO 的推理,使用戶無需安裝OpenVINO 即可在英特爾硬件上運行模型,在CPU或顯卡上進(jìn)行推理。他們還推出了AI視覺工具包,支持各種視覺應(yīng)用,包括物體檢測、分割等,僅需圖形化編程就能快速部署,與英特爾緊密集成,無縫支持最新模型,如V5到V8,讓用戶直觀圖形化編程實現(xiàn)AI模型部署。通過這些工具,LabVIEW在工業(yè)界展現(xiàn)了AI技術(shù)的力量,加速自動化項目的部署與創(chuàng)新。
上海波爾鴨人工智能科技有限公司CEO劉雅麗分享了關(guān)于AI應(yīng)用的挑戰(zhàn)與解決方案,特別是大型模型應(yīng)用的難點,包括高昂算力成本、數(shù)據(jù)獲取與隱私安全、技術(shù)瓶頸及人才短缺。她強(qiáng)調(diào)了AI Agent(智能體)在提升產(chǎn)品市場適應(yīng)性上的潛力,能進(jìn)行目標(biāo)導(dǎo)向的任務(wù)規(guī)劃與自我學(xué)習(xí),實現(xiàn)類似甚至超越人類水平的服務(wù),并提到多智能體協(xié)作是未來趨勢。劉雅麗還提及了她的實踐,通過AI Agent實現(xiàn)自動化售前檢測,以及如何構(gòu)建AI產(chǎn)品并運用黑客增長策略,關(guān)注用戶留存與獲取、裂變機(jī)制,最終考慮變現(xiàn)模式。并通過Samantha項目,展示了AI如何成為親密伙伴,強(qiáng)調(diào)了情感維度,展示了AI技術(shù)前沿探索與未來可能性,強(qiáng)調(diào)了在AI創(chuàng)業(yè)中優(yōu)化商業(yè)模式與用戶體驗的重要性。
上海億琪軟件有限公司CEO褚建琪分享聚焦于邊緣計算領(lǐng)域的開源項目EdgeX Foundry,它作為一個開放、靈活的基礎(chǔ)設(shè)施,支持多硬件與軟件互關(guān)的框架,旨在促進(jìn)數(shù)據(jù)采集、處理與命令下發(fā)等邊緣端應(yīng)用。他提到了EdgeX Foundry與OpenVINO 的集成,為邊緣設(shè)備服務(wù)的AI推理提供了便利,并強(qiáng)調(diào)了數(shù)據(jù)匯聚與命令下發(fā)的重要性。褚建琪通過介紹EdgeX Foundry與OpenVINO 在邊緣計算中的應(yīng)用實例,旨在幫助企業(yè)或用戶更好地理解如何利用這些技術(shù)進(jìn)行數(shù)據(jù)處理、管理與控制,從而提升效率。分享突出了開源項目的核心優(yōu)勢與實踐中的靈活性,鼓勵技術(shù)集成與實際部署,提供了在邊緣計算方面的洞見地運用新視角。
研揚科技(蘇州)有限公司人工智能BDM徐林吉介紹了研揚科技作為一家專注于制造業(yè)的實體企業(yè)在AI應(yīng)用上的探索,尤其是在邊緣計算領(lǐng)域的實踐與挑戰(zhàn)。AI大模型對硬件的需求日益增長,尤其是內(nèi)存與帶寬成為了限制因素,他強(qiáng)調(diào)模型部署時需要考慮的硬件配置。徐林吉分享了研揚科技基于英特爾處理器的開發(fā)板載板的成功案例,盡管性能相對較低,但仍能部署3b模型,雖精度略降,顯示了模型部署的靈活性。他還討論了內(nèi)存與帶寬的平衡,以及FP精度對性能影響,提出在選擇硬件時的參考值。盡管大模型看似需要高性能設(shè)備,但通過策略優(yōu)化,即使是較低配置的硬件也能運行,展示了大模型應(yīng)用的廣泛可能性?;顒訛橹圃鞓I(yè)如何應(yīng)對大模型挑戰(zhàn)提供了硬件層面的洞見地策略與實際案例。
上海云錦微CTO周昌重點介紹了VT-Transformer框架,一個開源AI模型的計算生態(tài),旨在簡化邊緣和端側(cè)推理的復(fù)雜性,解決AI在硬件多樣化環(huán)境中的部署難題。當(dāng)前主流開源框架中存在多層不同框架的代碼堆疊,加大了開發(fā)者負(fù)擔(dān),特別是對邊緣和端側(cè)等受限算力的部署不友好。VT-Transformer精簡化小型化的策略,可以減少從模型到推理的步驟,通過萬行代碼直接高效操作,大幅簡化計算,使得在邊緣和端側(cè)的小型場景比如電線桿、房間等部署應(yīng)用大模型成為可能。同時,VT-Transformer支持多模態(tài)、混合模型、以及大小模型協(xié)同、云邊模型協(xié)同,一方面可以全面釋放模型的開放性,另一方面也可以全面實現(xiàn)芯片算力的國產(chǎn)化,支持多家國產(chǎn)硬件如海光、天數(shù)、愛芯等,充分考慮了與生態(tài)的兼容性,以滿足實際應(yīng)用的多樣化需求。他強(qiáng)調(diào)開源是核心,包括AI模型層、AI計算層都開源才能真正解決安全顧慮,避免出現(xiàn)不可控的黑盒。憑借聚焦精簡化小型化策略的VT-Transformer,解決計算,終將使AI在邊端廣泛應(yīng)用成為可能,用一種簡化與實用的技術(shù)路線,為開發(fā)者提供了一個更易用的路徑,可期有效推動AI技術(shù)的產(chǎn)業(yè)落地。
活動全程,開發(fā)者們積極互動,Demo展區(qū)前人頭攢動,共創(chuàng)AI未來的橋梁在此悄然搭建?;顒与m已結(jié)束,但對AI大模型的熱情不減反增,開發(fā)者們帶著新知與靈感離開。再次感謝每一位參與者的熱情參與,相約下一次技術(shù)盛宴,期待下一站的精彩!
-
英特爾
+關(guān)注
關(guān)注
60文章
9819瀏覽量
171122 -
AI
+關(guān)注
關(guān)注
87文章
29383瀏覽量
267676 -
人工智能
+關(guān)注
關(guān)注
1789文章
46348瀏覽量
236517 -
大模型
+關(guān)注
關(guān)注
2文章
2212瀏覽量
2235
原文標(biāo)題:2024上?!I大模型盛會圓滿落幕,見證技術(shù)與智慧的碰撞!
文章出處:【微信號:英特爾物聯(lián)網(wǎng),微信公眾號:英特爾物聯(lián)網(wǎng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論