“今天,生成式AI的能力讓大家興奮不已,作為一項(xiàng)變革性的技術(shù),它將帶來廣泛應(yīng)用,顛覆我們的工作、娛樂方式?!?6月16日,在高通AI業(yè)務(wù)媒體線上溝通會上,高通技術(shù)公司產(chǎn)品管理高級副總裁兼AI負(fù)責(zé)人Ziad Asghar表示。
終端側(cè)的邊緣AI體驗(yàn)如何明顯提升?在邊緣側(cè),生成式AI如何成為生產(chǎn)力?混合AI技術(shù)為什么是AI技術(shù)的未來?帶著這些熱點(diǎn)話題,高通技術(shù)公司產(chǎn)品管理高級副總裁兼AI負(fù)責(zé)人Ziad Asghar和記者們暢談了AI技術(shù)的發(fā)展趨勢和生成式AI落地的最新進(jìn)展。
生成式AI終端側(cè)用例豐富,高通AI技術(shù)和軟件棧全面助力
“生成式AI擁有非常豐富的應(yīng)用領(lǐng)域,包括搜索、內(nèi)容生成、生產(chǎn)力、代碼編寫等,顛覆了眾多技術(shù)領(lǐng)域。有些內(nèi)容可以在幾秒內(nèi)通過大模型生成。但是很多人看到AI就認(rèn)為是云端AI完成的,但是在高通公司,通過先進(jìn)的技術(shù),我們能夠讓這些出色的用例在邊緣側(cè)實(shí)現(xiàn)。” Ziad Asghar說。
在手機(jī)、PC、XR、物聯(lián)網(wǎng)和汽車上,生成式AI的應(yīng)用已經(jīng)大量涌現(xiàn)。首先在手機(jī)端,手機(jī)作為高度個(gè)性化的設(shè)備,能夠通過生成式AI成為消費(fèi)者真正意義上的數(shù)字助手,可以接受用戶的需求,甚至在沒有聯(lián)網(wǎng)的情況下完成任務(wù)。比如并完全通過大型基礎(chǔ)模型(例如文本生成文本模型LLaMA)與用戶交流;在XR上,生成式AI能夠根據(jù)終端側(cè)所提供的用戶信息進(jìn)行定制和優(yōu)化,為用戶帶來完全不同的獨(dú)特虛擬世界體驗(yàn);在PC上,以驍龍本舉例,生成式AI能夠基于視頻會議的語音轉(zhuǎn)錄內(nèi)容,制定任務(wù)清單,并自動生成完整的演示文稿直接供用戶使用,使生產(chǎn)力能夠成倍增長。在本地有硬件組塊,讓用戶在本地生成AI能力,區(qū)別于其他競爭對手。
圖:智能座艙當(dāng)中對話式AI 電子發(fā)燒友拍攝
此外,在今年全球增長迅猛的汽車端用例豐富。比如在座艙中使用對話式AI,向你推薦餐廳,還可以將你的工作任務(wù)制定規(guī)劃。生成式AI還可以根據(jù)出發(fā)點(diǎn)和目的地信息,結(jié)合汽車的豐富傳感器數(shù)據(jù)制定不同的路線規(guī)劃,找到最佳路線;在物聯(lián)網(wǎng)領(lǐng)域,生成式AI能夠助力打造面向?qū)I(yè)領(lǐng)域的GPT類型模型,以及幫助用戶完成不同任務(wù)的IoT助手,適用于醫(yī)療、零售、酒店管理中提升顧客和員工體驗(yàn)。
“在云端運(yùn)行一個(gè)超過10億參數(shù)的生成式AI模型,可能需要數(shù)百瓦的功耗,而在終端側(cè)運(yùn)行需要的功耗僅有幾毫瓦。高通實(shí)現(xiàn)了全球首個(gè)Android手機(jī)上的Stable Diffusion終端側(cè)演示。Stable Diffusion是一個(gè)參數(shù)超過10億的超大神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型,能夠基于輸入的文本提示生成圖片?!?Ziad Asghar指出,“通過我們的全棧AI優(yōu)化,這一模型能夠完全在終端側(cè)運(yùn)行,實(shí)現(xiàn)在15秒內(nèi)完成20步推理,生成飽含細(xì)節(jié)的圖像。高通的AI技術(shù)能夠支持終端在既定功耗下完成更多處理工作,遙遙領(lǐng)先競爭對手,這賦予了我們在生成式AI領(lǐng)域的獨(dú)特優(yōu)勢?!?/p>
據(jù)悉,高通面向Stable Diffusion進(jìn)行了全棧AI優(yōu)化。2022年6月,高通專門推出了面向邊緣AI的領(lǐng)先軟件棧產(chǎn)品—高通AI軟件棧。它支持從軟件層面進(jìn)行模型優(yōu)化。
Ziad Asghar強(qiáng)調(diào)說:“高通在AI 業(yè)務(wù)領(lǐng)域的三大關(guān)鍵要素包括:1、行業(yè)領(lǐng)先的硬件,支持在既定功耗下實(shí)現(xiàn)更高性能;2、行業(yè)領(lǐng)先的高通軟件棧;3、領(lǐng)先的工具,包括高通AI模型增效工具包(AIMET)等。數(shù)以十億計(jì)的終端,充分利用高通在人工智能技術(shù)方面的硬件、軟件和工具的優(yōu)勢,發(fā)揮作用。在高通統(tǒng)一技術(shù)路線圖的背景下,我們能將核心的硬件、軟件以及工具技術(shù)擴(kuò)展到不同產(chǎn)品線。開發(fā)人員只需要進(jìn)行一次開發(fā),就可以將開發(fā)成果和經(jīng)驗(yàn)應(yīng)用于其他使用高通技術(shù)和平臺的產(chǎn)品上。”
混合AI技術(shù)是AI未來 高通AI技術(shù)從C端到B端全面發(fā)力
“在云端和終端進(jìn)行分布式處理的混合AI才是AI的未來。混合AI的優(yōu)勢在于,即使不同終端處理能力不盡相同,但仍然能夠提供相近的體驗(yàn),同時(shí)帶來包括成本、能耗、隱私與安全、個(gè)性化等優(yōu)勢;還能通過出色的5G連接技術(shù)確保信息在端到端之間進(jìn)行高效傳輸。” Ziad Asghar對AI未來做出了清晰地判斷。
為何云端AI難以支持生產(chǎn)式AI的規(guī)模化擴(kuò)展?這是因?yàn)樵贫颂幚泶嬖诔杀镜某藬?shù)效應(yīng),用戶進(jìn)行查詢的次數(shù)越多,模型規(guī)模就越大,也就會導(dǎo)致云端的成本不斷上升。節(jié)省成本是主要推動因素。據(jù)估計(jì)使用基于生成式AI的搜索,每一次查詢成本是傳統(tǒng)搜索方法的10倍,而這只是眾多生成式AI的應(yīng)用之一。此外,應(yīng)用數(shù)量和用戶數(shù)量的增加,也會導(dǎo)致成本的提高。云端完成所有生成式AI所需的工作負(fù)載,是難以實(shí)現(xiàn)的。我們需要更多地利用混合AI的方式,將部分處理交給終端側(cè)完成,從而真正發(fā)揮生成式AI的優(yōu)勢。
混合AI架構(gòu)可以根據(jù)模型和查詢需求的復(fù)雜度等因素,選擇不同方式在云端和終端側(cè)之間分配處理負(fù)載?!耙云嚍槔?,在數(shù)字座艙里,我們可以為用戶提供真正意義上的虛擬助手。在汽車領(lǐng)域我們需要將多模態(tài)相結(jié)合,同時(shí)結(jié)合雷達(dá)、激光雷達(dá)、以及攝像頭等傳感器數(shù)據(jù),從而讓我們在使用生成式AI規(guī)劃路線時(shí),獲得最佳的效果。汽車需要非常強(qiáng)大的處理能力。一方面,汽車領(lǐng)域的生成式AI用例需要非常豐富的終端側(cè)處理能力,同時(shí),它還需要通過高速低時(shí)延的5G連接,在需要的情況下利用云端資源進(jìn)行處理。與其他產(chǎn)品線對比,汽車產(chǎn)品高通能夠提供更多的生成式AI處理能力?!?Ziad Asghar對電子發(fā)燒友記者表示。
Ziad Asghar透露,目前高通能夠支持Stable Diffusion超過10億參數(shù)的模型在終端側(cè)運(yùn)行,但我們也看到,許多關(guān)鍵的生成式AI模型,比如文本生成圖像、自然語言處理、編程、圖像理解、圖像創(chuàng)作等,模型規(guī)模一般在10億到100億參數(shù)之間。未來幾個(gè)月,高通將有望支持參數(shù)超過100億的模型在終端側(cè)運(yùn)行,這也將成為基于高通技術(shù)的產(chǎn)品的一大差異化優(yōu)勢?;旌螦I策略適用于所有生成式AI應(yīng)用和終端領(lǐng)域,包括手機(jī)、筆記本、XR頭顯、汽車和物聯(lián)網(wǎng),從C端到B端,這個(gè)策略對于生成式AI規(guī)?;瘮U(kuò)展至關(guān)重要。
本文由電子發(fā)燒友原創(chuàng),轉(zhuǎn)載請注明以上來源。微信號zy1052625525。需入群交流,請?zhí)砑游⑿舉lecfans999,投稿爆料采訪需求,請發(fā)郵箱zhangying@elecfans.com。
-
高通
+關(guān)注
關(guān)注
76文章
7354瀏覽量
190062 -
邊緣AI
+關(guān)注
關(guān)注
0文章
80瀏覽量
4904
發(fā)布評論請先 登錄
相關(guān)推薦
評論