大模型發(fā)展趨勢(shì)：多模態(tài)、自主智能、邊緣智能…

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）近一年多以來(lái)，大模型技術(shù)和應(yīng)用都在快速發(fā)展。無(wú)論是OpenAI、谷歌，還是百度、騰訊、字節(jié)等，大模型產(chǎn)品都已經(jīng)經(jīng)過(guò)了多次迭代，應(yīng)用也在不斷拓展。而接下來(lái)，大模型將呈現(xiàn)怎樣的發(fā)展趨勢(shì)，仍然是業(yè)界關(guān)注的重點(diǎn)。日前，在“太湖對(duì)話·人工智能+”論壇上，諸多學(xué)術(shù)界和產(chǎn)業(yè)界人士就相關(guān)話題進(jìn)行了深刻探討。

AI大模型的五個(gè)發(fā)展方向

在會(huì)上，中國(guó)工程院院士，清華大學(xué)講席教授、智能產(chǎn)業(yè)研究院（AIR）院長(zhǎng)張亞勤談到了AI大模型發(fā)展的五個(gè)方向。首先是多模態(tài)智能，即結(jié)合語(yǔ)言、文字、視頻、激光雷達(dá)點(diǎn)云、3D結(jié)構(gòu)信息、4D時(shí)空信息乃至生物信息，實(shí)現(xiàn)多尺度、跨模態(tài)的智能感知、決策和生成。

其次是自主智能，即將大模型作為一種工具，開(kāi)發(fā)能夠自主規(guī)劃任務(wù)、編寫(xiě)代碼、調(diào)動(dòng)工具、優(yōu)化路徑的智能體，實(shí)現(xiàn)高度的自我迭代、升級(jí)和優(yōu)化，實(shí)現(xiàn)自主智能。這里需要考慮模型間如何互相調(diào)用、模型如何使用工具、基礎(chǔ)模型間如何進(jìn)行聯(lián)邦學(xué)習(xí)等。

如醫(yī)療智能體自主進(jìn)化的模擬醫(yī)院，他們首次搭建了基于LLM Agent的模擬醫(yī)院，包含醫(yī)患兩類角色和診療八項(xiàng)關(guān)鍵流程。提出不依賴人工標(biāo)注數(shù)據(jù)的”MedAgent-Zero”醫(yī)療智能自主進(jìn)化策略。有兩種方式自我進(jìn)化：從正確回答積累樣例，從錯(cuò)誤回答總結(jié)經(jīng)驗(yàn)。診斷上萬(wàn)模擬病人后，醫(yī)療智能體診斷兩天相當(dāng)于醫(yī)生兩年，醫(yī)學(xué)只能體在MedQA子集上達(dá)到最優(yōu)。

第三是邊緣智能，將大模型部署到邊緣設(shè)備端，如AI PC, AI手機(jī)，AI電視等，實(shí)現(xiàn)高效率、低功耗、低成本、低時(shí)延的處理和響應(yīng)，從而實(shí)現(xiàn)邊緣智能。

AIR和亞信在這方面已經(jīng)有都個(gè)合作落地案例，如邊緣一體機(jī)視頻分析優(yōu)化，利用運(yùn)動(dòng)向量，增量移動(dòng)識(shí)別框，顯著提升目標(biāo)跟蹤性能；大模型推理性能優(yōu)化，基于運(yùn)行時(shí)參數(shù)緩存機(jī)制，智能高效地管理MOE模型experts的換入換出，降低顯存需求>50%；5G專網(wǎng)算力內(nèi)生技術(shù)，利用基站BBU空閑算力提供服務(wù)，基于進(jìn)程搶占的方法，有效提升BBU算力資源回收效率。

第四是物理（具身）智能：大模型正在被用到無(wú)人車、機(jī)器人、無(wú)人機(jī)、工廠、交通、 通訊、電網(wǎng)、電站和其他物理基礎(chǔ)設(shè)施，提升其自動(dòng)化和智能化水平，從而實(shí)現(xiàn)具身智能。張亞勤認(rèn)為，談到物理智能，機(jī)器人將會(huì)是大模型關(guān)鍵的落地方向，無(wú)人駕駛其實(shí)也是機(jī)器人的另一種形式，如支持全地形移動(dòng)的自穩(wěn)定送貨平臺(tái)，具有自主學(xué)習(xí)能力的低速自動(dòng)駕駛等。

第五便是生物智能，將大模型應(yīng)用到人腦、生命體、生物體里，實(shí)現(xiàn)大模型與生物體連結(jié)的生物智能，并最終實(shí)現(xiàn)信息智能、物理智能和生物智能的融合。

如AI+生命健康的典型案例，BrainCo腦機(jī)接口技術(shù)，該項(xiàng)目孵化于哈佛大學(xué)創(chuàng)新實(shí)驗(yàn)室，由華人團(tuán)隊(duì)主創(chuàng)，包括生物醫(yī)學(xué)工程、材料學(xué)、腦科學(xué)、腦疾病、AI跨學(xué)科團(tuán)隊(duì)，這種非侵入式腦機(jī)接口量產(chǎn)產(chǎn)品登上Time周刊NASA官網(wǎng)?？纱┐髂X機(jī)接口產(chǎn)品可應(yīng)用于自閉癥，睡眠障礙，閉環(huán)正念冥想、抑郁癥，阿爾茲海默等。

自主學(xué)習(xí)、演進(jìn)的大模型還在研究中

除此之外，在圓桌論壇環(huán)節(jié)，多位行業(yè)人士也就大模型的發(fā)展趨勢(shì)做了詳細(xì)探討。阿里云智能首席技術(shù)官周靖人談到，大模型非常明顯的一個(gè)趨勢(shì)就是多模態(tài)，現(xiàn)在知識(shí)體越來(lái)越多，不只是只有書(shū)本的知識(shí)，還有語(yǔ)言，還有視覺(jué)看到的物理界的東西，怎么更好地把各種知識(shí)體融合在一起是關(guān)鍵。

在他看來(lái)，重點(diǎn)需要考慮的是如何讓大模型更趨向人類智能，還需要包括記憶體，如何把長(zhǎng)期的記憶、短期的記憶都結(jié)合在一起。如此，今后就能夠讓大模型發(fā)展成更有個(gè)性、更有特點(diǎn)的產(chǎn)品，在不同領(lǐng)域都能夠有不同的思考。同時(shí)大模型與真實(shí)世界有更多互動(dòng)，相關(guān)的信息又會(huì)反饋給模型，這讓的大模型就能夠發(fā)展具有自我更新優(yōu)化的能力。

不過(guò)就大模型目前的成熟度而言，還有待研究。周靖人談到，在IT時(shí)代，讓信息的獲取觸手可及，大模型過(guò)后，讓知識(shí)的獲取觸手可及?，F(xiàn)在，一個(gè)非常明確的點(diǎn)就是，大模型作為一個(gè)助手，它能夠提供各種輔導(dǎo)的意見(jiàn)，但最后的決策還是在人，現(xiàn)在這種作為助手的大模型已經(jīng)做得非常好，這是大模型發(fā)展的第一步。

而第二步要實(shí)現(xiàn)的是讓大模型更為精準(zhǔn)，現(xiàn)在大模型的回答還存在很多問(wèn)題，如何讓它十次回答十次都是精準(zhǔn)的，周靖人認(rèn)為這個(gè)還有優(yōu)化空間。更進(jìn)一步則是，讓模型能夠自我學(xué)習(xí)、自我演進(jìn)，當(dāng)然這一步目前來(lái)說(shuō)也還在研究中。

澳門(mén)產(chǎn)業(yè)技術(shù)研究院院長(zhǎng)、境成資本管理合伙人向江旭談到，多模態(tài)大模型是通向AGI可行的道路。他認(rèn)為，如何把大模型做到去影響、改變物理世界是一個(gè)趨勢(shì)，如讓具身智能（機(jī)器人等）成為可能，這也會(huì)讓日后的養(yǎng)老更加便利。

清華大學(xué)惠妍講席教授、AIR首席科學(xué)家馬維英談到了一個(gè)很新的角度。他認(rèn)為，現(xiàn)在大家專注的焦點(diǎn)還是，大模型能看、能聽(tīng)、能寫(xiě)等，而這些方向的機(jī)會(huì)，主要還是在互聯(lián)網(wǎng)大廠，如谷歌、微軟等。

那么，是否有新的機(jī)會(huì)呢，不只是生成文章、圖片這些。馬維英考慮的是，希望不只是把人類只能作為模仿的關(guān)鍵，他認(rèn)為生物、自然領(lǐng)域也有很多機(jī)會(huì)值得探索，如生物、化學(xué)、材料等，很多新的能源是否能夠用AI去合成，在他看來(lái)，這些領(lǐng)域在未來(lái)十年會(huì)有巨大的機(jī)會(huì)。

寫(xiě)在最后

如今，大模型作為一個(gè)工具助手，已經(jīng)具備非常強(qiáng)大功能，并且已經(jīng)有了相當(dāng)成熟的應(yīng)用。如今大模型具備更多的智能，如GPT-4o，已經(jīng)能夠在于人類的互動(dòng)中表達(dá)感情。而更進(jìn)一步，大模型要實(shí)現(xiàn)自主學(xué)習(xí)、自主演進(jìn)，也就是實(shí)現(xiàn)自主智能，仍然還需要持續(xù)研究。大模型帶來(lái)的機(jī)會(huì)方面，除了互聯(lián)網(wǎng)大廠掌握的文字、圖片、視頻生成等方面之外，對(duì)于新的企業(yè)來(lái)說(shuō)，從自然領(lǐng)域，如生物、化學(xué)、材料等領(lǐng)域去探索，或許會(huì)看到新的機(jī)會(huì)。