多模態(tài):智能座艙的新突破口

在智能汽車(chē)產(chǎn)業(yè)蓬勃發(fā)展的當(dāng)下，智能座艙作為車(chē)輛的重要組成部分，正經(jīng)歷著前所未有的變革。清華大學(xué)智能綠色車(chē)輛與交通全國(guó)重點(diǎn)實(shí)驗(yàn)室的曹東璞教授在全球智能汽車(chē)產(chǎn)業(yè)大會(huì)（GIV 2024）上指出，國(guó)內(nèi)智能座艙的發(fā)展速度驚人，已經(jīng)從過(guò)去的落后狀態(tài)轉(zhuǎn)變?yōu)轭I(lǐng)先國(guó)際。這一轉(zhuǎn)變的背后，AI大模型起到了關(guān)鍵的推動(dòng)作用。

然而，隨著智能座艙市場(chǎng)的快速發(fā)展，頭部座艙企業(yè)已經(jīng)遇到了瓶頸。為了突破這一困境，多模態(tài)成為了智能座艙發(fā)展的新熱點(diǎn)。多模態(tài)是指通過(guò)不同的信息來(lái)源或形式（如文本、語(yǔ)音、圖像、視頻等）來(lái)傳遞和接收信息。相較于單一模態(tài)，多模態(tài)能夠更全面、完整地反映真實(shí)世界的復(fù)雜性和多樣性，同時(shí)實(shí)現(xiàn)不同模態(tài)之間的交互和融合。

隨著技術(shù)的持續(xù)迭代和發(fā)展，AI大模型正在從單一模態(tài)向多模態(tài)演進(jìn)。咨詢(xún)公司Gartner預(yù)測(cè)，建立在多模態(tài)大模型上的生成式AI應(yīng)用將在未來(lái)幾年內(nèi)實(shí)現(xiàn)快速增長(zhǎng)。智能汽車(chē)作為原生多模態(tài)大模型的絕佳落地場(chǎng)景，正引領(lǐng)著這一變革。

商湯絕影和GPT-4V等多模態(tài)大模型的發(fā)布，標(biāo)志著AI公司開(kāi)始在技術(shù)框架層將語(yǔ)言模型、視覺(jué)模型、聲音模型等進(jìn)行融合。這些模型通過(guò)跨模態(tài)數(shù)據(jù)的訓(xùn)練，實(shí)現(xiàn)了多模態(tài)的對(duì)齊和連接，從而能夠在更廣泛的場(chǎng)景中應(yīng)用。

商湯絕影將多模態(tài)大模型業(yè)務(wù)分為模型層、引擎層和業(yè)務(wù)層三層。模型層包括車(chē)端側(cè)和云端的模型，用于進(jìn)行多模態(tài)大模型的推理。引擎層則包括座艙大腦和全時(shí)駕駛輔助兩個(gè)產(chǎn)品，分別用于感知座艙內(nèi)的情況和車(chē)外場(chǎng)景。業(yè)務(wù)層則包括語(yǔ)音助手、ADAS系統(tǒng)、手機(jī)運(yùn)用以及娛樂(lè)功能等，與下面的模型層和引擎層進(jìn)行融合。

然而，多模態(tài)大模型在智能座艙中的應(yīng)用也面臨著諸多挑戰(zhàn)。首先，車(chē)端應(yīng)用大模型需要強(qiáng)大的算力支持，而如何更優(yōu)、更好地使用算力是一個(gè)亟待解決的問(wèn)題。其次，集中化跨模態(tài)的全鏈路數(shù)據(jù)打通和服務(wù)接口的標(biāo)準(zhǔn)化等方面也需要進(jìn)一步努力。此外，多模態(tài)大模型在實(shí)際應(yīng)用中的取舍也是一個(gè)重要問(wèn)題。一些新功能雖然看似炫酷，但可能并不符合用戶(hù)的實(shí)際需求，導(dǎo)致資源浪費(fèi)。

因此，智能座艙的發(fā)展需要回歸原點(diǎn)，改變車(chē)內(nèi)場(chǎng)景的交互效率。百度智艙業(yè)務(wù)部總經(jīng)理李濤指出，如果一個(gè)功能頻繁被用戶(hù)使用，可能說(shuō)明整體車(chē)輛設(shè)計(jì)的智能化程度較低，無(wú)法理解用戶(hù)當(dāng)前所需。因此，智能座艙的發(fā)展應(yīng)該更加注重用戶(hù)體驗(yàn)和實(shí)際需求，通過(guò)多模態(tài)大模型等技術(shù)手段提高交互效率，為用戶(hù)帶來(lái)更加便捷、智能的出行體驗(yàn)。

綜上所述，多模態(tài)作為智能座艙的新突破口，正引領(lǐng)著智能汽車(chē)產(chǎn)業(yè)的發(fā)展。然而，要實(shí)現(xiàn)多模態(tài)大模型在智能座艙中的廣泛應(yīng)用，還需要克服諸多技術(shù)和市場(chǎng)挑戰(zhàn)。未來(lái)，隨著技術(shù)的不斷進(jìn)步和市場(chǎng)的日益成熟，智能座艙將迎來(lái)更加廣闊的發(fā)展前景。