在線群聊極大地方便了人們的溝通方式,能否把機(jī)器也拉進(jìn)群,讓它們組團(tuán)商量著干活,并和人類無障礙地溝通和交流,更好地服務(wù)于生產(chǎn)生活?機(jī)器能否用語言進(jìn)行交互,表達(dá)自己的所見、所聽、所想,成為真正的智能機(jī)器人呢?
近日,西北工業(yè)大學(xué)光電與智能研究院李學(xué)龍教授和同事們在機(jī)器交互方面取得創(chuàng)新進(jìn)展:基于國產(chǎn)大模型,研發(fā)了“群聊式”無人機(jī)控制框架,給每架無人機(jī)裝上了大腦,讓無人機(jī)集群在語言溝通中動態(tài)協(xié)同,實(shí)現(xiàn)了開放環(huán)境下“人機(jī)”和“多機(jī)”的對話交互,打破人類和機(jī)器的交互壁壘,進(jìn)一步拓展了臨地安防的應(yīng)用場景。
超強(qiáng)的泛化能力,讓大模型成為“通用人工智能”的一縷曙光。然而,讀萬卷書,不如行萬里路。在開放環(huán)境中,大模型需要真正地“走”進(jìn)物理世界,才能切實(shí)地理解復(fù)雜任務(wù)、解決實(shí)際問題。李學(xué)龍教授團(tuán)隊(duì)在開放環(huán)境中的自主無人機(jī)集群方面開展了創(chuàng)新研究,讓大模型插上翅膀,飛入我們的現(xiàn)實(shí)生活中。受人類的認(rèn)知模式啟發(fā),團(tuán)隊(duì)將認(rèn)知形成的高度自主性凝練為“思維計(jì)算—實(shí)體控制—環(huán)境感知”的三元交互,建立了“書生·浦語”開源大模型驅(qū)動的自主無人機(jī)“群聊式”控制框架,實(shí)現(xiàn)了開放環(huán)境和復(fù)雜任務(wù)中的智能交互、主動感知和自主控制,提高了無人機(jī)任務(wù)執(zhí)行的自主性。總體而言,類人對話交互、主動環(huán)境感知、自主實(shí)體控制,是自主無人機(jī)集群的主要能力。
1. 類人對話交互
無人機(jī)群聊溝通
探索人類用戶與無人機(jī)的交互方式,讓無人機(jī)理解復(fù)雜任務(wù)中的用戶需求,是實(shí)現(xiàn)自主無人機(jī)的前提條件。針對此,團(tuán)隊(duì)提出“群聊式”對話交互方法,將聲音、圖像和無人機(jī)自身狀態(tài)等多種信息,通過大模型轉(zhuǎn)換為自然語言的對話形式,實(shí)現(xiàn)了用戶與無人機(jī),以及無人機(jī)與無人機(jī)之間自主和直觀的交互方式。同時,團(tuán)隊(duì)設(shè)計(jì)了一套高效的實(shí)時反饋機(jī)制,使得無人機(jī)能夠在任務(wù)執(zhí)行的關(guān)鍵節(jié)點(diǎn)通過對話報告自身狀態(tài)、尋求用戶確認(rèn),大大提高了復(fù)雜任務(wù)執(zhí)行的穩(wěn)定性和安全性。
2. 主動環(huán)境感知
主動發(fā)現(xiàn)并靠近目標(biāo)
動態(tài)環(huán)境避障
在飛行過程中,無人機(jī)主動感知外部環(huán)境,實(shí)時調(diào)整任務(wù)規(guī)劃,是完成復(fù)雜任務(wù)的關(guān)鍵環(huán)節(jié)。針對此,團(tuán)隊(duì)設(shè)計(jì)了任務(wù)引導(dǎo)的主動感知機(jī)制,提出了多傳感器融合的低空搜索、動態(tài)避障和視覺定位算法。在實(shí)際任務(wù)執(zhí)行中,根據(jù)感知信息和任務(wù)目標(biāo),動態(tài)調(diào)整無人機(jī)飛行路徑和觀測位姿,嘗試從不同角度和位置感知周圍世界,逐漸降低環(huán)境中的不確定性,實(shí)現(xiàn)高效的信息采集和任務(wù)執(zhí)行。
3. 自主控制
自主目標(biāo)抓取
異構(gòu)無人機(jī)集群協(xié)同控制
探索復(fù)合智能體形態(tài),增強(qiáng)復(fù)雜任務(wù)處理能力,是大模型時代新型智能體的研究重點(diǎn)。針對此,團(tuán)隊(duì)依托無人機(jī)平臺設(shè)計(jì)了夾爪等末端執(zhí)行器,將傳統(tǒng)無人機(jī)拓展為“飛行機(jī)器人”,長出“手”來,具備抓取能力。同時,構(gòu)建了異構(gòu)無人機(jī)集群協(xié)同控制機(jī)制,結(jié)合環(huán)境感知反饋,實(shí)時調(diào)整無人機(jī)編隊(duì)的飛行狀態(tài),使集群分工執(zhí)行區(qū)域搜索、目標(biāo)定位和抓取等任務(wù)。
大模型自主無人機(jī)集群是團(tuán)隊(duì)將生物智能 “思維計(jì)算—實(shí)體控制—環(huán)境感知”的三元交互模式應(yīng)用于自主智能體的一次成功嘗試,依托大語言模型、無人機(jī)平臺和多種傳感器,實(shí)現(xiàn)對話交互、主動感知和自主控制,對安防巡檢、災(zāi)害救援、空中物流等臨地安防場景下的應(yīng)用具有重要意義。
-
人工智能
+關(guān)注
關(guān)注
1789文章
46401瀏覽量
236643 -
無人機(jī)
+關(guān)注
關(guān)注
226文章
10272瀏覽量
178740 -
大模型
+關(guān)注
關(guān)注
2文章
2225瀏覽量
2262
原文標(biāo)題:創(chuàng)新進(jìn)展!西工大自主無人機(jī)集群,讓大模型插上翅膀
文章出處:【微信號:雨飛工作室,微信公眾號:雨飛工作室】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論