具有多模態(tài)感知能力的智能軟體機械手研究

研究背景

基于人工智能物聯(lián)網(wǎng)（AI of things，AIoT），數(shù)字孿生（digital twin）在近幾年得到飛速發(fā)展，它是指利用各種傳感器的信息將物理系統(tǒng)復(fù)制到云端，在云端對系統(tǒng)進行監(jiān)控和優(yōu)化，在智能制造領(lǐng)域有重大意義。數(shù)字孿生一個重要的應(yīng)用是無人工廠中的零件分揀和產(chǎn)品組裝，由于制作成本低且具有非常高的靈活性，軟體機械手受到越來越多的關(guān)注。如何使機械手上的傳感器提供多維度的信息并且楊氏模量與其相匹配，是提升機械手性能需要考慮的主要問題。

文章概述

電子科技大學(xué)集成電路科學(xué)與工程學(xué)院（示范性微電子學(xué)院）“微波電路與微系統(tǒng)集成研究室”張曉升教授團隊與新加坡國立大學(xué)電子與計算機系“智能傳感與微機電系統(tǒng)中心”Chengkuo Lee教授團隊合作，開展了“具有多模態(tài)感知能力的智能軟體機械手”的研究工作并取得重要進展。該成果以“Intelligent Soft Robotic Fingers with Multi-Modality Perception Ability”為題發(fā)表在iScience（26, 107249，2023）期刊上。

該研究以探究TENG在數(shù)字孿生場景下的應(yīng)用為目標(biāo)，提出了一種基于TENG的具有兩種類型傳感器的軟體機械手。該系統(tǒng)由9個作為觸摸傳感器的single-layer TENG（SL-TENG）和3個作為彎曲傳感器的comb-shaped TENG（CS-TENG）組成，靈敏度達到110V/kPa，經(jīng)過20000次按壓測試后仍能維持穩(wěn)定輸出。最后結(jié)合一維卷積神經(jīng)網(wǎng)絡(luò)，該仿生傳感系統(tǒng)實現(xiàn)了實時物體識別功能。

這項工作的成果可以概括為以下三個方面：（1）針對觸摸傳感器，設(shè)計了兩種結(jié)構(gòu)：金字塔結(jié)構(gòu)和半球結(jié)構(gòu)。經(jīng)過測試，采用半球結(jié)構(gòu)的SL-TENG靈敏度相較于金字塔結(jié)構(gòu)提升了7%。（2）針對彎曲傳感器，特殊設(shè)計的固定梳狀電極使研究人員可以輕易從CS-TENG產(chǎn)生的信號中分辨出機械手彎曲的角度，分辨率可以達到5°，具有優(yōu)異的精度和準(zhǔn)確度。（3）三個由3D打印機打印的軟體手指組成了機械手，可以通過控制輸入氣體的壓力對機械手的抓握力度進行精確控制。（4）引入一維卷積神經(jīng)網(wǎng)絡(luò)，使用機械手抓握不同物體時12個傳感器（9個SL-TENG和3個CS-TENG）產(chǎn)生的信號生成數(shù)據(jù)集，訓(xùn)練和測試神經(jīng)網(wǎng)絡(luò)，再調(diào)用訓(xùn)練后的網(wǎng)絡(luò)進行物體實時識別，準(zhǔn)確率達到98.96%。

圖1 軟體機械手設(shè)計研究簡介。使用9個SL-TENG作為觸摸傳感器和3個CS-TENG作為彎曲傳感器，最后結(jié)合一維卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)物體實時識別功能。

圖2 智能傳感系統(tǒng)的數(shù)據(jù)采集和識別響應(yīng)。(A) 軟體機械手的圖片。(i) 機械手未充氣狀態(tài)。(ii) 機械手的充氣狀態(tài)。(B) 機械手抓握不同物體時產(chǎn)生的輸出響應(yīng)對應(yīng)的3D瀑布圖。(C) 一維卷積神經(jīng)網(wǎng)絡(luò)（1D-CNN）的結(jié)構(gòu)。(D) 學(xué)習(xí)曲線。(E) 混淆矩陣。

工作小結(jié)

本研究開發(fā)了一套由基于TENG的軟體手指組成的仿生傳感系統(tǒng)。提出并測試了SL-TENG的兩種新結(jié)構(gòu)。與小尺寸的金字塔微結(jié)構(gòu)相比，具有半球形微結(jié)構(gòu)的SL-TENG的靈敏度提高了7%。并且SL-TENG的輸出在20000次按壓后仍能保持穩(wěn)定。提出了幾種CS-TENG的結(jié)構(gòu)用于檢測機械手的彎曲角度，其中使用固定梳狀電極的模型具有最好的性能，該結(jié)構(gòu)具有穩(wěn)定的信號，可以通過波峰的數(shù)量來表示曲率。三根軟體手指采用TPU材料進行3D打印，并與其他傳感器組裝成一體作為傳感系統(tǒng)，該系統(tǒng)可以通過氣壓精確控制。傳感器生成的數(shù)據(jù)被發(fā)送到計算機并保存為數(shù)據(jù)集。最后搭建并訓(xùn)練了1D-CNN 模型，并驗證了實時物體識別的能力，顯示了該系統(tǒng)應(yīng)用于數(shù)字孿生領(lǐng)域的潛力。

審核編輯：劉清