手語翻譯系統(tǒng)系列之使用旭日X3派實時識別播報手語

一、準備工作

硬件部分：旭日X3派，USB免驅(qū)攝像頭，電源適配器，燒錄Ubuntu系統(tǒng)的SD卡，USB揚聲器，顯示屏（或者VNC/SSH遠程連接）

軟件部分：Thonny IDE集成開發(fā)環(huán)境

首先，關(guān)于Ubuntu系統(tǒng)鏡像的燒錄官方有詳細的教程，這里不再贅述，我自己是選擇桌面Ubuntu 20.04，大家選擇最新的即可。如果是第一次進入系統(tǒng)，記得使用命令行更新一下軟件源等，使用快捷鍵ctrl+alt+T打開命令行，輸入以下命令：

# 更新軟件源 apt-get update # 更新升級所有軟件 apt-get upgrade

接下來就可以開始安裝Thonny IDE，作為一款輕量化的python集成開發(fā)環(huán)境，對新手十分友好，簡單易上手，后續(xù)安裝各種python依賴庫也相當方便。安裝方式Thonny官方網(wǎng)址提供了三種Linux的命令行下載方式，大家可以根據(jù)自己的情況進行選擇。

flatpak install org.thonny.Thonny //Flatpak sudo apt install thonny //Debian,Raspbian,Ubuntu,Mintand others sudo dnf install thonny //FedoraFedora

耐心等待程序安裝即可，如果中途出現(xiàn)異常大概率是網(wǎng)絡(luò)不穩(wěn)定導致，檢查網(wǎng)絡(luò)連接并再次運行命令行即可。由于Ubuntu系統(tǒng)不會自動生成快捷方式，所以安裝成功后在命令行輸入Thonny即可啟動IDE。

重頭戲來了，安裝項目依賴庫。啟動Thonny IDE后，選擇左上方工具>>管理包，根據(jù)附件中提供的程序開始安裝python依賴庫。過程可能會比較漫長，這取決于當前網(wǎng)絡(luò)情況，還有部分庫文件可能會出現(xiàn)下載失敗的情況，請耐心多嘗試幾次。

import os import threading import cv2 import mediapipe as mp import time import torch as t from model import HandModel from tools.landmark_handle import landmark_handle from tools.draw_landmarks import draw_landmarks from tools.draw_bounding_rect import draw_bounding_rect import numpy as np from tools.draw_rect_text import draw_rect_txt from PIL import Image, ImageFont, ImageDraw import pyttsx3 # 大家可以根據(jù)這個來添加項目依賴

（PS.cv2是opencv-python的縮寫，在import的時候采用這種縮寫，但添加庫的時候不能直接搜索cv2，而是要打全稱opencv-python。）

二、實現(xiàn)原理

智能手語識別系統(tǒng)共包括語音播報模塊，模型訓練模塊，手勢識別模塊，文字轉(zhuǎn)寫模塊，一共可識別播報“也”、“吸引”、“美麗的”、 “相信”、“的”、“懷疑”、“夢想”、“表達”、“眼睛”、 “給”、“很難”、“有”、“許多”、“我”、“方法”、“不”, “只有”、“超過”、“請”、“放”、“說”、“微笑”、“星星”、“十分”、“看”、“你”等27個國家通用手語。

model_path = 'checkpoints/model_test1.pth' label = ["也", "吸引", "美麗的", "相信", "的", "懷疑", "夢想", "表達", "眼睛", "給", "很難","有","許多","我", "方法", "不", "只有", "結(jié)束", "請", "放", "說", "微信", "星星", "十分","看","你"]

語音播報模塊采用pyttsx3第三方庫，它是一個用于文字轉(zhuǎn)語音的第三方python庫，還可實現(xiàn)對音量，聲源，語速的調(diào)整，可脫機工作，兼容python2和python3。

def run(): str_show = this_label star_date = open("2.txt", "w", encoding="utf-8") star_date.write(str_show) star_date.close() star_data = open("2.txt", "r", encoding="utf-8") star_read = star_data.readlines() star_data.close() file = "2.txt" res = open(file, encoding="utf-8").read() engine = pyttsx3.init() content = res engine.say(content) engine.runAndWait() time.sleep(1)

模型訓練模塊采用torch第三方庫，torch廣泛運用深度學習。它能夠幫助我們構(gòu)建深度學習項目，強調(diào)靈活性，而且允許使用我們習慣的python表示方法來表達深度學習模型。算力高，易學習，比較容易入門。

# 模型保存地址 targetX = [0 for xx in range(label_num)] target = [] for xx in range(label_num): target_this = copy.deepcopy(targetX) target_this[xx] = 1 target.append(target_this) # 獨熱碼 lr = 1e-3 # learning rate model_saved = 'checkpoints/model' # 模型定義 model = HandModel() optimizer = t.optim.Adam(model.parameters(), lr=lr) criterion = nn.CrossEntropyLoss() loss_meter = meter.AverageValueMeter() epochs = 40 for epoch in range(epochs): print("epoch:" + str(epoch)) loss_meter.reset() count = 0 allnum = 1 for i in range(len(label)): data = np.load('./npz_files/' + label[i] + ".npz", allow_pickle=True) data = data['data'] for j in range(len(data)): xdata = t.tensor(data[j]) optimizer.zero_grad() this_target = t.tensor(target[i]).float() input_, this_target = Variable(xdata), Variable(this_target) output = model(input_) outLabel = label[output.tolist().index(max(output))] targetIndex = target[i].index(1) targetLabel = label[targetIndex] if targetLabel == outLabel: count += 1 allnum += 1 output = t.unsqueeze(output, 0) this_target = t.unsqueeze(this_target, 0) loss = criterion(output, this_target) loss.backward() optimizer.step() loss_meter.add(loss.data) print("correct_rate:", str(count / allnum)) t.save(model.state_dict(), '%s_%s.pth' % (model_saved, epoch))

準備好數(shù)據(jù)集就可以開始進行模型訓練，模型推薦在電腦上進行訓練，我自己的電腦是win10的系統(tǒng)，用的pycharm IDE的集成開發(fā)環(huán)境，如果只是想體驗一下的話也可以直接使用附件里訓練好的模型。

手勢識別模塊采用Mediapipe和OpenCV庫對人手進行特征提取與骨骼綁定，旭日X3派根據(jù)攝像頭捕捉的關(guān)鍵幀的進行特征提取，基于PyTorch模型進行推理，并將推理翻譯結(jié)果顯示到屏幕上，同時將翻譯結(jié)果以txt文件形式進行保存和API接入后上傳到百度語音開發(fā)平臺，由平臺進行人聲的合成，然后將生成的mp3文件下載到旭日X3派終端用揚聲器進行播放，實現(xiàn)了為語言障礙人士發(fā)聲，為“礙”發(fā)聲。

# 百度大腦AI開放平臺API接入實現(xiàn)語音合成的示例 def fetch_token(): print("fetch token begin") params = {'grant_type': 'client_credentials', 'client_id': API_KEY, 'client_secret': SECRET_KEY} post_data = urlencode(params) if (IS_PY3): post_data = post_data.encode('utf-8') req = Request(TOKEN_URL, post_data) try: f = urlopen(req, timeout=5) result_str = f.read() except URLError as err: print('token http response http code : ' + str(err.code)) result_str = err.read() if (IS_PY3): result_str = result_str.decode() print(result_str) result = json.loads(result_str) print(result) if ('access_token' in result.keys() and 'scope' in result.keys()): if not SCOPE in result['scope'].split(' '): raise DemoError('scope is not correct') print('SUCCESS WITH TOKEN: %s ; EXPIRES IN SECONDS: %s' % (result['access_token'], result['expires_in'])) return result['access_token'] else: raise DemoError('MAYBE API_KEY or SECRET_KEY not correct: access_token or scope not found in token response') """ TOKEN end """ if __name__ == '__main__': token = fetch_token() tex = quote_plus(TEXT) # 此處TEXT需要兩次urlencode print(tex) params = {'tok': token, 'tex': tex, 'per': PER, 'spd': SPD, 'pit': PIT, 'vol': VOL, 'aue': AUE, 'cuid': CUID, 'lan': 'zh', 'ctp': 1} # lan ctp 固定參數(shù) data = urlencode(params) print('test on Web Browser' + TTS_URL + '?' + data) req = Request(TTS_URL, data.encode('utf-8')) has_error = False try: f = urlopen(req) result_str = f.read() headers = dict((name.lower(), value) for name, value in f.headers.items()) has_error = ('content-type' not in headers.keys() or headers['content-type'].find('audio/') < 0) except URLError as err: print('asr http response http code : ' + str(err.code)) result_str = err.read() has_error = True save_file = "error.txt" if has_error else 'result.' + FORMAT with open(save_file, 'wb') as of: of.write(result_str) if has_error: if (IS_PY3): result_str = str(result_str, 'utf-8') print("tts api error:" + result_str) print("result saved as :" + save_file) # 骨架綁定的可視化 draw_landmarks(frame, hand_local) brect = draw_bounding_rect(frame, hand_local)

文字轉(zhuǎn)寫模塊通過旭日X3派外接麥克風進行收音，API接入后將錄制的mp3文件上傳，通過云端語音平臺實時轉(zhuǎn)寫為文字后顯示到旭日X3派終端的屏幕上。最后利用python的多線程將手勢識別，語音播報，文字轉(zhuǎn)寫同時運行，至此，實現(xiàn)了聾啞人士與普通人的雙向無障礙溝通交流。

三、效果展示

得益于旭日X3派的強大算力，系統(tǒng)對手勢的識別展示并播報十分靈敏，畫面流程度也得到保障（溫馨提示：長時間運行請準備小風扇給開發(fā)板降溫哦）。

四、性能測試

系統(tǒng)測試方案：將訓練好模型導入旭日X3派中，接入電源后等待初始化完成，由小組成員們隨機在鏡頭前做出27個國家通用手語，將翻譯終端識別播報的準確率記錄，同時將識別的總時長記錄收集。

測試數(shù)據(jù)如下：

結(jié)果分析：實驗數(shù)據(jù)表明，27個國家通用手語隨機檢驗的識別準確率均在90%以上，單次執(zhí)行時間也均在1秒之內(nèi)。

結(jié)論：手語翻譯終端有很高的實時性，充分保障聾啞殘障人士的無障礙溝通交流。

本文轉(zhuǎn)自地平線開發(fā)者社區(qū)
原作者：鑫辰大海王