借助手部動作控制機械臂的手語翻譯成文本和語音手套

描述

該項目的存在只有一個目的，即幫助聾人社區(qū)輕松地與附近的環(huán)境進行交流和互動。其目的是轉(zhuǎn)換代表 ASL（美國手語）腳本中提到的 26 個英文字母的基本符號，并將它們顯示在智能手機屏幕上。

?

?

電路組裝

?

?

?

?

?

1 / 4

?

項目詳情

該項目的靈感來自于借助手部動作控制機械臂的想法。大部分工作是相同的，但實現(xiàn)其余部分是一項相當復雜的任務(wù)。加速度計用于測量手掌的傾斜度。五個彎曲傳感器放置在手套上，四個用于手指，一個用于拇指。這些傳感器測量手指、拇指和手掌的彎曲度，根據(jù)彎曲角度值，Arduino Nano 微控制器了解哪組值代表哪個符號，并通過藍牙將適當?shù)慕Y(jié)果值傳輸?shù)?Android 應(yīng)用程序，該應(yīng)用程序顯示并說出生成的符號.

表示前幾個符號很容易也很有趣，但是很少有很難區(qū)分的符號，例如“U”和“V”，它們的形式略有不同，并且給出的值幾乎相同。早期的原型在很大程度上未能表現(xiàn)出相同的效果，但使用手指之間的金屬條解決了問題，該金屬條用于判斷它們是否接觸。

通過不時地不斷更新每個符號的數(shù)據(jù)集來提高準確性。

工作視頻

示例圖片

?

?

安卓應(yīng)用

我已經(jīng)使用 Android Studio 來創(chuàng)建應(yīng)用程序。該應(yīng)用程序顯示通過語音輸出生成的符號。

?

?

?

?

?

1 / 3

?

傳感器校準

在開始之前，您必須校準傳感器的最小值和最大值。將數(shù)字引腳 7 連接到 5V 并關(guān)閉和打開您的手以自動校準傳感器的最小值和最大值。我只使用 if(digitalRead(7)==HIGH) 進行校準。如果您不想校準傳感器，可以刪除線 64-119。

未來范圍

這個工具可以是：

1）進一步與各類服務(wù)相結(jié)合，助力聾啞人就業(yè)。

2) 配備控制器，在指尖上提供家庭自動化。

3）與健身傳感器配對以監(jiān)測個人的健康狀況。

?