新聞中心

EEPW首頁 > 設計應用 > 適用于手語采集與輸入的智能手套及翻譯系統

適用于手語采集與輸入的智能手套及翻譯系統

作者:程杰,陳建華,許舒涵時間:2023-08-24來源:電子產品世界收藏
編者按:設計并實現了一款以ESP32-C3-WROOM-02為核心,基于物聯網、UDP協議、姿態傳感器和彎曲傳感器的適用于手語采集與輸入的智能手套及翻譯系統。該系統通過在手套上綁定姿態傳感器MPU6050,配合彎曲傳感器動態監測手的運動和姿態,通過ESP32芯片采集傳感器數據并做初步處理,經單片機上的Wi-Fi模塊通過 UDP 協議傳輸給云端采用 SVM 算法識別靜態手勢,此外,本設計還搭建了基于Python的Web應用程序框架Streamlit實現在網頁上實時呈現處理結果和全平臺兼容,方便用戶使用。

*本項目在2022年廣東省大學生電子設計競賽獲得一等獎,相關成果正在申請專利。

本文引用地址:http://www.betmarket92.com/article/202308/449896.htm

據中國殘疾人人口數據庫有關數據,我國持殘疾證人口中聽力殘疾和言語殘疾共計249.2 萬人,且多為農村人口。由于工作和生活中大多數人不熟悉手語,造成了聾啞人難以融入社會生活的問題。因此,迫切需要一款低價、便攜的手語翻譯系統來輔助聾啞人與普通人溝通。

鑒于手語翻譯系統在輔助聾啞人融入社會中起到的重要作用,本文通過設計一款適用于手語采集與輸入的智能手套及翻譯系統采集手勢,形成數據庫并訓練機器學習模型。使用者佩戴手套以后做出不同手勢,手套將采集到的手指彎曲程度、加速度等信息在單片機進行預處理以后,通過UDP 協議經Wi-Fi 傳遞至云端處理,云端接收數據報后通過分辨通過分辨靜態手勢與動態活動,將數據二次處理后放入已經訓練好的模型中進行預測,并在網頁界面實時顯示結果,實現全平臺兼容。該方案穩定性較高,可拓展性及可維護性極強,人機交互友好,解決了當前非接觸式精度低、易受干擾、處理速度慢等痛點。

經過測試該方案識別準確性高達91.02%,方差0.0012,硬件成本僅為296 元且可拓展性高,人機交互友好,具備廣泛普及的條件,能有效輔助聾啞人士進行簡單交流,更好的參與社會生活,并且還可以作為教學用具進行手語培訓。

表1 方案對比

1692846759700405.png

1 方案選擇

方案1 基于傳感器和MPU6050 姿態傳感器的數據手套上的傳感器能識別手指彎曲以及手部的運動,識別率較高,并且成本低有利于推廣,數據量低傳輸速度快,處理難度低。

方案2 基于計算機視覺的手語識別通常采用攝像頭作為傳感設備,無須穿戴,體驗感較好,但是感受與識別技術容易受到周圍環境因素的影響,如光照等。同時需要處理的數據量巨大,識別的實時性較低,并且不適用于日常環境。

方案2 基于計算機視覺的手語識別通常采用攝像頭作為傳感設備,無須穿戴,體驗感較好,但是感受與識別技術容易受到周圍環境因素的影響,如光照等。同時需要處理的數據量巨大,識別的實時性較低。

2 系統設計

2.1 系統組成

本系統總體設計框圖如圖1 所示,包括、姿態傳感器MPU6050、、服務器、網頁端五部分。

1692846854357617.png

圖1 系統總體設計框圖

2.2 系統工作過程

和姿態傳感器分別采集手指彎曲數據和手掌朝向、運動數據。采集到的數據在 進行滑動濾波和歸一化處理后以UDP 報文發送給服務器進行分類和識別最終將識別結果呈現在網頁端。

3 系統功能實現

3.1 硬件部分

系統的硬件部分將五根通過幾段在手指關節處的軟管固定使其可以在軟管中自由滑動,從而實現良好的佩戴體驗并提高數據采集的準確性。將陀螺儀、單片機通過排母固定于主板上,并將主板通過手環固定于手腕上,從而盡可能降低了佩戴該裝置對手部活動的影響,單片機和彎曲傳感器之間通過杜邦線連接,采用電池供電形式,實現了舒適的穿戴體驗。

3.1.1 彎曲傳感器

彎曲傳感器采集五根手指的彎曲數據,如圖2 所示,R1為彎曲傳感器等效電阻, R2為可變電阻,用于分壓使得輸出電壓不高于ADC最大可分辨的電壓2 450 mV。由于拇指與另外四指采用的彎曲傳感器不同,因此對于拇指,R1的范圍為25 kΩ~135 kΩ,R<2 24.04 kΩ;對于其它四指,R1的范圍為9 kΩ~22 kΩ,R2<8.64 kΩ。

image.png

圖2 彎曲傳感器工作等效原理

image.png

圖3 彎曲傳感器電路

3.1.2 姿態傳感器

姿態傳感器采用MPU6050,用于識別手掌朝向和手部的運動數據。姿態傳感器MPU6050 可以測定x、y、z 三個坐標軸的加速度,當傳感器靜止時加速度分量的絕對值最大的坐標軸所對應的平面向上,若該最大加速度為正值則該坐標軸負方向所對應的平面向上,反之則該坐標軸正方向對應的平面向上?;谶@個原理實現了對手掌朝向的判斷。另外,通過航向角、橫滾角、俯仰角的變化識別手部的運動情況。

3.1.3

ESP32-C3-WROOM-02 對彎曲傳感器的數據進行歸一化和濾波處理,同時將彎曲傳感器和姿態傳感器輸出以UDP 報文形式發送到服務器。

3.1.4 主板設計

如圖4 所示,主板電路由ESP32、MPU6050 模塊、自動下載電路組成,具備WiFi 連接、六軸運動數據采集與處理、自動復位等功能。傳感器電路由彎曲傳感器、可變電阻及運放構成,實現將手指彎曲程度的變化轉換成電壓變化的過程。由于ESP32 單片機中,可設置的最大ADC 采樣范圍為150 ~2 450 mV,因此可變電阻和彎曲傳感器電阻對V cc 進行分壓使得電路輸出電壓不超過閾值電壓。通過調整可變電阻的大小實現可變電阻與彎曲傳感器電阻對電源電壓分壓,電壓信號通過運放增強驅動能力,避免長距離傳輸造成的損耗,從運放輸出端輸出,實現對手指彎曲程度的采集。該電路的設計應該 注意在運放輸出端與地之間接一個100 nF 的電容進行濾波,并且傳感器電路應該盡可能離單片機近一些,以避免長距離傳輸造成的損耗。

1692847097727596.png

圖4 主板電路圖

3.2 軟件部分

3.2.1 手套端程序設計

如圖5 所示, 本項目的程序設計基于ESP32 的RTOS,在此基礎上,單片機任務主要分為三部分:串口任務、ADC 任務、UDP 任務。

1692847170702733.png

圖5 手套端程序

1)串口任務設計

初始化后讀取緩沖區中存儲的彎曲傳感器數據,然后對數據進行處理,處理結束后判斷緩沖區是否有數據,若有則重復讀取數據、處理數據、判斷緩沖區有無數據步驟,反之則延時10 ms 切換其他任務。

2)ADC 任務設計

初始化后進行ADC 采樣,采樣完成后進行數據處理及存儲,然后延時30 ms 并返回ADC 采樣步驟進行循環。

3)UDP 任務設計

初始化后連接Wi-Fi,連接完成后處理ADC 數據,之后判斷ADC 滑動濾波窗口是否已滿,若已滿則發送數據并延時10 ms 然后判斷發送是否出錯,若出錯則返回連接Wi-Fi 步驟重新執行以后步驟,若未出錯則返回處理ADC 數據步驟重新進行。如果ADC 滑動濾波窗口未滿則直接跳轉至延時10 ms 階段并執行后續步驟。

4)濾波程序設計

在數據處理過程中,源信號往往受到多種因素的干擾,使得采集到的信號包含多種類別的噪聲。如圖 6 是通過ADC 直接采集到的彎曲傳感器上的電壓,可以看到,數據有明顯的波動。本子程序采用滑動濾波方式,控制窗口大小為450 ms,能較好地平衡抖動與細微動作。同時使用歸一化處理使手套具備更強的魯棒性,適配多用戶情況下的手勢識別。如圖7 是經過濾波和歸一化處理后的數據。

image.png

圖6 濾波前的手指彎曲數據

image.png

圖7 濾波后的手指彎曲數據

3.2.2 服務端程序設計

服務端程序設計如圖8 所示,初始化時,加載訓練好的 模型和ANN 模型并且初始化套接字,等待數據報。接收數據報后,對數據進行預處理,判斷數據是否來自動態手勢,若不是,則將數據放入線性分類器進行處理,顯示結果;若數據來自動態手勢,則放入列表,循環“采集- 堆?!痹摬僮?,直至動作結束,將數據縮放后放入ANN 模型,得出結果。

1692847383434007.png

圖8 服務端程序設計

服務端基于Python 的Web 應用程序框架Streamlit搭建,如圖9 所示,數據處理的結果可以實時呈現。

1692847425133054.png

圖9 服務端頁面

3 測試方案與測試結果

為了測試設計的識別準確率和可靠性,我們邀請200 位受試者以20 人為一組分為A~J 共計10 組進行測試,得出每組的平均正確率如表2 所示。

表格 2 測試分組正確率

1692847507418504.png

測試者平均識別正確率:

1692847578983406.png=91.02%   (1)

方差:

1692847649857055.png0.0012   (2)

可見本設計具有良好的識別準確率和可靠性。但測試者所做手勢準確與否、數據庫數據量等會對測試結果造成一定影響。

4 結束語

本文設計并實現了一種適用于手語采集與輸入的智能手套及翻譯系統,硬件和軟件經測試均可正常運行并達到良好的準確性和穩定性,實現了識別準確率高達91.02% 方差僅為0.0012. 手套功耗僅為0.32 W,資源利用率為59.3%,采集速率達到模塊理論上線,硬件成本可以控制在296 元。本設計能很好的解決聾啞人的日常溝通問題幫助他們更多的參與社會生活,并且可用于教學用途,輔助學習者更快、更規范地學好手語。

參考文獻:

[1] 張軍,張孔,楊正瓴.基于計算機視覺的多特征手勢識別[J].計算機應用與軟件,2016,33(6):151-154+189.

[2] 鮑磊,羅志增,席旭剛,等.融合表面肌電和加速度的手勢動作識別[J].傳感技術學報,2019,32(12):1843-1848+1863.

[3] 張仁永,王小紅,盧瑛.基于STM32的手語翻譯手套設計[J].現代工業經濟和信息化,2020,10(3):46-47+54.

[4] 白旭,郭豆豆,楊學康,等.基于低緯度決策樹算法的智能手語翻譯手套[J].科技視界,2020(17):33-36.

[5] 吳桐. 基于彈性傳感器的手勢識別技術研究[D].哈爾濱:哈爾濱工業大學,2021.

[6] 張維. 基于的手語翻譯系統研究[D].南昌:江西財經大學,2018.

[7] 余永樂,閆文山,林雨凡,等.基于單片機的多功能智慧型手語翻譯手套研究[J].電子世界,2018(8):61-62.

[8] 許亭亭.基于卷積的手勢估計的研究與應用[D].揚州:揚州大學,2022.

[9] 閆世洋.基于計算機視覺的動態手勢識別方法[D].南京:南京郵電大學,2018.

[10] 羅揚鏢.基于計算機視覺的手勢識別技術研究[D].北京:北京郵電大學,2021.

(本文來源于《電子產品是》雜志2023年8月期)



評論


相關推薦

技術專區

關閉
国产精品国产三级国产a|一本一道波多野结衣一区|欧美久久精品一级c|久久国产综合精品女同