【便利】手話をリアルタイムで音声に変換するスマート手袋が開発される!

technology 2020/07/02
Credit:UCLA
point
  • アメリカ手話を瞬時に音声翻訳する手袋が開発される
  • 手や指の動きを感知し、対応するアルファベットや言葉を音声として発信してくれる
  • 現在、660のジャスチャーを認識可能

翻訳システムの進歩は、様々な言語を瞬時に翻訳可能にしています。翻訳形態も多様であり、文章だけでなく音声の翻訳も一般的になりました。

そして翻訳可能言語には「手話」までも含まれるようになってきています。

最近、米国カリフォルニア大学ロサンゼルス校(UCLA)の生物工学者ジュン・チェン助教らによって、アメリカ手話を英語音声に翻訳できる手袋が開発されました。

スマート手袋は指や手の動きから手話言語を読み取ることが可能であり、アプリを通して音声に変換されます。

手話翻訳の難しさ

手話の自動翻訳は、他の自動翻訳に比べて開発が遅れています。

なぜなら、手話は指だけでなく手のひらや腕全体の動きを使って表現されるものだからです。

指だけで1つの「アルファベット」を表現し、それらを繋げて言葉にできますが、大抵の場合は、1つの「動作」によって1つの「言葉」を表現します。

例えば、アメリカ手話では「すぼめた指を口元に持ってくる」動作が「食べる」という言葉を表わすのです。

Credit:depositphotos

また、表情は手話の一部であり、アメリカ手話の文法の半分は顔の表情にあると言われるほどです。

つまり、手話は「指・手の動き」「腕全体の動き」「表情」のすべてが合わさった言語であり、これらすべてを情報としてスキャンするのは非常に難しいようですね。

しかし、研究者たちの努力は手話翻訳を徐々に可能にしています。

アメリカ手話を翻訳できる「スマート手袋」

Credit:UCLA

新しく開発された翻訳手袋には、5本の指にそれぞれ対応する伸縮性の薄いセンサーが取り付けられています。

これらのセンサーは導電性の糸で作られており、個々のアルファベット、数字、単語、フレーズに対応した手と指の動きを検出できます。

検出された情報は手首部分に装着された1ドル硬貨サイズの回路基板に伝わり、信号をスマートフォンのアプリへと送信します。スマートフォンでは1秒当たり約1ワードの速度で音声変換可能。

また、これらの手袋に加えて、顔にセンサーを追加(眉間と片方の口角)することで表情をキャプチャーすることもできます。

Credit:UCLA

チェン氏によると、これまでにもアメリカ手話の装着型翻訳システムは存在していたようです。ただし、デバイス自体が重く装着も困難でした。

今回開発されたスマート手袋は、軽量かつ安価であり、耐久性の高い伸縮性ポリマーでできています。電子センサーも柔らかいため、良好な装着感を実現できています。

またコンピュータ学習により、現在のシステムはアルファベットの各文字と、0~9を含む660のジェスチャーを認識可能。

UCLAの研究者たちは、現在この技術を特許申請中です。商用モデルも考案されており、そのためには、語彙を追加し翻訳時間を短縮する必要があるとのこと。

一般化するなら、手軽にアメリカ手話使用者とコミュニケーションが取れるようになるでしょう。

この研究は6月29日、「Nature electronics」に掲載されました。

Sign-to-speech translation using machine-learning-assisted stretchable sensor arrays
https://www.nature.com/articles/s41928-020-0428-6

自動翻訳でスピーチできる「等身大ホログラム」をマイクロソフトが開発

reference: techxplore / written by ナゾロジー編集部
ナゾロジーは皆さんの身近にある”素朴な疑問”を解決する科学情報メディアです。
最新の科学技術やおもしろ実験、不思議な生き物を通して、みなさんにワクワクする気持ちを感じてもらいたいと思っています。
Nazologyについて
記事一覧へ
あわせて読みたい

SHARE

TAG