画面上のアメリカ手話を読み取って、即座に翻訳するAI
グプタ氏が開発したAIモデルは、一般的なオンライン通話の画面上で機能します。
アメリカ手話を使用すると、ウェブカメラがその画像を捉え、リアルタイムで英語に翻訳してくれるのです。
翻訳された英語は画面上に注釈の形で表示され、手話を知らない人でもビデオ通話に参加して理解できるようになっています。
とはいえ、このAIの開発はまだ初期段階にあります。
現在、翻訳できるアメリカ手話は、「はい」「いいえ」「お願いします」「ありがとう」「愛しています」「こんにちは」の6つだけなので、今後の機能拡大に期待したいところですね。
課題の1つは、「手の動き」を検出することです。
現段階でAIは、手の形を1枚の画像（シングルフレーム）でしか認識・学習できません。
つまり静止画でも伝わる手話しか翻訳できないのです。
しかし手話のほとんどは、「一連の手の動き」で1つの意味を表現します。
これをAIに翻訳させるには、動画（マルチフレーム）を認識・学習できるようアップグレードしなければいけないでしょう。
現在グプタ氏はこの課題に取り組んでいる最中であり、専門家の助けを得ながら、実用的な手話翻訳AIの開発を続けています。
さてこのように、学生たちが自分にできることを真剣に考え、コミュニケーションギャップなどの社会問題に取り組むことは、今まさに必要なことだと言えます。
将来、グプタ氏のような若い研究者が、より大きな問題を科学技術で解決してくれるのかもしれません。
