脳内の考えを直接音声へ変換することに成功!

brain 2019/04/25
Credit; depositphoto
Point
■脳の神経活動パターンから発話司令を読み取って、文を合成音声として再現することに成功
■発話の際に各筋肉へと送られる司令パターンを分離して、その信号を再合成することで合成音声を作った
■まだ発話に不鮮明さが残り、脳に電極を持つ必要があるため普及はまだ先の話

こいつ、脳内に直接…!

音声を出すときに使う筋肉への司令を解読して、合成音声へと変換することが成功した。研究を行ったのはカリフォルニア州立大学サンフランシスコ校(UCSF)の研究者で、成果は「Nature」で発表されている。

Speech synthesis from neural decoding of spoken sentences
https://www.nature.com/articles/s41586-019-1119-1

発話で使う筋肉への司令を解読

音声を出すためには多くの筋肉の働きが協調することが必要だ。くちびる、舌、喉、咽頭、横隔膜など、それぞれに脳から司令が伝達されている。簡単な言葉を発するときでさえ、これらすべての器官の協調が求められる。

研究者たちは、脳内で起こった神経活動のパターンから、各器官への信号を解読して、そのパターンを組み合わせることで合成音声を作成することに成功した。

先行研究でも、脳信号パターンからの合成音声作成は成功しているが、今回の研究では、各筋肉への司令を調べて分離することで判別の際のノイズを大幅に減らすことに成功している。

聞き取れる!合成音声の作製に成功

研究の参加者は、てんかんを患い脳に一揃いの電極を移植された患者5人だ。脳の表面に直接電極があるため、神経の活動パターンを測定することができるのだ。

参加者には舌と歯、くちびるにセンサーをつけてもらい、話をする際の動きがトラッキングされている。

この状態で、「眠れる森の美女」や「うさぎとかめ」の一節を読んでもらい、くちびるや舌、歯の動きに対応する脳シグナルをアルゴリズムを使って分離することに成功した。

各筋肉への個別のシグナルを使って、それらを組み合わせた合成音声用の楽譜のようなものを作り、発話させたというわけだ。

実際の発話を以下の動画で聞くことができる。ぜひ聴いてもらいたい。

英語による発話ではあるが、人間による音声とそっくりであることがわかる。

この音声をネットで集めた1700人に聴いてもらい、何を言っているのかを推測してもらった。結果にはブレがあったが、すべての単語を完璧に言い当てた参加者もいた。

さらに単語リストで選択肢を与えてから聴いてもらった場合は、半数の人たちが聞き取りに成功している。

 

今回の筋肉への司令に注目したアプローチはうまくいったようだ。ただ、実用化にはもっと研究が必要となるだろう。脳に電極が必要であることもあり、今の段階で普及することはないであろうが、将来的には口の聞けなくなった人たちが話せるようになるかもしれない。ホーキング博士がまだ生きていおられたら喜ばれたであろうことは想像に難くない。

AIが脳の信号を「言葉」に変換!想像だけで会話ができる日がくる?

reference: Science Alert / written by SENPAI

SHARE

TAG

brainの関連記事

RELATED ARTICLE