カメラ1台から「本人のリアルな3Dアバター」の構築に成功!
カメラ1台から「本人のリアルな3Dアバター」の構築に成功! / Credit: canva
technology

カメラ1台で”リアルな3Dアバター”を構築する新技術が誕生! メタバースのビジネスシーンに活躍期待

2022.03.15 Tuesday

情報通信研究機構(NICT)はこのほど、カメラ1台の映像のみをもとに、自身のリアルな3Dアバターを構築する技術を開発しました。

この技術は「REXR(レクサー、Realistic and EXpressive 3D avataR)」と呼ばれ、表情や動作の変化をリアルタイムで再現できます。

仮想空間の需要が高まる昨今、REXRは、遠隔コミュニケーションの充実度を高めるマイルストーンとなるかもしれません。

この研究は、国際会議『 IEEE VR 2022』において2022年3月14日に発表されています。

カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現 〜深い相互理解が生まれる遠隔コミュニケーションの実現に向けて〜 https://www.nict.go.jp/press/2022/03/14-1.html

CGキャラクターでなく「リアルな3Dアバター」が必要

リモートでも互いの親密度を深められる技術が必要な時期にきている
リモートでも互いの親密度を深められる技術が必要な時期にきている / Credit: canva

現在、仮想空間メタバース)や複合現実(MR)のなかで、自らの3Dアバターを使い、遠隔コミュニケーションを行う技術が世界各地で開発・改良されています。

しかし現時点での3Dアバターは、あらかじめ作られた、自分の姿とはまったく異なるCGキャラクターを使うことがほとんどです。

そのため、刻々と変化する表情や動作の再現ができず、コミュニケーションにおける相互理解の妨げとなっていました。

また、仕事の場としてメタバースを利用していく未来を考えた場合、CGキャラクターが集まって重要な会議をするわけにはいかないでしょう。

そこで、”本人の姿をもとにしたリアルな3Dアバター”の必要性が高まっています。

ところが、その3Dモデルの構築には、多数のカメラや、位置・奥行きを検出する特殊なセンサーなど、大規模な設備が必須であり、個人が手軽にカメラ1台で作成することは困難でした。

カメラ1台でフルボディの3Dアバターを生成

しかし今回、NICTの研究チームは、カメラ1台の映像のみを材料に、自身のフォトリアリスティックな3Dアバターを構築する技術「REXR(レクサー)」の開発に成功しました。

手順は次のとおり。

まず、カメラの前で一回転した本人の映像から全身モデルを作成します。

次に、カメラの前で本人が動くと、顔の表情や身体動作がAIにより推定され、モデルを更新。

こうして、表情や動作の変化をどの方向からでも、入力映像と同レベルで細かくリアルタイムに再現するアバターの完成です。

カメラ1台からフルボディの3Dアバターを生成する
カメラ1台からフルボディの3Dアバターを生成する / Credit: NICT – カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現(2022)

アバターが細かな表情やボディランゲージを再現してくれるため、非言語情報を相互に読み取ることができ、遠隔コミュニケーションの充実度が高まると期待されます。

REXRを仮想空間における多人数のオンライン・ミーティングに実用できれば、重要な会議やビジネス交渉も、まるでその場にいるかのようなリアルさで行えるでしょう。

まだまだコロナの収束が見えず、世界情勢も不安定な今こそ、リモートでも互いの親密度を深められるREXRのような技術が必要かもしれません。

人気記事ランキング

  • TODAY
  • WEEK
  • MONTH

Amazonお買い得品ランキング

テクノロジーのニュースtechnology news

もっと見る

役立つ科学情報

注目の科学ニュースpick up !!