写真1枚から「3D立体画像」に自動変換する新技術が公開される

technology 2020/04/16
Credit: shihmengli

バージニア工科大学、国立清華大学、フェイスブックにより、1枚のRGB-D画像を3D画像に変換する新たな手法が開発されました。

以前にも、Facebook 3D Photosといった類似する技術はありましたが、3D変換後に画像がゆがむなど性能面で劣る部分がありました。

しかし、今回の手法は、データのゆがみや処理段階のミスが限りなくゼロに近いとのことです。

研究の詳細は、「IEEE Conference」にて報告されています。

3D Photography using Context-aware Layered Depth Inpainting
https://drive.google.com/file/d/17ki_YAL1k5CaHHP3pIBFWvw-ztF4CCPP/view

二次元写真が3Dに変身

この手法は、ディープラーニング技術を使うことで、入力された画像内の隠れた部分を自動生成する技術です。

例えば、前面に写る被写体に隠れた背景部分などの色や深度(奥行き)を計算し、合成するこができます。

入力画像データは、被写体や背景の形状を3次元点群として管理できる「LDI(Layered Depth Image)」として表示されます。

3次元点群とは、レーザースキャナーなどで物体や地形を点の集合体で表現する手法です。

点の一つ一つは、スキャナーからの相対的な位置情報(xyz)や色の情報を持つので、コンピューター上でデータが扱いやすくなります。

LDIを用いることで、画像内の空間情報がこと細かく把握でき、隠れた領域も正確にinpainting(画像修正)ができるのです。

これまでの3D変換技術も、隠れた領域の埋め合わせを用いていましたが、3D生成後にどうしてもゆがみや乱れが出ていました。

しかしLDIでは、データ処理段階における乱れが最小限に抑えられています。

この手法の有効性は、日常のさまざまなシーンを写した画像の変換で実証されており、他の最先端の技術と比較しても、性能的に優っていると言われています。

その他の3D変換画像や従来の技術との比較動画は、こちらから確認できます。

3D Photography using Context-aware Layered Depth Inpainting
https://shihmengli.github.io/3D-Photo-Inpainting/

顔写真を肖像画に自動変換してくれるアプリ「AI Portraits Ars」が面白い

絵をかざすだけで監視カメラに「人間」と認識されない裏技が発見される

reference: mediumshihmengli / written by くらのすけ
あわせて読みたい

SHARE

TAG