アポロの月面調査動画をAIで高フレームレートに改善! 歴史的映像がヌルヌル動くようになった。

technology

Credit:NASA,DutchSteamMachine
point
  • アポロの月面映像は、長時間撮影のためにフレームレートが抑えられ12FPS程度しかなかった
  • 海外Youtubeチャンネルの「DutchSteamMachine」は、この映像をAIを使って60FPSに改善
  • このAIはオープンソースで、現在も開発、改善が続けられている

人類史に刻まれるアポロ計画の月面映像は、非常に古いフィルム映像のため、不鮮明だったりカクカクしていたりと低品質な映像です。

映像の鮮明化は、NASAなども取り組んでいて、現在はかなり解像度の改善された映像などが公開されていたりします。

しかし、動画の品質には解像度の他にもう1つフレームレートというものがあります。これは1秒間に何コマ映像を映すか、という設定で、高いほうがぬるぬる動く臨場感のある映像に仕上がります。

アポロ計画で撮影された月面着陸の映像は、長時間撮影するためこのフレームレートが低く抑えられていて、1~12FPS(1秒間に1~12コマ)しかありませんでした。

今回こうした12FPSの低フレームレートの映像を、60FPSに改善させたという人が現れました。

フレームレートを上げる処理は、存在しない映像をまるまる作ってフレーム間を埋めなければならいため、技術的にもかなり大変な作業ですが、彼はこれをオープンソースのAIを使って実現したいいます。

ぬるぬる動く月面映像を見てみましょう。

歴史映像を高フレームレートに!

映像の品質を表す数値にFPSというものを聞いたことがあると思いますが、これは「frames per second」の略で、秒間コマ数を意味しています。

動画はすべてパラパラ漫画と原理は同じで、1秒間に何コマ映すかでその動きの滑らかさなどが決まってきます

1秒間に多くの映像を表示すれば、その分動画は滑らかでヌルヌル動くものになりますが、容量は非常に大きくなります。

古いモノクロ映像やGIFファイルなどが、妙に早回しで動くのは、このFPSが低いため映し出される映像と映像の隙間が大きいからです。

これはアポロ16号の月面探査機の映像です。

この映像はもともと12FPSで撮影されていましたが、AIによる画像処理で60FPSにアップデートされています

フレームレートが向上すると、映像が滑らかに動き臨場感が非常に増します。この動画も月面の様子がかなりリアルに感じ取れるようになっています。

こちらはアポロ11号の月面を初めて人類が踏んだ瞬間の映像です。

これも最初の部分は1~6FPS、月面を歩いている部分は12FPSしかありませんでしたが、24FPSに改善されています

現在公開されているどの映像よりも滑らかに動いています。

どうやって改善するのか?

この映像の改善は、専門の研究所などが行ったわけではなく一般のYoutubeチャンネル「Dutchsteammachine」が実現しました。

彼はオープンソースのAI「Dain-App」を使って自宅パソコンでこの処理を実行したのだそうです。

「Dain-App」は動画内の空間の深度を認識して、滑らかな中間フレームを作成してくれます。

12FPSの映像を60FPSにする場合、1秒間に48の偽のフレームが必要になります。これは1つのコマとコマの間に4つの偽のフレームを生成することになります。

単純にフレームを増やしただけでは、音がズレていってしまうため、音響も素材映像と同期させる処理が必要になります。

Dutchsteammachineは、非常に強力な冷却ファンとハイエンドGPUを積んだPCで、暇なときにこの作業を行い、映像を作り上げました。

「Dutchsteammachine」はPCの構成を解説している動画もあげている。/Credit:Dutchsteammachine,Behind the scenes: Apollo rover traverse interpolation

フレームを保管するAIの作業は5分の動画を改善するのに、6時間から最大で20時間かかるとのこと。

色々と細かなテクニックが必要になるとはいえ、今は自宅のパソコンでも古い歴史的動画の高品質化が実現できるというのは、驚きです。

ゲームのプレイ動画を眺めるだけで同じゲームを作れるAIが開発される

reference: universetoday/ written by KAIN
みなさんのおかげでナゾロジーの記事が「Googleニュース」で読めるようになりました!
Google ニュースを使えば、ナゾロジーの記事はもちろん国内外のニュースをまとめて見られて便利です。
ボタンからダウンロード後は、ぜひフォローよろしくおねがいします。

Google Play で手に入れよう
apple store

あわせて読みたい

SHARE

TAG