スケッチの線からリアルタイムでアニメ画を提示！
たとえ技術は無くとも、自分のイメージ通りのイラストを描いてみたいと考えたことはあるでしょう。
特に日本のアニメーションは国内外で高い人気を誇り、「アニメキャラクターを自分で描いてみたい」という欲求を持つ人は大勢います。
とはいえアニメ画の創作には、高度に抽象化されたキャラクターを描く能力や、頭の中に思い浮かんだものをペン一つで再現する表現力などが求められます。
当然、初心者が思い通りにキャラクターを描くのは困難です。
そこで近年では、画像生成AIのサポートを利用して、初心者でも高品質なアニメ画を自動生成できる方法が研究されています。
技術的に未熟な人をサポートしてイメージ通りのイラストを完成させるには、初心者のラフなスケッチから、描きたいアニメ画の完成図を予測する必要があります。
しかし初心者のラフなスケッチでは完成形に対する情報が不足しているため、ユーザーの創作意図に沿った画像を生成することが困難です。
そこで研究チームは今回、スケッチの制作過程におけるストローク（線の描き方）をシミュレートし、簡単なラフスケッチからでも高品質のアニメ画を自動生成するAIの開発を試みました。
本技術では、描き手のストロークからリアルタイムでアニメ画を生成するために、スケッチのストローク情報とアニメ画の輪郭線を関連づける技術を新たに構築しています。
AIには最新の高解像度画像生成モデル「StyleGAN」を使用し、ユーザーが目や口の線を描くだけで、それに適合するアニメ画の輪郭線を自動マッチングして提示してくれるのです。
さらにチームは、事前に大量のアニメ画像をAIに学習させておくことで、一部のストローク情報だけからでもアニメ画の全体像を生成できるようにしました。
例えば、ユーザーが口や目を描いた時点で、他の顔の輪郭や髪型、眉毛、鼻の形なども提示してくれます。
もちろん、それがユーザーの想定しているものと違っていれば、顔の輪郭線や髪型を加筆・修正することで、そのストロークに適合するアニメ画を生成し直すことが可能です。
これにより、たとえユーザーがスケッチの途中段階であっても、高品質なアニメ画を安定して生成できるようになりました。
そしてユーザーの頭の中にあるアニメキャラとスケッチの完成予想図が合致すれば、無数にある参照画像の中からイメージの色味に合うものを選択することで、カラー情報を付与することができます。
スケッチページの左上にある「似顔絵マーク」をクリックすると、このように無数の参照画像のリストが出てきて、そこから好みの画像を選ぶと、スケッチの完成図を同じ色味に仕上げてくれます。
こちらの右側が参照画像で、真ん中がそれに合わせて色付けしたスケッチです。（左側はスケッチ空間）
そしてチームは、試作品としてアニメ肖像画の制作インターフェース「AniFaceDrawing」を開発し、その有用性を評価してもらうために、15名の大学院生に自由に使ってもらいました。
その後、アンケート調査を行った結果、参加者は「アニメ画の生成結果に対する満足度」や「自分で描いた線画と生成されたアニメ画のマッチング率」において高い評価をしたとのことです。
本研究の成果から、絵の初心者であっても生成画像AIを活用することで、ラフなスケッチから望みのアニメキャラを生み出すことが可能となるでしょう。
研究チームは、画像生成AIによって身体と強く結びついた描画スキルの障壁をなくし、人々の創造的能力を最大限に拡張することを期待しています。
このAIが私たちの手にも普及すれば、夜な夜な妄想しているアニメキャラを自宅で作れるようになるかもしれませんね。
また本研究の内容は、2023年8月6日から10日にかけて米ロサンゼルスで開催されるコンピュータグラフィックスとインタラクティブ技術のトップカンファレンス「ACM SIGGRAPH 2023」で披露される予定です。
アニメ画制作の実演映像はこちらからご覧いただけます。
