「自分の好きなキャラクターや花だけを現実から切り取って、文章のようにコピペした壁紙を作りたい」。
そんな思いを簡単に実現できる拡張現実（AR）アプリが、パリのGoogle Arts and Culture Labに常駐しているデザイナー兼プログラマーであるCyril Diagne氏によって開発され、ツイッターにて公開されました。
この不思議なアプリは、いったいどんな方法で開発されたのでしょうか？
現実をコピペする仕組み
このアプリは自動でコピーする対象を現実から選定して背景から分離するだけでなく、ＰＣへのダイレクトなペーストも可能にします。
Cyril Diagne氏によれば、対象の認識はBASNetを使って輪郭を追跡することで可能になったとのこと。
BASNetは、境界検出に優れた精度を持つことで知られているプログラムの設計概念（アーキテクチャ）です。
またPCへのダイレクトなペーストはCyril Diagne氏が以前から取り組んでいた分野です。この画像追跡技術を使い、スマホのカメラに移された画像をPCにコピペすることで、カメラが撮影した場所を特定することにも成功しました。
以下は、ツイッターで紹介された動画です。
4/10 – Cut & paste your surroundings to Photoshop
Code: https://t.co/cVddH3u3ik
Book: @HOLOmagazine
Garment: SS17 by @thekarentopacio
Type: Sainte Colombe by @MinetYoann @ProductionType
Technical Insights: ↓#ML #AR #AI #AIUX #Adobe #Photoshop pic.twitter.com/LkTBe0t0rF— Cyril Diagne (@cyrildiagne) May 3, 2020
これまでも似たようなアプリはいくつか公開されていますが、スマホで完結するものが多く、PCへダイレクトにペーストできることはこのアプリの強みでしょう。
アニメや映画の1シーンに描かれているキャラクター（二次元）や、動かない植物（静物）などに対するライトなコピペ需要も満たせるかもしれません。
また、Cyril Diagne氏はアプリのコードをネット上で公開しており、すべての人に技術が提供されていることが大きな違いです。さらに将来的には、高度なAIと組み合わせることも検討しているとのこと。
画像認識や境界認識の技術は急速に進歩していますね。
