歩けない状態から50日で立派なサッカープレイヤーに
AIに人間の動作を教え込むことは、現実でのロボット開発に大いに役立つ取り組みです。
しかし、大量のデータを学習させて、ある特定の動きを達成させる従来の方法では、AIの動作が不自然かつ奇妙なものになってしまいます。
これだと、より柔軟な動きを要するタスクには対応できませんし、現実のロボットに応用することも困難です。
こちらが、2017年に従来の方法で学習されたAIの動きになります。
動きとしては面白いですが、これではサッカーはできそうにありませんね。
そこで研究チームは、実際の人の動きをトラッカーで記録した「モーションキャプチャ（MoCap）」をAIに模倣させることにしました。
大量のデータを叩き込むのではなく、「見て真似よ」というわけです。
しかし、その取り組みは、ほとんどゼロからのスタートでした。
というのも、学習前のAIは、地面に倒れてジタバタするだけで、まともに立つことすらできません。
まさに、赤子にサッカーを教えるような難事業です。
チームはまず、スキル学習を3段階に分け、「低レベル（立ち上がる、走る）」「中レベル（ドリブル、シュート）」「高レベル（パス、ブロッキング）」の順に教えました。
人がサッカーをしているモーションキャプチャ（MoCap）を与えて模倣させ、同じ動きが自然にできるようになるまで訓練します。
実際の訓練映像は、こちらの「Deep Mind」のページで閲覧できます。
これがクリアできたら、次に、ボールを追う・ドリブル・的に向かってシュートを模倣学習させました。
ここまでの学習をAIは3日で完遂しています。
ソロでのプレイができるようになると、1対1での対戦シミュレーションを行い、相手ありきのより複雑な動作を学習させました。
その都度、実際のサッカー選手のモーションキャプチャを見せて、高度な動きを習得するよう促します。
そして学習開始から50日目には、2対2のチームプレーがこなせるまでに上達しました。
ここでは、味方とパスを回す、相手をブロッキングする、パスを受ける位置を予測するなど、意思決定を含む高度な動作が達成されています。
パッと見は、単なるコンピュターゲームのように見えるかもしれませんが、人が操作しているわけではなく、AIがすべて自分たちで判断してプレイしているのです。
ただし、研究チームも認めているように、これは実際のサッカーより大幅に単純化されたルールの中で行われています。
たとえば、ファウルやスローイン、ゴールキックなどはありませんし、何よりピッチの周りには、ボールが外に出ないよう「見えない壁」が張り巡らされています。
ガーターなしのボーリングのようなもので、AIがあらぬ方向にボールを蹴っても、場外にはならないシステムになっているのです。
実際と同じルールでプレイするには、さらなる学習が必要ですが、今回の新たな学習方法を取り入れることで、現実のロボットに応用可能な動作が獲得されるかもしれません。
