会話型AIが成長すると突然「新しい能力」を獲得すると判明!
会話型AIが成長すると突然「新しい能力」を獲得すると判明! / Credit:Canva . ナゾロジー編集部
artificial-intelligence

会話型AIが成長すると突然「新しい能力」を獲得すると判明!

2023.03.23 Thursday

「新しい能力に突然目覚める」のは物語の主人公だけではないようです。

Googleの研究部門(Google Research)とスタンフォード大学(Stanford University)などで行われた研究によって、会話型AIを成長させていくと、会話以外の新能力を訓練なしに突然、獲得することが示されました。

chatGPTのような会話型AIは本来、人間と会話するために作られましたが、ここ数年の研究によって、会話機能以外の意図しなかった能力が存在することがわかってきました。

研究者たちはこのようなAIの大規模化による新規能力獲得を「創発」と定義しており、小規模AIを積み上げるだけでは起こらない現象だと述べています。

ただ現在、どのくらいのAIの規模で、どんな新規能力が現れるかは、発見されるまで知ることができず、それぞれの能力値に上限が存在するのかさえ不明となっています。

もしかしたら将来的に、人間の頭では思いつかないような物理法則をAIが発見してくれるかもしれません。

研究内容の詳細は『Transactions on Machine Learning Research』にて公開されています。

The Unpredictable Abilities Emerging From Large AI Models https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/
Emergent Abilities of Large Language Models https://openreview.net/forum?id=yzkSU5zdwD

会話型AIが成長すると突然「新しい能力」を獲得すると判明!

会話型AIが成長すると突然「新しい能力」を獲得すると判明!
会話型AIが成長すると突然「新しい能力」を獲得すると判明! / Credit:Canva . ナゾロジー編集部

chatGPTをはじめとする高度な会話型AIが登場して以来、人々はAIとの会話に没頭し、会話型AIたちに会話機能以上の能力が秘められていることを明らかにしてきました。

たとえばこれまでchatGPTを対象にした試みでは、IQテストを解かせたり、コーディングの問題集(leetcode)を解かせたり、文章作成を手伝わせたり、数学の問題を解くことに成功しました。

またchatGPTに対してPCのOSの一種として知られる「LinuX」に成りすますように頼んだところ、本当にchatGPT内部に仮想OS環境が作成され、素数を計算するなどの作業を実行できることが示されました。

chatGPTにリナックスのふりをさせることもできますが、これは明らかに会話能力以外の能力です
chatGPTにリナックスのふりをさせることもできますが、これは明らかに会話能力以外の能力です / Credit:Building A Virtual Machine inside ChatGPT

上の図ではchatGPTに対してLinuXになるように人間の言葉で頼むと、実際にLinuXのホームディレクトリ(デスクトップのようなもの)に類似した環境が出現したことを示しています。

このような会話以外の能力が会話型AIに存在するとは、開発者や専門家たちも予想できなかった嬉しい誤算です。

しかし会話型AIに他にどんな機能が存在するか、その全容は誰も知りません。

そこで今回、Googleの研究部門とスタンフォード大学などの研究者たちはこれまで開発されたさまざまな会話型AIを用意し、どんな能力がどんな条件で獲得されるかを調べテストを実行しました。

たとえばあるテストでは、AIに絵文字から映画の名前を当てさせるテストが行われました。

このテストではまず人間が映画の中身から、その映画を類推できるような絵文字の組み合わせを作ります。

具体的には、

画像

ファインディングニモを現わすと絵文字とし、また

画像

Mr.インクレディブルを現わす絵文字としました。

人間による問題作成が終了すると、会話型AIに対して絵文字のみを提示し、何の映画を示しているかを当ててもらいました。すると

画像

(答えはファインディングニモ)を提示した場合、小規模会話AIは「男である男である男についての映画です」と意味不明な回答を行いました。

小規模会話AIのいくつかは旧型のAIであり、最新の大規模会話AIに比べると人間と会話する能力も劣っている傾向にあります。

しかし中規模会話AIになると「The Emoji Movie(ザ・エモジ・ムービー)」と、絵文字の部分に寄せた回答が行われました。

「The Emoji Movie(ザ・エモジ・ムービー)」は絵文字たちを主人公にした映画であり、2017年にゴールデンラズベリー賞を受賞したことで知られています。

ゴールデンラズベリー賞は、最低の映画に対して与えられる賞です。「The Emoji Movie」は最低の映画、最低のディレクター、最低の脚本、最低のスクリーンコンボなど数々の分野を受賞しました
ゴールデンラズベリー賞は、最低の映画に対して与えられる賞です。「The Emoji Movie」は最低の映画、最低のディレクター、最低の脚本、最低のスクリーンコンボなど数々の分野を受賞しました / Credit:The Emoji Movie

中規模会話AIの答えは「絵文字」の概念について何らかの認識をしており、小規模会話AIよりまともな答えになっていたのです。

ですが残念なことにハズレはハズレです。

しかしchatGPTのような大規模会話AIに尋ねたところ、見事「ファインディングニモ」と正解を答えることができました。

この結果は、大規模会話AIには小規模会話AIにはなかった「絵文字の組み合わせから人間が意図する内容(映画名)を探り当てる」という新規能力が存在することを意味します。

同様の「小規模では失敗するが大規模になると正解する」という傾向は他の内容のテストでも一貫してみられる傾向であることみられました。

「規模が拡大したのだから精度があがって当然」と思うかもしれません。

確かに規模が拡大することで会話型AIの「会話能力」が上昇することは、以前から予測されていた結果です。

しかし会話型AIの規模拡大が会話以外の「新能力の出現」と関係しているとは、誰も予測していませんでした。

さらにAIが新規能力を獲得するタイミングは、規模の上昇に応じて徐々にではなく、ほとんどの場合「突然」起こることがわかりました。

AIの規模がしきい値を超えると突然新規能力が獲得されます
AIの規模がしきい値を超えると突然新規能力が獲得されます / Credit:Jason Wei et al . Emergent Abilities of Large Language Models . n Transactions on Machine Learning Research (08/2022)

上のグラフはAIのテスト成績が、ある規模のしきい値に達したとたん、突然跳ね上がることを示しています。

このグラフでは横軸が会話型AIの規模で、縦軸が正解率に似た意味を持つスコアです。

このグラフをみると、AIの規模が10の10乗まではほとんど正解できなかったものの、10の11乗になると、突然正解率が上がることを示しています。

つまり10の10乗と11乗の間に「絵文字の組み合わせから人間が意図する内容(映画名)を探り当てる」というような新規能力獲得に必要な、しきい値が存在するのです。

あらゆる能力が突然獲得されている様子
あらゆる能力が突然獲得されている様子 / Credit:Jason Wei et al . Emergent Abilities of Large Language Models . n Transactions on Machine Learning Research (08/2022)

このような突然の精度上昇は、上のグラフたちのように、研究で調べられた他のテストにも当てはまりました。

そのため研究者たちは規模の増加に伴うAIの新規能力獲得が「創発(Emergence)」と呼べるものだと考えました。

ここで言う創発とは「あるシステムの量的な変化が、行動の質的変化をもたらすこと」を意味します。

工場のロボットなどの場合、規模が拡大するだけでは同じことを沢山できるようになるだけです。

しかし人間の細胞やAIのニューラルネットは規模が拡大すると、質的な変化(ある種の覚醒)を引き起こし、小規模AIでは実現不可能だった新規能力の獲得が可能になるのです。

興味深いことに同じような「規模拡大による突然の能力獲得」という特性は、私たちにとって非常に馴染み深い存在にもあることが知られています。

それは「人間の子供」です。

次ページ人間の子供も発達が進むと練習なしに突然新能力を獲得する

<

1

2

>

人気記事ランキング

  • TODAY
  • WEEK
  • MONTH

Amazonお買い得品ランキング

AI・人工知能のニュースartificial-intelligence news

もっと見る

役立つ科学情報

注目の科学ニュースpick up !!