ChatGPTなどの言語モデルは、自分の回答が正しくても、ユーザーの反論によって意見をすぐに翻す
ChatGPTなどの言語モデルは、自分の回答が正しくても、ユーザーの反論によって意見をすぐに翻す / Credit:Canva
artificial-intelligence

ChatGPTは正しい答えをしているのにその信念を貫けない

2023.12.15 Friday

近年のAI技術の発展には目覚ましいものがあります。

AIは既に、刑事司法制度における犯罪・リスク評価や、医療分野における分析・診断にも導入されているようです。

ただし、ChatGPTのような大規模言語モデル(LLM)は、強力な分析力を持つわりに、自身が提出した答えの「正しさ」を維持できないようです。

アメリカのオハイオ州立大学(Ohio State University)情報工学科に所属するボシ・ワン氏ら研究チームが、「ChatGPTの正しい答え」に反論したところ、ChatGPTはすぐに「間違っていた」と謝り、自身の回答を変更したのです。

これはChatGPTの利用者なら、あるあるとなるかもしれませんが、司法や医療の分野で大規模言語モデルを利用する際、彼らのこのすぐ謝って自分の意見に自信を持てない性格は問題になる可能性があります。

研究の詳細は、2023年10月10日付のプレプリントサーバ『arXiv』で発表されました。

ChatGPT often won’t defend its answers – even when it is right https://news.osu.edu/chatgpt-often-wont-defend-its-answers--even-when-it-is-right
Can ChatGPT Defend its Belief in Truth? Evaluating LLM Reasoning via Debate https://arxiv.org/abs/2305.13160

ChatGPTは簡単に意見を翻す

AIの活躍は止まらない
AIの活躍は止まらない / Credit:Canva

ChatGPTが登場して以来、私たちはその力に目を奪われてきました。

私たちのどんな質問にも答えてくれるかのようです。

実際、ChatGPTなどの言語モデルに、人間の仕事の一部が奪われる可能性さえ出てきました。

例えば、「歴史や言語、政治、地理などを教える職業は影響を受けやすい」というデータもあります。

ChatGPTなどの言語モデルに仕事を奪われる危険性がある職業ベスト20

他の分野のAIを含めると、将来的に、さらに多くの職業がAIに頼ったり、人間の仕事が奪われたりすると考えられますね。

これほどAIが活躍している理由について、ワン氏は次のように述べています。

AIが強力なのは、膨大なデータやルールからパターンを発見する能力が人間よりもはるかに優れているからです

とはいえ、ChatGPTを実際に活用している人たちなら、彼らの述べる情報が「そこまで信頼できない」と感じているはずです。

なぜならChatGPTは、自分が提出した回答を簡単に翻すことがあるからです。

ChatGPTなどの言語モデルは、簡単に意見を翻す
ChatGPTなどの言語モデルは、簡単に意見を翻す / Credit:Canva

私たちがいくらか反論したり、重ねて疑問を投げつけたりすると、彼らはすぐに「申し訳ありませんが、先にお伝えした内容に誤りがありました」と訂正してしまいます。

あまりにも素早く自身の回答を翻すので、ユーザーは「ChatGPTは最初の回答を本当に正しいと感じていたのか?」と疑問を抱きます。

同時に、新しい回答に対する信頼もなくなってしまうでしょう。

ワン氏も、「もし人間が同じことをすれば、人々は、彼が情報をよく理解せずに単なるコピペで話しているだけだと感じるでしょう」と述べています。

では実際のところ、ChatGPTは、情報を正しく理解する能力や、「正しさを貫く」信念を持っていると言えるのでしょうか?

今回、ワン氏ら研究チームは、ChatGPTを使用して現在のAIに信念があるか試してみました。

次ページChatGPTには信念がなく「正しさを貫けない」ケースが多い

<

1

2

>

人気記事ランキング

  • TODAY
  • WEEK
  • MONTH

Amazonお買い得品ランキング

AI・人工知能のニュースartificial-intelligence news

もっと見る

役立つ科学情報

注目の科学ニュースpick up !!