作られる「プログラムコード」は実行不可能なものばかりになった
生成型AIの複雑化はAIたちに当初考えられていた会話能力を超えた新たな能力を獲得させる「創発」という現象を引き起こしました。
プログラムコードを書く能力も自然な人間との会話を行う能力とは異なり、創発の一種とする考えもあります。
このような会話以外の追加能力はAIの複雑化によって突然獲得されることが示されており、AIの規模が新規能力獲得に重要な役割を担っていると考えられています。
しかしAIの規模に大きな進化のない状態で、AIを更新するバージョンアップがどのような影響を与えるかは全くの不明です。
そこで研究者たちは創発の代表的な能力と言われるプログラムコードを書く能力が更新によってどのような影響を受けたかを調べました。
結果、GPT3.5もGPT4も正しいプログラムを書く能力そのものは変化していないものの、全体的にコードの長さが増加し、冗長になっていることが確認できました。
長いコードは人間による確認を困難にする傾向があるため、使いやすさは低下したと言えるでしょう。
ただそれをAIの能力低下と同等と考えることはできません。
一方、GPTが出力した内容を「コピー＆ペースト」してそのまま実行できる能力「実行可能性」は、上の図のように大きく低下していることが判明します。
具体的にはGPT4は3月の段階では実行可能性のあるコードを52.0%の確率で作ることができましたが、6月の段階ではコードの前後に余計な文字（“‘python and “‘のような三重引用符）が追加されており、「コピー＆ペースト」で使えるのは10%のみになっていました。
ただ、なぜわざわざ「冗長化」や「コピー＆ペースト」での使用を妨害するような更新が行われたかは不明です。
人間のプログラマーの職を奪わないようにする配慮という視点からの変更と考えるには、やっていることが嫌がらせレベルであり、説得力がありません。
ただ言えるのは、人間の脳に類似する疑似的な神経回路網（ニューラルネット）を備えるGPTにとって、ささいな変更でも予期しない余計な文字列をもたらすということでしょう。
