真面目に危惧されている「人工超知能」の反乱
人工超知能（superintelligent AI）とは、人間をはるかに上回る知性を獲得した人工知能として仮定されているものです。
世界を制御する人工超知能の存在は、単に空想科学小説の中だけの話に聞こえます。
しかし、現在の私たちの生活は、すでに多くのAIによって制御されており、今後ますます彼らに頼る割合は増していくだろうと考えられています。
当然、それに伴ってAIの機能も、日々進歩を続けており、すでにAI研究の中には、開発者がどうやって学んだのか完全に理解できない状況で、重要なタスクを独立して実行できるマシンが登場しています。
今回の研究チームの1人であるマニュエル・セブリアン氏は、こうした状況の中で「これらのAIがいつ制御不能になり、人類にとって危険な存在になるかという疑問が生じた」と研究の動機を語っています。
誰かが人間よりも優れた知能を備えたAIシステムをプログラムして、独立して学習できるようにしたと仮定しましょう。
そのAIがインターネットに接続すれば、おそらくほぼすべての人類のデータにアクセスできます。
そして既存のプログラムを書き換えて、世界中にあるオンラインのマシンすべてを制御できてしまう可能性が出てきます。
そのとき、世界はどうなるでしょうか？
偉大な知性を獲得したAIが、人類に脅威を与えないよう制御することは人間に可能なのでしょうか？
ドイツのマックス・プランク人間発達研究所の国際研究チームは、理論計算を使用してその可能性を検証してみました。
彼らの出した結論は、「人工超知能を制御することは基本的に不可能である」ということでした。
