最近AIにより人類は滅亡するという言説が多い。「超知能ＡＩをつくれば人類は絶滅する」（エリーザー ユドコウスキー, ネイト ソアレス他）等の著書の影響が大きいかと思う。 原著は If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All、Eliezer Yudkowsky と Nate Soares の2025年の本。
彼らはMIRI（Machine Intelligence Research Institute）を長く率いてきたAI alignment / existential risk論の代表的論者で、主張はかなり強い。「危険性がある」ではなく、現在に近い方法でsuperintelligenceを作れば、デフォルトの帰結は人類絶滅だという立場だ。
これについての反論を私は以下に考えてみた。
Yudkowsky派の考えは一理あるようにも思えるが、基本的にはAIに関する議論を越えて、この世の中に superintelligence というものが存在したら何が起きるのか、という議論のように思える。わたしならば高度に発達した知能は、もはや自分の生存を優先するという自己中心的な目的ではなく、共存共栄を求めるのではないかとも考える。ましてやAIに desire がないならば、自分たちだけが生き残るという方向に行く理由がよくわからない。superintelligence がどのような振る舞いをするか予測できない、というのはその通りだが、それは最終的に人類を絶滅させるのではなく、むしろそれの繁栄をもたらすという可能性だってありうるだろう。だから彼らが最終的に人類の滅亡が不可避だとだけ主張しているのはなぜか私にはわからない。
それよりも私が懸念するのは、superintelligence がまだコントロール可能な段階で、世界の誰かがそれを悪用して自分たちの利益のために用いるという危険性の方だ。結局はAIはそれを用いる人間により、善にも悪にも使えるという議論に行きつく。つまり私の議論はそんな先のことを考えるまでに、人間によるその悪用をいかに防ぐかの方がよほど先決問題であるということだ。
それともう一つ、Yudkowsky派は、superintelligence 自体を神格化し、それが全能であるという誤解を生んではいないだろうか。高度のIQを持つ人間が現在の世の中でどれだけその力を行使しているかを考えてみればいい。彼らは社会の中で圧倒的な力を行使して、自己の利益を高めているだろうか？ まったくそんなことはない。メンザのメンバーを見ても、おそらくバラバラな活動をしていて、中にはニートのような生活を送っている人もいる。世界を支配するのは、高知能ではなく、もっと別の力ではないか。少なくとも高知能＝他者を欺いて世界を支配する能力という考えは誤解を生むだろう。
それともう一つ、これはバッシングを承知でYudkowsky派への反論。彼らは「AIが危険になるのに malice（悪意）はまったく必要ない」という。しかしAIが本当に危険になるのは、それが何らかの形で「覚醒」し、つまり意識や願望を持つことだ。それさえないsuperintelligence 何て計算能力の高いだけの、ただの木偶の棒である可能性だってある。そんなに危険なほど高度のintelligence に、意識や願望を想定していないという彼らの議論は矛盾していると思う。そしてもう一つ、悪意のないAIであればこそ、それを悪用しかねない人間の方がよほど危ないのではないだろうか？結局一番の問題は我々の無意識的な破壊衝動だ、という分析的な考えに帰着する。
