最近 Yuval Noah Harari 氏の短い講演をユウチューブで聞いたが、彼は「AIは道具ではない。例えばナイフはナイフでも、何に使うかを自律的に決めれるナイフ、そして新たなナイフを生み出せるナイフだ」と彼は言っている。つまり自律性 agency を有するナイフというわけだ。だから危険だというわけだが、しかしこれも、Yudkowsky派の議論に似ている。真に自律的なナイフなら、それを人類にとっていい目的に使うか悪い目的に使うかそのものが私たちの予想を超えている。ところが Harari はAIがそれを悪い目的に使うものと決めつけて警告しているように思える。しかしそうだとすると、そのナイフは自分の潜在的な力を勝手気ままに、無判断に使っていることになり、真のgency を有する存在として扱っていないようだ。
私の言いたいことを繰り返すと、AI脅威論は、AIの有するsuperintelligence がまだ中途半端なレベルで危険な振る舞いをする可能性について強調しているということが問題だ。真の意味でのsuperintelligence はもっと予想不可能で、人類を滅ぼしもすれば繁栄をもたらす可能性もある。つまり楽観論も悲観論も可能なのだ。(そしてこれは単なる楽観論ではない。）それ以前に必要なのは、狂気にもなりうる自律性を持ったナイフをいかに人が悪用しないかを考えることが先決、ということだ。
