この問題を考えるうえで発想の起点となるのが、哲学者のジョン・サールの「中国語の部屋（Chinese Room）の話だ。以下はその概要である。
中国語を全く知らない英国人を小部屋に入れて、ある作業をさせる。彼に与えられているのは一冊のマニュアルだけである。外との交流は、ある特殊な暗号の書かれたメモだけである。彼はそれを無言で渡され、仕事はこの記号の羅列に関して、どのように同じ記号を使って返せばいいかを、マニュアルに従って知り、それをメモに書いて返すことだ。(幸いマニュアルは英語で読めるようになっている。)
例えば、「○、×、＊、◇、」と書かれていたら、マニュアルでそれに対して「×、◎、@、▽」だとする。ちなみにこれらの記号は中国漢字で、最初の「○、×、＊、◇、」は中国語の文章として意味が通じるとする。もし精巧にマニュアルが出来ていたら、そしてその人が有り余る時間があってそれを読み解くことが出来たら、そこで返される文字列は、中国語としての意味を成すだろう。というよりそのようにマニュアルが出来ているのである。
さてこれは一種の思考実験であるが、サールはこの人が中国語を理解していないであろう、と論じ、結局はコンピューターが人との会話を成立させるとしても、それは中国語を理解したとは言えない、と主張したのだ。なぜここでコンピューターが出てくるかと言えば、このマニュアルに従った応答というのは結局AIがやることを言い表したに過ぎないからである。そして他方では｢いや、理解しているからこそ、会話が成立するような文章を返してきたのだ｣と主張し、結局この議論に決着はついていないそうである。
この議論の答えは私にはついているように思える。それはもし中国語の部屋が極めて高いレベルのマニュアルを備えているとしたら、この部屋(と言っても英国人が入って仕事をしなくてはならないが)は事実上中国語を理解しているとしか言いようがないということである。もちろん「わかる」とはどういうことかが問題になる。AIは本当の意味で「分かっている」と言えないのかもしれない。しかし同じように人が「わかっている」とはどういうことかを突き詰めても、結局わかるということの定義があいまいになってしまい、同じことが起きる。
犬のチビに向かって「ご飯だよ」と言ったら、尻尾を振って近づいてくるだろう。チビは「ご飯」の意味を分かっている。これは確かなことだ。でも神経細胞が数百しかないCエレガンス(線虫)もごく微量の物質に惹かれて集まる。そのCエレ君だって、匂いを嗅ぎつけて「やった！餌だ」と思っていないとも限らない。でもすべてがオートマチックに動いているのかもしれない。どちらか決めようがないのだ。そして下等動物の反応はどちらかと言えば本能にプログラムされた自動的なもの、考えずにやっていることと考えざるを得ないであろうと思う。しかし進化論的に人間に近くなるにつれて、どこかにプリミティブな心の萌芽を想定せざるを得ないのであろうと思う。そして私はAIについても同じことがおきると考えざるを得ないのである。
