読者は「多次元ベクトルがクオリア?」等と不思議にお感じになるかもしれない。そこでAIの用いる大規模言語モデル(LLM)の仕組みについて、私がわかる範囲で説明したい。 LLMでは入力層というものがあり、そこに文章をトークン(単語、助詞、副詞、などの構成要素)に分解し、それを多次元ベクトルで表して入力層に入力する。それを「人間は考える葦である」という文章を入れた場合について図に示してある。そしてそこでは「人間」も「葦」も多次元ベクトルになる。「人間」なら、霊長類としては1.0の度合い、賢い存在としては0.9の度合い、ペットとしては0.01(ペットとして扱われる人間もいるかもしれないので0にはならない)等、数限りない属性が続く。それは例えば(1.0、0.9、0.01……)となる。「葦」なら川辺の植物1.0、楽器の歌口に使う0.9……という風になるだろう。 さて次の層ではベクトルの近いもの(それらのベクトルの内積(類似度、attention score)が大きいということ、コンピューターで数値化できる)が合わさって次の層が形成されていく。こうして層が進むにつれて「単語 → フレーズ → 文 → 文脈」 という流れで、情報が圧縮・抽象化されていくのである!