報酬の坂道 ⑧

遂行システム

 報酬勾配という概念が探索システムという考え方を得てより理解がしやすくなったと私は考える。探索システムとは、そこに報酬勾配を見出し、作り上げるシステムということが出来るだろう。そしてこれはごく原始的な生命体にも見られるものと考えることが出来る。

しかし実際の私たちの生活で、報酬勾配がたとえば塩分濃度や光子の量などの物理的な裏づけを持つ場合ばかりではない。すでに何度も出てきた例だが、炎天下を歩き続けて渇きに苦しんだ人が、100メートル先のソフトドリンクの自動販売機を目指して歩く時、一歩ごとにのどが少しずつ潤う、ということはありえない。

あるいは自販機で手に入れたミネラルウォーターを夢中で飲み干すという動的な行為そのものに、報酬勾配は介在しているのか？　たとえば一口飲むごとに水がおいしくなるような現象などあるのだろうか？　
　結論としては、実はここにも仮想的な報酬勾配があるのだ。目の前の冷水のペットボトル一本を前にして、私たちは得られる報酬の全量を先回りして認知しているだろう。それは｢あ、あそこに自販機があった。手持ちの100円玉で一本のミネラルウォーターを買おう!｣と思った時の喜びとして、すでに体験されているからだ。それをたとえば10単位としよう。すると水を飲み干す、という行為はそれに向かって進む、つまりは報酬の全量に向かって近づいていくということだ。一口ごとに0.5単位、という風に。頭の中では必ずそう計算しているはずだ。それを報酬勾配と見なしていいということである。
　その証明としてこんな思考実験をしてみよう。目の前のペットボトルの水が、最初から半量だったとする。ペットボトルに半分の水というわけだ。あるいは100円で出てきたのは最初から250ccの小さなボトルだった。最初からそれしか与えられなかったら、飲み干したあとに私は満足して余韻を味わうという静的なモードに入るはずである。「ああ、おいしかったなあ、ジーン」というわけだ。もちろんもう少し飲みたい、という気持ちはあるが、そもそもそれが実現する可能性は考えていない。水はすでに目の前からなくなっているし、もう一本の水を買うお金はもうない。その状態と、最初の全量の水500ccのちょうど半分だけ消費した時に、突然だれかにペットボトルを取り上げられてしまった場合を比べよう。その際には同じだけの水の量を飲んだはずなのに、著しい不快感を覚えるはずである。すなわち最初にどの程度の快を最終的に与えられるかを想定し、そこに向かうというプロセスにこそ意味があるのであり、そこで快の総和を水の量から判断することは出来ない。

報酬の坂道 ⑦

パンクセップの探索システム

ところでこれまで本書で論じてきた報酬系と深く関連した概念を紹介しよう。ここら辺はアカデミック話だ。

。私が注目しているニューロサイコアナリシスという学問があるが、この世界での論客にヤーク・パンクセップという学者がいる。彼は｢探索システム｣という概念を提唱している。以下は｢ニューロサイコアナリシスへの招待｣(岸本寛史編著、誠信書房、2015年)を参考にする。彼は「探求（Seeking）システム」について、これが最も基本的な情動指令システムであり、あらゆるものが、その探求の目的となるという。そしてそれが従来は｢報酬系｣と呼ばれたものだとする。そう、パンクセップによれば、探求するシステムこそ、報酬と深く関連している、というよりは報酬と探求ということは同義だと考えられているのである。実際に報酬系は特定の対象を持たず、ただその満足を追い求めるシステムなのだ。

ここでseeking システムの具体的な神経回路を示すならば、それはとりもなおさず報酬系の場所であり、中脳の腹側被蓋野（VTA）から前頭葉へと投射される中脳皮質系と、VTAから側坐核へと投射するドーパミン作動神経・・・・・ということになる。

大体通常の脳科学の教科書ならここで終わるのだが、この報酬系の場所がわかったからと言って、いったいどうだというのだろう？と問うのがこのブログの方針である。これまでの様々な脳科学的研究により、脳のどこを刺激したら快感ないしは不快が生じるのか、ということを私たちは知るようになってきている。それがたとえばパンクセップの言う探求システムというわけだ。しかし最も根本的な問題、すなわち快感とは何か、ということについては、何一つなぞは解明されていない。

生命体の驚くべきことは、この脳のごく一部の報酬系を興奮させるために、あらゆる行動が構成されるということである。これが存在することで、捕食や生殖行動が可能となる。この仕組みは考えれば考えるほど不思議であり、かつ複雑である。それは同様のプログラムを人工知能に作ることを考えれば分かるだろう。

ヤーク・パンクセップは言う。このシステムにより、動物は世界を探索し、求めているものを見つけると興奮するようになる。その「求めているもの」とは食物であり、水であり、温かさであり、最終的にはセックスである。このシステムの興奮により人は好奇心を持ち、知的な意味でさえ探索をするのだ。（だからこれを探索システムとなずけたというわけだ。）

この探索システムは下等動物、aplysia、アメフラシなどにも存在するという。アメフラシは水の中で負の走光性を示し、暗い方を探索する。くりかえすが、パンクセップの概念の面白いところは、この快ということと、世界を探索し、自分の居場所を探すということを結び付けているというところだ。ところが、ここからがよくわからないのだが、彼は快感中枢の刺激を求めてレバーを押すラットも、報酬系と回路が重複するOCD（強迫性障害）も、同じようなコンセプトから説明できるという。ただし後者のOCDの場合は、探索が上手く行かずに、ある種のループに嵌っているということが特徴であるという。その場合には肝心の快感が消失しているということだ。

パンクセップの探索システムが教えてくれること。それはそこに介在するドーパミンは「そそる状態 appetitive state」には関係していても、「ガツガツ貪り状態 consummatory state」には関係していないということだ。探索は、「あ、あそこに餌があった。やった！」に関係はしていても、その餌にありついて貪り食っている時にはもう低下している。このことはすでにドーパミンシステムの不思議な振る舞いとして私たちが知っていることである。
そうしてもう一つ驚きの事実を書いておこう。この探索はまた、嫌悪の回避にも関係しているという。不快を避けようとさまよっている（これも一種の探索なのだ）時にも、ドーパミンが活発に活動しているというのだ。

ところでこの部分を書いているとき、私はあるブログの力を借りている。ここら辺、繰り返しね。MyBrainNotes™.com の Sarah-Neena Koch という女性の手によるこのブログは、脳科学に関するきわめて有益な情報源である。その彼女がこう書いている。報酬系の刺激に関する行動と、強迫行動はどこかとても似ているというのだ。少なくとも脳に刺激を与えるべくレバーを叩き続けるネズミはそうだという。自己刺激をしているネズミは、快感を得ているというよりは、追い立てられた状態に近いという。何かに夢中になり、駆り立てられ、それ自身は心地よくなく、ただただ上り詰めていく状態。ネズミを使って強制的に泳がせるという実験があるが、そのような時もやはりドーパミンが大量に放出されている。それは一種の探索が起きている状態である。そしてパンクセップによれば、快感とはむしろドーパミンが低減していくプロセスに関係しているという。探索が行き着いた先、というわけか。えーっ？

うーん、不思議なるかな、ドーパミン。私たちは通常、快楽とはドーパミンの放出に関係している、と習っている。常識ではそうだ。しかしドーパミンの放出は快楽の予期だけでなく、ストレスの体験の最中にも出る。そして快楽そのものはその低下で起きているというわけである。　

この世界に棲む私たちは、常に溢れるばかり情報に晒されている。それは脳の感覚野で情報処理された後に扁桃体に送られる。扁桃体は大脳辺縁系のポータルサイトとでもいう部分で、そこでは、蓄えられた記憶を頼りに、それを避けるか、求めるか、無関心でいるか、という分類をするのだ。情報はそれから下流に流れて、最終的には自律神経系に行き着き、体がいかに反応するかを準備する。たとえば心臓がドキドキしだすとか、汗が出てくるとか。そして扁桃体は、一種のサリエンス・ランドスケープを作る。それは一種のマップであり、世界の何が自分に欲望を抱かせるか、何がそうでないか、というランドスケープ(景色、見晴らし)のことだ。

Sarah はブログでオピオイド(アヘンの類)にも触れて、このオピオイドが一種の形状記憶 shape memory を、世代を超えて形成するということにも触れている。妊娠したネズミにストレス状態 (酸素をあまり与えない、など) に置くと、生まれた子供はより多くのオピオイドを消費する。またネズミが生まれて間もないときにストレスを与えると、より多くのオピオイドを摂取するなどのことが生じるというのだ。

報酬の坂道 ⑥

ちなみに、この報酬勾配がない場合の快楽、というのも考えるといいだろう。以前のブログにも書いたが、報酬の勾配を下ることのない快楽は、言わば静的な快楽だ。静的快は、それに浸っているだけで十分。あー気持ちいい、それだけ。ところが動的快は何かに向かっている。おなかをすかしたワンちゃんが餌をパクついて最後にはお皿をペロペロ舐めておしまい、という一連の動きを考えよう。（なんと穏当な例だろうか？）私は両者の違いは、そこに報酬の勾配が存在するか否か、という考えに行き着いた。ワンちゃんの場合は、「もっと、もっと」に駆られてえさを食べつくす。だから夢中になりその行為に没頭する。報酬勾配におかれた私たちが体験するのは、動的な快である。

様々な報酬勾配の例

　以下に様々な報酬勾配の例を考えてみる。順不同だ。すでにブログでも書いてあるものをアレンジしてある。
　あるダイバーが海底に不思議な貝殻のようなものを発見する。角張っていて、ちょっと六角形にも見える。汚れを落としてみると、なんと金貨であった！まだ確証はないが、きっと何かすごい価値があるに違いない。どうしてこんなところに いきなり金貨が落ちているのか、さっぱりわからないが、それにしてもたまたまこんなものを発見するなんて、なんと幸運なんだろう、すぐに近くにいる仲間のダイバーに伝えよう。ラッキー！ここまでは上述の静的快と言えるだろう。
　ところがふと気がつくとそばにある珊瑚の塊は、何か船のような形をしているようだ。ということは難破船の残骸か？ひょっとしたらこのあたりには、その船に積まれていた金貨がたくさん散らばっている可能性はないか？　その目で見ると、そこここに似たような｢貝殻｣のような形のものが落ちているようだ。ダイバーは、仲間に知らせることをやめて、夢中で探し出す。どこかに金貨を入れていたツボごと発見できないだろうか、と時間の過ぎるのを忘れて・・・・。これは動的。後者で起きているのは、探すという行為が更なる快を生むという、｢勾配｣の存在なのである。

　報酬勾配が逆向きだったりする場合もある。その場合人は苦痛から逃れることに夢中になる。こんな例を考えよう。あなたが腰の痛みに耐えているとする。慢性的な痛みで、安静にしているとやがて落ち着いていくのがわかっているので、あなたはカウチに静かに横たわっている。これは静的な苦痛。ところが家族の誰かが「マッサージをしてあげるよ。」と言ってあなたの腰に手を当てる。最初は特に何も感じず、少し安心していたが、ある部位に触れられたら急に痛みが増したとする。あなたは悲鳴をあげて｢そこはやめて！｣といったり、逃げ出したりする可能性がある。急に生まれたマイナスの｢報酬勾配｣により、痛みは動的になり、人はそれに反応して活動的になるという例だ。

以上の考察から次の様に結論付けることが出来る。私たちが快や不快を静かに体験するとき、それは勾配が存在しないからだ。勾配が存在する場合には、人はそれに没入し、一定の場所に到達するまで、それをやめることがない。

しかし勾配が存在していても、その体験が静的である可能性がある。それは快中枢が飽和状態に達する場合だ。渇きを癒すために水を飲む場合を考えよう。どんなにのどが渇いていても、人は永遠に水を飲み続けるわけではない。コップに3～4杯も飲んだらもうたくさんという状態になるだろう。最初の一口、二口、あたりの快はきわめて大きいはずだ。しかしそのうち上限に達してしまうと、後はそれ以上にはならず、むしろ苦痛を伴うようになる。おそらく私たちが日常体験するナチュラルハイなどはこの飽和状態に早く行き着くために、環境としてはポジティブ、ネガティブな報酬勾配が提供されていても、そこでの体験は静的な快、不快に早晩行き着くことになるのだ。

報酬の坂道 ⑤

ではどのような形で走化性が生じるのだろう?　またまたウィキ様の力を借りると、たとえば鞭毛を持っている細胞の場合次のようなことがおきるらしい。反時計回わりをすると、鞭毛はひとまとまりになる。それにより細菌などの細胞は直線的に泳ぐ。そして逆の時計回転をすると、繊毛がバラバラの方向を向き、その結果として生物はランダムな方向転換をするという。要するに逃げる、ということなのだ。そしてそれが起きるために存在するべきものがある。リセプター(受容器)だ。細菌がXという匂いに向かっているとしよう。するとXの分子が細菌の表面にあるリセプターにくっつく。そこからさまざまな化学反応を誘発するのであるが、簡単に言ってしまえば、一瞬前のXの濃度に比べて、現在の濃度が上昇しているか、下降しているかにより繊毛の回転方向が決まってくるわけである。たとえばリセプターが細胞の表面に沢山あり、ある時点でそれのNパーセントにXがくっついているとしたら、しばらく走るとNプラス１パーセントに上昇したことで、細菌は「ヨッシャー、この方向や」とばかりに鞭毛を反時計回りにブルンブルン回すという仕組みが出来ている。

もちろんこの場合、細菌はより濃いXを感じ取ることで｢ヨッシャー｣とは感じていないだろう。上のは少し擬人化して書いただけである。細菌は考えるべき心を宿すスペース自体がない。このままでは細菌はロボットそのものだ。でも一つだけいえる。生物はたとえ細胞一つでも、自分の体にいいものを求めて動く。そしてその際の決め手は濃度勾配、つまりは報酬の坂道を下るという作業なのである。後は生命がいくら複雑になっても、同じような仕組みを考えればいい。

たとえば産卵をしに川を遡行する鮭でもいい。あれほど一心不乱に、ボロボロになりながら上流を目指して一目散に及ぶメス鮭は、明らかにコーフンし、目的地に向かって期待を胸に泳いでいることだろう。もちろんもうひとつの仮説は、彼女たちが何かの恐怖におびえ、一目散に上流に「逃げ」ている可能性だ。しかし私は絶対前者に賭ける。少なくとも生まれた川を目指すプロセスは｢匂い｣という研究があるそうだ。すなわちその川に特有の物質(もちろんものすごい数の微量物質の組み合わせの｢濃度勾配｣に反応する｢走化性｣が決め手となるだろう。ただし鮭あたりになると、私はそこに心を宿していると思いたい。そのメスの鮭の頭には、産み落とされる卵たちの｢早く、早く｣という叫びや、排出された卵に狂ったように精子を振りかけるべく待ち構えているオス鮭のイメージが広がっているかもしれない。彼女たちは間違いなく上流を目指すことを命を懸けて、ある種の興奮状態に駆られて行っているはずなのだ。

報酬勾配に置かれた私たちは興奮する

ここで鞭毛を持った最近も、心を持っているか、いないかも分からないCエレガンスも離れて、私たちのことを考える。私たちが何事かに熱中し、夢中になって課題に取り組んでいるとき、それは｢報酬勾配｣に置かれた状態といっていいだろう。報酬勾配とは今出てきた言葉だが、要するにこれまでの濃度勾配の話から一歩進めただけである。Cエレガンスにとっての匂いの勾配のような、ある種の報酬の勾配に置かれたとき、私たちは興奮し、没頭する。これは生物学的な宿命といえる。おそらくその典型は動物における交尾であろうが、これはあまりに生々しいのでブログではかけない。

報酬の坂道 ④

基本は報酬勾配だろう

まず基本の基本からである。動物（人を含めて）を動かす原理。それは「快を求め、不快を回避するという性質である」。とりあえずこう述べてみよう。正解だろうか？　いや、その答えをここではまだ急がないことにしよう。とりあえずこれを「快楽原則」としておこう。一見これはすごく正しいように思える。快を求め、不快を避ける。当たり前である。その通り。この原則はおおむねにおいては正しそうである。ただしすぐに一つの問題が生じる。「すぐにでも快楽が得られないとしたらどうするのだろうか？」そう。Cエレガンスも匂いのもとにすぐにでもたどりつくわけではない。Aさんだって家事が終わってほっと一息、となるために何時間も働き続ける。報酬が即座に保証されないのに、同粒はどうして動き続けるのか？それも夢中になって。

　私はこれを三日三晩考え続けた。（嘘である。）そして一つの結論にたどり着いた。そして動物生態学的にもそれが妥当であることを追認したので、ここに表明したい。それは生物がある種の報酬の勾配におかれた際に、それに惹かれていくということである。どういうことだろうか？

もちろんCエレガンスは水の中を泳ぎながら、「匂い」のもとに到達して、「やった！」と感じているわけではない。だから彼らは泳ぎ続けるのである。しかしここには一つの仕掛けがある。Cエレガンスが好む匂い物質の濃度勾配がそこに存在するということである。つまりシャーレの一端に患者の尿をたらし、そこからの距離に従って、そのにおいが拡散していく、という状態に置かれることで、生物は動いていくのだ。以前出て来たもと商社マンAさんなら、「さあ次は掃除だ。これが終わったら洗濯をして…」と頭の中の予定表にある項目をこなしていく。それが実は楽しいはずなのである。それをここでは報酬勾配、と呼んでおこう。そしてその由来は、濃度勾配である。濃度勾配こそ、生物が動いていく際の決め手として注目されているテーマなのだ。

走化性（ケモタキシス）という仕組み

匂いに向かって進む性質、それはCエレガンスはおろか、単細胞生物にも存在することが分かっている。それを走化性 Chemotaxis と呼ぶ。“chemo”とは化学の、“taxi”とは走る、という意味だ。化学物質に濃度勾配があれば、鞭毛をもった細菌などはそれに従って移動する。いや鞭毛をもたない白血球なども同様の行動を示す。もちろん何に向かって走るかにより、温度走性、走光性などがあるが、医学の分野との関連で濃度勾配により移動をする走化性の研究がずば抜けて多いのは、これが生物学と医学の両方で特筆すべき重要性を持っていることの証である。

ここからはWIKI様（敬称付きである）に御頼りするしかないが、何しろ1700年代初頭にレーベンフックが顕微鏡を発見した時から、「なんだ、この細胞、じわじわとどっかの方向に動いている様だぞ！」ということが発見されたという。生命のもとになる単細胞が、どこかに向かって泳ぐ（移動する）ということが分かっていた。そしてそれがある種の化学物質に向かう、あるいはそれを嫌って避けるということは、その細胞の基本的な性質としてあるのだ、という認識が高まってきた。あとはその研究の歴史が延々と続くのである。Cエレガンスどころの話ではなかった・・・・・。Cエレガンスは多細胞生物である。体長一ミリ、細胞の数は1000前後で立派なものである。彼が「走る」のはむしろ当たり前であったのだ。

報酬の坂道 ③

　Cエレガンスは、尿の特定の「匂い」を求めて泳ぐという。もちろん水の中のことだから、本当の「匂い」ではない。液体に溶け込んでいる極めて微量の化学物質を求めるのだ。そう、Cエレガンスは特定の化学物質を求めて泳いでいくのだ。たった302個の中枢神経の細胞で、どうしてそんな事が出来るのだろうか？1000億個の神経細胞を持った私たちが、喉の渇きのために砂漠の向こうに泉を求めてさ迷い歩くのならよくわかる。しかしたった300個の神経細胞の集まり、脳ともいえないようなとてつもなく単純な神経組織しか供えない生物も、また同じような行動を起こすのである。

　家事に熱中するAさんの話からいきなり特定の尿の匂いを求めるCエレガンスに話が移ったが、私が興味を抱くのは次の一点である。生物はどのようにして動いていくのか。それを駆動する力はなんだろうか？渇きや飢えといった感情であろうか？それともロボットのように自然と匂いや光に向かうのであろうか？　もしCエレガンスが求めるのは匂いのもとに到達した時の快感や喜びであるとしたら、そのもとに向かう、という行動はどのようにして成立するのであろうか？直接その匂いのもとに到達したわけでもないのに、どうしてそれを求めて泳ぐということが可能だろうか？

　もちろん読者の中にはこう考える人がいるだろう。「単純な生物が欲望を持つはずはないであろう。」ロボットのように自動的に匂いのもとに泳いでいくのだ。どうして感情など必要なものか？」しかしそれならばこう聞きたい。「では私たちはどうして欲望という厄介なものを持っているのだろう？快や不快や渇望や苦痛など、ややっこしいものをどうして体験しなくてはならないのだろうか？」

おそらくこの疑問には永遠に正解はないのであろうが、少しでもそれに迫っていくのが本ブログの目的である。

基本は報酬勾配だろう

　まず基本の基本からである。動物（人を含めて）を動かす原理。それは「快を求め、不快を回避するという性質」である。よろしい。とりあえずこう述べてみよう。正解だろうか？　いや、その答えをここではまだ急がないことにしよう。とりあえずこれを「快楽原則」としておこう。一見これはすごく正しいように思える。快を求め、不快を避ける。当たり前である。その通り。この原則はおおむねにおいては正しそうである。ただしすぐに一つの問題が生じる。「すぐにでも快楽が得られないとしたらどうするのだろうか？」そう。Cエレガンスも匂いのもとにすぐにでもたどりつくわけではない。Aさんだって家事が終わってほっと一息、となるために何時間も働き続ける。報酬が即座に保証されないのに、生命体はどうして動き続けるのか？それも夢中になって。

　私はこれを三日三晩考え続けた。そして一つの結論にたどり着いた。そして動物生態学的にもそれが妥当であることを追認したので、ここに表明したい。それは生物がある種の報酬の勾配におかれた際に、それに惹かれていくということである。どういうことだろうか？

もちろんCエレガンスは水の中を泳ぎながら、匂いのもとに到達して、「やった！」と感じているわけではない。だから彼らは泳ぎ続けるのである。しかしここには一つの仕掛けがある。Cエレガンスが好む匂い物質の濃度勾配がそこに存在するということである。つまりシャーレの一端に患者の尿をたらし、そこからの距離に従って、そのにおいが拡散していく、つまり距離とともに徐々に薄まっていく、という状態に置かれることで、生物は動いていくのだ。Aさんなら、さあ次は掃除だ。これが終わったら洗濯をして…　と頭の中の予定表をこなしていく。それが実は楽しいはずなのである。それをここでは報酬勾配、と呼んでおこう。そしてその由来は、Cエレガンスの場合は特定の物質の濃度勾配である。濃度勾配こそ、生物が動いていく際の決め手として注目されているテーマなのだ。

報酬の坂道 ②

　人は、動物は何を求めて行動するのか？　何が楽しいのか。人には様々な行動パターンがあり、趣味や楽しみがあり、仕事がある。それぞれが違った人生を送り、違った脳を持ち、違った目標を持って生きていく。

「何が人を動かすのか？　what makes a man tick? 」

私はこの素朴な疑問をおそらくこの30年間持ち続けながら精神科医になり、精神分析を学び、現在に至るが、いまだに解決がつかない。しかし30年前に持っていた疑問に対して、今はその解決の糸口くらいはつかんだ気がする。それは報酬系という人間の脳のシステムと深くかかわっているということである。そして人間が何かに惹かれて行動するように、もっとも下等な動物は、それが自由な運動を獲得し、敵を避けて餌を求めるという行動をとり始めたときに、すでに私たち人間と同じような原理で動いていることを知った。そこでも決め手はやはり報酬系。報酬系を知ることが心を、心を持った人間の行動のなぞを知る手がかりになる。

C. エレガンスは幸せなのだろうか？

 ということで、私の心はどうしてもC. エレガンスに向かってしまう。正式な名前はCaenorhabditis elegans（カエノラブディティス・エレガンス）あまりに長たらしい名前なので、科学者も単純にC.エレガンスと呼ぶというのが決まりごとになっている。（本ブログでは「Cエレ君」）などの名前でも登場する。

　この体長一ミリほどの小さな虫（正式には線虫と呼ばれる）は、一種のモデル生物として実験に非常によくつかわれる。体細胞は約1000個。神経細胞は302個。しかしこれほど単純なのに、学習をし、もちろん生殖もする。そして走性を示す。走性とは好みの匂いの方向に進んでいく、という性質である。染色体は6本あるが、そのゲノムはいち早く解析された。その結果、6本の染色体上に約 19000 個の遺伝子の存在が予測された。（これって人の遺伝子の3万程度と比べてもものすごく多いという印象を与える。）2015年に九州大学の研究グループは、 C. エレガンスが特定のがん患者の尿の臭いを求めて泳ぐという性質を発見した。