神経生理学の視点で見るニューラルネットワーク入門

動画版：https://www.youtube.com/watch?v=0NF6zhajueg

Transcript

1. 神経生理学の視点で見る ニューラルネットワーク入門 大阪大学医学部Python会代表 大阪大学医学部医学科４年次 山本 拓都 この動画は大阪大学医学部Python会の新入生歓迎用動画です。代表の山本と申します。 おいおい、ずいぶんかわいらしい声ですねという感じですが、音声はVOICEROIDの東 北きりたんを使用しています。
2. 神経生理学の視点で見る ニューラルネットワーク入門 東北きりたんです 大阪大学医学部Python会代表 大阪大学医学部医学科４年次 山本 拓都 初めは自分の生の声を皆さんの耳にお届けする予定だったのですが、
3. 神経生理学の視点で見る ニューラルネットワーク入門 壁が薄いのじゃ 自宅に録音できる環境がなく、録音しても音声にノイズが入りまくりまして、 大阪大学医学部Python会代表 大阪大学医学部医学科４年次 山本 拓都
4. 神経生理学の視点で見る ニューラルネットワーク入門 広い家をください 大阪大学医学部Python会代表 大阪大学医学部医学科４年次 山本 拓都 泣く泣くVOICEROIDを使っています。決して個人的に使いたかったとかではないです。
5. 神経生理学の視点で見る ニューラルネットワーク入門 実名でボイロ動画とか 恥ずかしくないんですか？ 大阪大学医学部Python会代表 大阪大学医学部医学科４年次 山本 拓都 さて、今回は『神経生理学の視点で見るニューラルネットワーク入門』ということで、近年 世間を席捲しているニューラルネットワークとは何かということや、医学部で学ぶことに なる神経生理学などとの関わり合いについて説明していきます。
6. 神経生理学の視点で見る ニューラルネットワーク入門 実名でボイロ動画とか 恥ずかしくないんですか？ 大阪大学医学部Python会代表 大阪大学医学部医学科４年次 山本 拓都 先に言っておきますが、本動画は、学部1年次を主な対象としているので、深い内容は避 けます (ただし一時停止を推奨します)。というか論文のFigureとかのこういう動画における 著作権関係が分からないのですよ…。 < これが時代の最先端です
7. 目次 • 機械学習とディープラーニング • ニューラルネットワークと脳 • 脳とニューロンについて • ニューロンのモデルについて • 発火率モデルからニューラルネットワークへ • ニューラルネットワークの学習と脳の学習 神経生理の内容 薄くないですか？ それでは、本題に入っていきます。目次はこんな感じです。１つ１つをまともに解説しよう とするとかなり時間がかかるので、超芳醇パンぐらいふわっとした内容しか話しません。 ＼ ﾊｧｲ ／
8. 目次 また、動画の後半における内容はGoogle Colabでコードを動かせるようにしています。 リンクは動画の概要を参照してください。 • 機械学習とディープラーニング • ニューラルネットワークと脳 • 脳とニューロンについて • ニューロンのモデルについて • 発火率モデルからニューラルネットワークへ • ニューラルネットワークの学習と脳の学習 ＼ ﾊｧｲ ／
9. ディープラーニングでなんとかして まず、機械学習とディープラーニングについてお話します。ディープラーニングは近年と ても人気で、現代社会に苦しむ人々の願望機となっています。実際にGoogleで「ディー プラーニングでなんとかして」と検索してみるとこんな感じです。
10. ディープラーニングでなんとかして おぉぅ…
11. ディープラーニングすごいぜ！ ディープラーニングなる代物はすごいんだろうなという話ですが、実際にどのようなことができる かというと、画像認識や自動翻訳、画像の生成や変換、囲碁やテレビゲームなどをヒトよりも上手に プレイするなど、様々なタスクに適応することができ、またその性能も高いです。 画像認識 強化学習 画像の生成・変換 自動翻訳 (Krizhevsky et al., 2012) 等々…
12. ディープラーニングすごいぜ！ 歌えるボイスロイドです 画像認識 強化学習 画像の生成・変換 自動翻訳 (Krizhevsky et al., 2012) 最近では私、きりたんもディープラーニングの力で上手に歌を歌えるようになりました。また、医療 への応用も様々な研究で試みられており (論文の紹介は略します)、将来的には実臨床でも一般的 に使用される技術となっていくと思います。 等々…
13. 機械学習とディープラーニング 機械学習 (Machine Learning) データに基づいてコンピュータを学習させ、従来の単純なルール設定による計算な どでは困難とされる複雑なタスクの実行を可能にすることを目的する分野 ディープラーニング (Deep Learning) 人工ニューラルネットワークを用いた機械学習の１つの手法 こんなの 説明が長い さて、このディープラーニングは多層の人工ニューラルネットワークを用いる機械学習の手法の1つ です。長ったらしい説明になりますが、機械学習とは、データに基づいてコンピュータを学習させ、 従来の単純なルール設定による計算などでは困難な複雑なタスクの実行を可能にすることを目標 とする学問分野です。
14. 機械学習と人工知能 (AI) 研究費の重要性 人工知能・AI (Artificial Intelligence) 機械学習 (Machine Learning) ディープラーニング (Deep Learning) 近年では機械学習のことを通俗的に人工知能やAI (artificial intelligence) と呼称する場合 も多くあります。正しくは人工知能やAIの部分集合が機械学習ですね (個人的にこれまで機械学習を AIと呼称する人のことを理解できなかったのですが、最近では研究費を取ってくることの大切さを知り、生暖か い目で見ています)。
15. 機械学習は望ましい関数を得ることが目的 = () : → または 入力 写像という呼び方の方が 私は好きです 出力 → → ある入力 に対して 望ましい を出力するように 関数（あるいは写像） を 学習させる モデル 機械学習がどういうものなのか、もう少し言葉を付け足します。機械学習のタスクは様々ですが、簡 単に言えば、機械学習はある入力xを入れた時に望ましい出力yを生み出すような関数fを得ること を目的とします。関数を言い換えれば写像ですね。
16. 機械学習は望ましい関数を得ることが目的 = () : → または 入力 出力の望ましさは主に 目的関数で定義します 出力 → → ある入力 に対して 望ましい を出力するように 関数（あるいは写像） を 学習させる モデル データから望ましい関数を得る（モデルを訓練する）ことを「学習」と呼んでいます (一般用語での学 習と同一ではないので注意しましょう)。また、ディープラーニングがなぜナウなヤングにバカ受け かというと、十分な学習データを用意すれば他の手法では実現できないような複雑な関数を学習 できるためです。この辺は数理的な研究も進んでいますね。
17. 例 ： 動物の画像分類タスク 機械学習の例として、例えば動物の画像を入力した時に、ネコの画像かイヌの画像かを判別する問 題を考えます。この時、このような画像を入力したのであればネコと出力するモデルが望ましいと言 えます。 猫はかわいい（真理） 入力 出力 → → モデル ネコ (y=1) イヌ (y=0)
18. 例 ： 動物の画像分類タスク 元画像 ： Woman Yelling At A Cat 一方でこの画像の右みたいなのはどうしようもないですね。 これはダメなモデルであり、適切に学 習できていないということになります。
19. 習得すべき学問分野 この他にも 勉強すべきことは 多いですが ところで、ディープラーニングは確かに凄いのですが、機械学習の手法は幅広く、ディープラーニン グだけ勉強しても不十分と言えます。ディープラーニングの勉強をするのは良いことですが、やるの であればそれと並行して数学や統計学、機械学習の他の手法も勉強することをお勧めします。 数学 (特に微積分と線形代数) 統計学 機械学習の他の手法
20. 習得すべき学問分野 数学 (特に微積分と線形代数) 統計学 機械学習の他の手法 数学の勉強をする 時間をください なんでもディープラーニングに頼るのはよくありません。用法用量を守って正しくお使いください。 また、強調しておきますが、1年生のときに学ぶ微積分と線形代数は超重要です。医学の勉強を進 めると忘却の彼方へ消え去るのでしっかりやっておきましょう。 数学で留年する学生もいるのでね…
21. ニューラルネットワークと脳 人工ニューラルネットワーク (Artificial Neural Networks) 脳 (Brain) ＝ ? ここからは 脳の話をします さて、ニューラルネットワークですが、脳の情報処理を模していると言われます。間違いではないの ですが、説明が投げやりで混乱をきたしやすいです。この動画では一旦機械学習から離れ、脳とそ の主な構成要素であるニューロンについて解説した後にニューラルネットワークの話に戻る、という 形を取ることにします。
22. 脳を構成する細胞 神経細胞 （ニューロン） 神経膠細胞 （グリア細胞） ミクログリア アストロサイト …など 生物の体の主な構成要素は細胞ですが、脳を主に構成する細胞は神経細胞とグリア細胞に大きく 分けられます。神経細胞のことを英語でニューロン (neuron)と言います。グリア細胞 (glia)には ミクログリアやアストロサイトなどの種類があり、重要な働きをしていますが、収集がつかなくなる ので本動画では省略します。 大脳皮質の1mm3には平均して 約5万個のニューロンがあります
23. ニューロンの構造 髄鞘 (myelin) 軸索 (axon) 細胞体 (soma) 樹状突起 (dendrite) 私の頭部から出ているのは 樹状突起ではありません 神経細胞の基本的な形態は次のようになっています。まず、核などの細胞小器官が集まる細胞体と いう部分があります。その細胞体から細く伸びるのが軸索です。軸索には髄鞘と呼ばれる構造があ る場合もあります。細胞体には樹状突起という突起があり、他のニューロンからの入力を受け取っ ています。
24. ニューロンの構造 神経終末 (nerve terminal) シナプス (Synapse) 反対に軸索の先にはニューロンの出力を担う神経終末という部分があります。神経終末が他の ニューロンの樹状突起や細胞体などに接合することで生じた構造をシナプスと呼びます。また、樹 状突起上の棘状の構造を樹状突起スパインと言い、シナプス入力を受ける場所となっています。ま とめると、入出力の経路は青色の矢印のようになります。 髄鞘 (myelin) 軸索 (axon) 細胞体 (soma) 樹状突起 (dendrite) 樹状突起スパイン
25. 様々なニューロンの形態 イカれたメンバーを紹介するぜ！ 自律神経！以上だ！ 基本的な形態は先ほど述べたような感じですが、ニューロンは多種多様な形態をしており、発現し ている蛋白質もその機能も様々です (ここではごく一部しか示していません)。特に興奮性神経細胞 の錐体細胞 (pyramidal cell)が有名ですね。この話題も、ここで扱いきれないので省略します。 運動ニューロン (motoneuron) 錐体細胞 (pyramidal cell) プルキンエ細胞 (purkinje cell) Multipolar neurons Bipolar neurons 嗅細胞 ※他の基本的な形態としてはUnipolar neurons や Pseudounipolar neuronsなどがあります
26. 体液の組成 それでは生理学の内容に入っていきましょう。まず、細胞は細胞膜で外部と仕切られていることは ご存知でしょう。細胞内の液を細胞内液、外の液を細胞外液と呼びます。細胞外液は間質液と血漿 に分けられます。ここでは間質液のみを考えましょう。 ニューラルネットワークは どこにいきました…？ 細胞内液 (40%) 細胞外液 (20%) 間質液 (13%) 血漿 (7%) 固形分 (40%) 体内水分 (60%) ヒトの体 ※ カッコ内は体重に対する割合 （標準生理学, 第8版より）
27. 細胞内液と間質液のイオン組成 細胞内液と間質液ではイオンの組成が異なっており、各イオンはおおよそ表に示すような濃度と なっています。細胞内外でイオンの濃度差が生じていますが、これを濃度勾配がある、と言います。 また、イオンがこのように不均衡に分布しているのはドナン効果と呼ばれる現象によるものです。 電解質 細胞内液 (mM) 間質液 (mM) 陽イオン Na+ 5～15 145 K+ 140 5 Ca2+ 10－4 1～2 陰イオン Cl－ 5～30 110 ※1 ： M (モル濃度) = mol / L ※2 ： この他にもイオンはありますが、省略 （標準生理学, 第8版より） しばらく生理学が 続きます
28. 細胞内液と間質液のイオン組成 水中の粒子はこの濃度勾配に従い、濃い方から薄い方へ拡散します (これをFickの法則と言いま す)。しかし、イオンは負の電荷を持つ蛋白質の影響(ドナン効果の原因)により細胞膜を通って細胞 内外を自由に行き来することはできません。そのため、細胞膜にはイオンを通したり輸送したりする 蛋白質があります。 電解質 細胞内液 (mM) 間質液 (mM) 陽イオン Na+ 5～15 145 K+ 140 5 Ca2+ 10－4 1～2 陰イオン Cl－ 5～30 110 ※1 ： M (モル濃度) = mol / L ※2 ： この他にもイオンはありますが、省略 （標準生理学, 第8版より）
29. イオンチャネルと膜電位 細胞膜にあるイオンを通す蛋白質をイオンチャネルと言います。これは単なる孔ではなく、選択的に イオンを通過させます。例えばNa+チャネルはNa+を通しますが、K+などは通過させません。また、 K+はNa+よりも大きいですが、K+チャネルはほとんどK+しか通しません (厳密には1/1000ぐらいの 比率で通すので、選択的に透過性が高いと言った方が正確ですね)。 Na+チャネル K+チャネル 細胞外 細胞内 Na+ Na+ Na+ Na+ Na+ K+ K+ K+ K+ K+ K+ K+ まだ、一般の細胞に ついての話です
30. イオンチャネルと膜電位 この選択的にイオンを通す、というのが細胞内外の電位差を生みだしています。生じる電位差を膜 電位といい、細胞外を基準 (V=0)としたときの細胞内の電位を表します。細胞外を基準にするの は細胞内に比べてイオン濃度の変動が少ないからですね。 (0 mV) 細胞外 細胞内 Na+ Na+ Na+ Na+ Na+ K+ K+ K+ K+ K+ K+ K+ Na+チャネル K+チャネル
31. イオンチャネルと膜電位 膜電位は、イオンチャネルの選択的透過性と濃度勾配によって生じています。メカニズムを考えるた めに初めは細胞内外のイオンの電荷のバランスが取れているとしましょう。 膜電位発生のメカニズム （初めの電位差は0とし, K+チャネルの場合を考えます） K+ (100個) 細胞外 細胞内 K+ (10個) Na+ (100個) Na+ (10個) Cl－ (110個) Cl－ (110個) = 電荷の合計 ±0 ±0
32. イオンチャネルと膜電位 濃度勾配によりK+チャネルを通ってK+が細胞外に移動すると正の電荷が細胞外に蓄積します。あと はコンデンサ（キャパシタ）と同じ原理で、電荷をQ, 膜容量をCとすると、電位差V=Q/Cが生じます。 膜電位発生のメカニズム （初めの電位差は0とし, K+チャネルの場合を考えます） K+ (80個) 細胞外 細胞内 K+ (30個) Na+ (100個) Na+ (10個) Cl－ (110個) Cl－ (110個) > 電荷の合計 +20 －20
33. イオンチャネルと膜電位 しかし、この生じた電位差はK+を押し戻す働きがあります。なのでイオンチャネルを通るK+には電位 差 (電気的勾配)による力と濃度勾配による力の2つが加わります (正しくは力というよりは傾向で すが)。両者の力がつり合ったところで生じている電位差を平衡電位と言います。 膜電位発生のメカニズム （初めの電位差は0とし, K+チャネルの場合を考えます） K+ (90個) 細胞外 細胞内 K+ (20個) Na+ (100個) Na+ (10個) Cl－ (110個) Cl－ (110個) > 電荷の合計 +10 －10 K+ 濃度勾配 電気的勾配
34. イオンチャネルと膜電位 名前だけ紹介しますが、この平衡電位を計算する式をNernstの式と言います。さらに同様の議論を 全てのイオンに対して行うことで得られる、全てのイオンの見かけ上の移動がなくなる電位(つまりイ オン電流の総和が0となる電位)を静止膜電位と呼びます。 この計算にはGoldman-Hodgkin- Katzの式 (GHK方程式) を用います。 膜電位発生のメカニズム （初めの電位差は0とし, K+チャネルの場合を考えます） K+ (90個) 細胞外 細胞内 K+ (20個) Na+ (100個) Na+ (10個) Cl－ (110個) Cl－ (110個) > 電荷の合計 +10 －10 K+ 濃度勾配 電気的勾配
35. イオンチャネルと膜電位 さて、イオンチャネルが開口する要因ですが、これはチャネルごとに異なります。チャネルの種類は 色々ですが、膜電位の上昇で開口する電位依存性チャネルやリガンド(受容体と結合する分子)が結合 することで開口するリガンド依存性チャネルなどがあります。これらは神経活動の構築に大きく関与 してきます。 電位依存性チャネル ： 膜電位の上昇で開口 リガンド依存性チャネル (イオンチャネル型受容体)： リガンドが結合することで開口 …など
36. イオンチャネルと膜電位 また、K+チャネルにおいては常時開いている直列ポアドメインカリウムチャネル(K2Pチャネル)とい うのも存在します。これにより、静止膜電位はK+の平衡電位に近くなり、負に保たれています (他のイ オンの影響ももちろんあります)。 電位依存性チャネル ： 膜電位の上昇で開口 リガンド依存性チャネル (イオンチャネル型受容体)： リガンドが結合することで開口 …など イオンチャネルは多種多様！ ここに書いているのはこの後の 説明で出てくるものだけです
37. 活動電位の発生 閾値電位 静止膜電位 時間 (ms) 膜電位 (mV) 刺激 いよいよ神経活動の勘所、活動電位の発生についてお話します。細胞間での情報伝達についてはこ の後でお話しますが、とりあえず他の細胞から樹状突起を通して「信号」を受け取ったとします。この 「信号」は細胞体に伝わり、軸索小丘と言う部分で統合されます。ここでは統合された「信号」が膜電 位の上昇を引き起こしたとします。 ここからは ニューロンでのお話です 軸索小丘
38. 活動電位の発生 閾値電位 静止膜電位 時間 (ms) 膜電位 (mV) 刺激 …何も起こらないので、もう少し「信号」を強くしてみましょう。 もう少し…
39. 活動電位の発生 閾値電位 静止膜電位 時間 (ms) 膜電位 (mV) 刺激 膜電位が閾値電位を超えました！このとき電位依存性Na+チャネルの開口割合の上昇により、Na+ の細胞内への急激な流入が起こっています。この現象を脱分極と言います (脱分極の過程においては、 Na+チャネルの開口による膜電位の上昇が次のNa+チャネルの開口を引き起こすという正のフィードバックが生 じていることが重要です)。 ファイヤー！ 活動電位 脱分極
40. 活動電位の発生 閾値電位 静止膜電位 時間 (ms) 膜電位 (mV) 刺激 活動電位 脱分極 しかし、電位依存性Na+チャネルはずっと開いているわけではなく、すぐに閉口します。また、電位 依存性K+チャネルもNa+チャネルと同時に開口しているので、これらの影響により膜電位の低下が 起こります。これを再分極と言います。 きりたんも閉口します 再分極
41. 活動電位の発生 閾値電位 静止膜電位 時間 (ms) 膜電位 (mV) 刺激 活動電位 脱分極 また、この過程において0mVを超えて飛び出す部分をオーバーシュートと言います。 （…オーバーシュートと聞くと発散とは異なり何時かは減少するという意味に思います。昨今のCOVID-19では そういう期待を込めているのでしょうか）。 再分極 オーバーシュート
42. 活動電位の発生 閾値電位 静止膜電位 時間 (ms) 膜電位 (mV) 刺激 活動電位 脱分極 さらに進むと、膜電位は静止膜電位を下回ります。これを過分極と言います。その後、何も「信号」が 無ければ膜電位は静止膜電位へと戻ります。 再分極 オーバーシュート 過分極
43. 活動電位の発生 閾値電位 時間 (ms) 膜電位 (mV) 刺激 活動電位 脱分極 なお、閾値電位ですが、これを超えなければ基本的に活動電位は発生しません。これを全か無かの 法則といいます。要はステップ関数的な応答をするということですね。また、閾値電位は固定された ものではなく、あくまでNa+チャネルの正のフィードバックが引き起こされるのがこの辺り、という ことにも注意してください （逆に言えばNa+チャネルの正のフィードバックが引き起こされれば活動電位は生 じます (cf. Anode break excitation))。 再分極 オーバーシュート 過分極 ステップ関数 (閾値=0)
44. シナプスにおける情報伝達 シナプスは大きく分けて2種類 電気シナプス 化学シナプス さて、これまで他の細胞からの「信号」が伝わる、と言ってきました。この「信号」の伝搬はシナプスに おいて行われます。まず、シナプスには電気シナプスと化学シナプスの2種類があります。
45. シナプスにおける情報伝達 シナプスは大きく分けて2種類 電気シナプス 【機構】 Gap junctionという孔により細胞間でイオンのやり取りを直接的に行う 【利点】 高速な情報伝搬、双方向性による同期活動 化学シナプス 電気シナプスはGap junctionという孔で細胞を物理的に結合させることで形成されています。 Gap junctionを通してイオンのやり取りを直接的に行うことで高速な情報伝搬や同期活動の維 持などに役立っています。余談ですが、心筋細胞もGap junctionにより同期的な収縮が実現でき ていますね。 心筋は ドキドキ同期ですね
46. シナプスにおける情報伝達 シナプスは大きく分けて2種類 電気シナプス 【機構】 Gap junctionという孔により細胞間でイオンのやり取りを直接的に行う 【利点】 高速な情報伝搬、双方向性による同期活動 化学シナプス 【機構】 前細胞から神経伝達物質が放出され、それが後細胞の イオンチャネル型受容体に結合してイオンが流入する 【利点】 出力の興奮性・抑制性を神経伝達物質の種類で調整できる 入出力の大きさを変えやすい(可塑性に富む) …など ただし、中枢神経系でメインとなるのは化学シナプスです。これについてはこの後詳しく説明します が、機構と利点はこのようになっています。電気シナプスの方が早いので良さそうに思いますが、複 雑な処理や学習には化学シナプスが断然有利です。
47. 化学シナプスにおける情報伝達 シナプス小胞 神経伝達物質 アスパラギン酸, グルタミン酸, GABA, グリシン, アセチルコリン, ドパミン, セロトニン など… さて化学シナプスにおける情報伝達の過程を要点だけ説明します。まず、神経終末にはシナプス小 胞という小さな袋が溜まっています。シナプス小胞の中には神経伝達物質と呼ばれる分子が存在し ます。なお、これらは細胞体で作られて神経終末まで運ばれてきたものです。 神経終末 (シナプス前部) シナプス後部
48. 化学シナプスにおける情報伝達 シナプス小胞 神経伝達物質 アスパラギン酸, グルタミン酸, GABA, グリシン, アセチルコリン, ドパミン, セロトニン など… 活動電位が神経終末に到達すると電位依存性Ca2+チャネルが開口し、シナプス前部におけるCa2+ 濃度が上昇します。機序が複雑なので省略しますが、 Ca2+の流入によりシナプス小胞が細胞膜（シ ナプス前膜）と融合し、神経伝達物質がシナプス間隙に放出されます。 神経終末 (シナプス前部) シナプス後部 Ca2+ Ca2+ 電位依存性 Ca2+チャネル シナプス 間隙
49. 化学シナプスにおける情報伝達 シナプス小胞 神経伝達物質 アスパラギン酸, グルタミン酸, GABA, グリシン, アセチルコリン, ドパミン, セロトニン など… 放出された神経伝達物質はイオンチャネル型受容体に結合し、イオンチャネルが開口することでイオ ン(表参照)がシナプス後細胞に流入することによりシナプス電流が発生します。こうして次の細胞へ 神経活動が伝搬します。 神経終末 (シナプス前部) シナプス後部 Ca2+ Ca2+ 電位依存性 Ca2+チャネル シナプス 間隙 イオンチャネル型 受容体 イオン イオン 神経伝達物質 主に流入するイオン 興奮性 (アセチルコリ ン, グルタミン酸など) Na+, K+ 抑制性 (GABA, グリシンなど) Cl－ ※ 例外あります 画面が煩い
50. 化学シナプスにおける情報伝達 余談ですが、シナプス間で伝達されるのは神経活動だけではありません。一部のウイルスはシナプ スを通ってニューロンの間を伝搬します （これを経シナプス感染といいます）。代表的なのは狂犬病 ウイルスで、このウイルスは末梢神経から入り中枢神経に到達します。 神経終末 (シナプス前部) シナプス後部 逆行性に移行 狂犬病ウイルス 犬が狂う、という名の通り 中枢神経系に影響を及ぼす ウイルスですね
51. 化学シナプスにおける情報伝達 狂犬病ウイルスが中枢神経に到達すると種々の神経症状が発症し、ワクチンを接種していなければ確 実に死に至ります。ただ、悪い面だけでなく良い面もあり、この性質を生かして1細胞レベルでの神経 回路の可視化を行う、といったこともされています(もう少し詳しく言うとRABV-Gという増殖などに関与 する蛋白質をコードする遺伝子を欠損させ、GFPなどの蛍光蛋白質をコードする遺伝子をウイルスゲノムに組み込 みます)。 神経終末 (シナプス前部) シナプス後部 逆行性に移行 狂犬病ウイルス 神経回路の可視化には 経シナプストレーサーを使う手法 などもありますね
52. 化学シナプスにおける情報伝達 …ところでなぜこのような話をしているかですが、実は現在、全世界的に感染が広がっている SARS‐CoV2に関連しているためです。SARS‐CoV2もこの経シナプス感染をするという性質を 持ち、肺や気管の末梢神経から侵入し、延髄の呼吸中枢を破壊することで呼吸困難を引き起こして いる可能性があるという報告がされています (Li et al., J Med Virol. 2020)。 神経終末 (シナプス前部) シナプス後部 逆行性に移行？ こっちくんな きりたんだ > SARS‐CoV2
53. ニューロンのモデルについて ニューロン ようやく計算論に 戻ってきました (https://slideplayer.com/slide/6975345/ より改変) さて話を元に戻しまして、ここからはニューロンのモデルについて解説をしていきます。ニューロン のモデルというのは、ニューロンの膜電位変化を表現する数理的モデルという意味です。誤解の無 いように言っておくと、膜電位というのはニューロンの細胞膜に沿って連続的に変化します。
54. ニューロンのモデルについて ニューロン 離散化というのは連続なものを 区切ることを意味します コンピュータは連続な変数を扱えないので、シミュレーションする上では離散化させる必要があるわ けですが、ここでニューロンをコンパートメントと呼ばれる電気的区画で離散化します。各コンパート メントは独立した膜電位などの変数を持っています。 コンパートメント シナプス (https://slideplayer.com/slide/6975345/ より改変)
55. ニューロンのモデルについて ニューロン コンパートメントは 一般的な用語なので注意しましょう （薬理学なんかでも使いますが 異なる文脈です） 軸索小丘だけ あるような形式 マルチコンパートメント モデル シングルコンパートメント モデル (https://slideplayer.com/slide/6975345/ より改変) ニューロンを複数のコンパートメントで離散化させたモデルをマルチコンパートメントモデル、単一 のコンパートメントのみで考えるモデルをシングルコンパートメントモデルと言います。シングルコン パートメントモデルは細胞体、もっと言えば軸索小丘の部分のみが存在しているようなものです。 コンパートメント シナプス
56. ニューロンのモデルについて ニューロン マルチコンパートメントモデルは 扱いが難しいです 軸索小丘だけ あるような形式 マルチコンパートメント モデル シングルコンパートメント モデル 以降の話は簡単にするためにシングルコンパートメントモデルのみを考えます。マルチコンパートメン トモデルを扱いたい人はNEURONなどのシミュレータを用いると良いでしょう （より正確にするために、 電子顕微鏡でニューロンの連続切片を撮影して3次元再構成し、得られたニューロンの3Dモデルを離散化して、さ らにパラメータを遺伝的アルゴリズムで決定する、という手法もあります (Egger et al., Neuron. 2019. など)）。 コンパートメント シナプス
57. Hodgkin-Huxley モデル さて、ニューロンのモデルで最も有名なのはHodgkin-Huxley モデルと呼ばれるものです。この モデルを構築したHodgkin先生とHuxley先生は、Eccles先生と共に1963年のノーベル医学・ 生理学賞を受賞しています。神経生理のレジェンドですね。 (https://www.nobelprize.org/prizes/medicine/1963/summary/ より)
58. Hodgkin-Huxley モデル Hodgkin先生とHuxley先生はヤリイカの巨大軸索を用いた電気生理的実験により、膜電位変化 を微分方程式で書き下すことに成功しました。偉大なのはイオンチャネルの存在も明らかになって いないうちからイオンの通り道を仮定し、後年になって実際にイオンチャネルが発見されたことです。 (https://www.nobelprize.org/prizes/medicine/1963/summary/ より) 詳しく調べれば調べるほど 偉大さを感じますね
59. Hodgkin-Huxley モデル それではHodgkin-Huxley モデルについて見ていきましょう。Hodgkin-Huxley モデルでは このような膜の並列等価回路モデルを仮定します。このモデルでは、ニューロンの細胞膜をコンデン サ、細胞膜に埋まっているイオンチャネルを可変抵抗 (動的に変化する抵抗)として置き換えます。
60. Hodgkin-Huxley モデル イオンチャネルを介した電流はNa+による電流、K+による電流、漏れ (leak)電流を仮定します。漏 れ電流というのは当時何によるものなのか同定されていませんでしたが、現在では主に塩化物イオ ン (クロライドイオン)によるということが分かっています。
61. Hodgkin-Huxley モデル この回路からキルヒホッフの法則により微分方程式を立てるとこのようになります。 キルヒホッフの法則により
62. Hodgkin-Huxley モデル 更に各種パラメータは微分方程式で表されるのですが、動画上で扱うのが（面倒くさい）大変なので、 Jupyter notebookを用意しました。動画の概要欄にGoogle Colabのリンクを貼っています。 キルヒホッフの法則により なげぇ
63. Hodgkin-Huxley モデル Google ColabはブラウザからPythonを記述し実行することができる大変便利なサービスです。 というわけでPythonを使ってHodgkin-Huxley モデルのシミュレーションをしてみましょう。 えっそんな遅い言語使うなって？時代はJuliaだって？弊会の名前、Python会って言うんですよ。Pythonで簡単 に実装できるとこ見せたいじゃないですか。 Google Colabのリンク： https://colab.research.google.com/github/takyamamoto/SNN-from- scratch-with-Python/blob/master/notebook/Hodgkin-Huxley.ipynb
64. Hodgkin-Huxley モデル 下の方にスクロールしていくとPythonのコードが書いてあります。1つ１つのブロックをGoogle Colab (Jupyter notebook) ではセル(cell)と言います。このセルは⌘/Ctrl + Enterで実行す ることができます。 Markdownの セル コードのセル Google Colabのリンク： https://colab.research.google.com/github/takyamamoto/SNN-from- scratch-with-Python/blob/master/notebook/Hodgkin-Huxley.ipynb
65. Hodgkin-Huxley モデル 説明はコードに併記しているので省略しますが、コードを実行していくとこのような結果が得られます。 1段目が膜電位、2段目が入力電流、3段目がイオンチャネルのゲート変数の時間変化を表します。 イオンチャネルのゲート変数の 時間変化 膜電位の時間変化 入力電流の時間変化
66. Hodgkin-Huxley モデル 入力電流が大きくなると、ニューロンの時間当たりの発火回数が増えていくのが見て取れますね。この 時間当たりの発火回数のことを発火率 (firing rate; 単位はHz)と言います。 イオンチャネルのゲート変数の 時間変化 膜電位の時間変化 入力電流の時間変化
67. 発火率 と 発火率-電流曲線 発火率ですが、入力電流を変化させると、どのように変化するのでしょうか。入力電流を変化させ たときの発火率の変化を表す曲線を発火率-電流曲線 (Frequency current curve, F-I curve)またはゲイン関数 (Gain function)と言います (他にも呼び方はあります)。 入力電流 HHモデルの発火率-電流曲線 発 火 率
68. 発火率 と 発火率-電流曲線 示しているグラフはHodgkin-Huxley モデルの発火率-電流曲線です。これもGoogle Colab で実行できるようにnotebookを用意しました (概要欄参照)。さて、注目すべきは曲線の形です。こ の曲線は非線形関数になっていることが見て取れると思います。 入力電流 Google Colabのリンク： https://colab.research.google.com/github/takyamamoto/SNN-from- scratch-with-Python/blob/master/notebook/Hodgkin-Huxley-FIcurve.ipynb 発 火 率 HHモデルの発火率-電流曲線
69. 発火率 と 発火率-電流曲線 線形関数 (linear function)、というのは2次元の場合に限れば直線 (一次関数)の形をしてい ます。非線形関数 (nonlinear function)というのは線形関数ではない曲がった形をしていると いうことですね。 Google Colabのリンク： https://colab.research.google.com/github/takyamamoto/SNN-from- scratch-with-Python/blob/master/notebook/Hodgkin-Huxley-FIcurve.ipynb 線形関数 非線形関数 入力電流 発 火 率 HHモデルの発火率-電流曲線 何とも雑な説明…
70. Type I vs Type Ⅱ ニューロン 余談ですが、発火率-電流曲線に応じてニューロン「のモデル」が2つに分類されてきました。発火率 -電流曲線が連続なモデルはタイプI、不連続なモデルはタイプⅡと呼ばれます。なお、図中の Rheobaseというのは一定電流を印加した場合に膜電位が閾値に到達する最小電流を表します。 Type I Type Ⅱ (https://neuronaldynamics.epfl.ch/online/Ch4.S4.htmlより) 入力電流 Rheobase 発 火 率
71. Type I vs Type Ⅱ ニューロン パラメータにもよりますが、先ほどシミュレーションをしたHodgkin-Huxley モデルはタイプⅡに 分類されますね。なお、タイプⅠとタイプⅡの違いは非線形物理学の位相面解析で理解することが できます （今回は省略します）。 Type I Type Ⅱ (https://neuronaldynamics.epfl.ch/online/Ch4.S4.htmlより) 入力電流 Rheobase 発 火 率
72. 発火率モデル さて、Hodgkin-Huxley モデルはニューロンの膜電位の時間変化を考慮したものでした。一方で、 ニューロンの情報表現を発火率のみに限定し、発火率の時間変化を考えよう、というのが発火率モ デル (firing rate model)です。 もう少し…
73. 発火率モデル 発火率モデルのかなり簡略化した式を書いてみましょう。はい、y=f(x)の形ですね。 = ()
74. 発火率モデル それぞれの文字の意味はこのようになります。Iが入力電流、zがニューロンの発火率です。ここで重 要なのが、 fは発火率-電流曲線 (ゲイン関数)であるということです。 = () 発火率-電流曲線 (ゲイン関数) 発火率 入力電流 発火率-電流曲線 (ゲイン関数) （例 ： 平方根関数） 発 火 率 入力電流 ここ重要です
75. 活性化関数 この後で説明するニューラルネットワークではf(・)としてSigmoid関数やReLU関数と呼ばれる関 数を使ったりします。また、f(・)を活性化関数(activation function)などと呼びます。 Sigmoid関数 ReLU関数 (ランプ関数) = max (0, ) = 1 1 + −
76. 活性化関数 余談ですが、「Sigmoid関数は神経細胞の応答を表す」と一般に言われます。これは不応期が存在 するために発火率が頭打ちになる（saturationする、俗に言う「サチる」）特性を示している、とい う所から来ています。 Sigmoid関数 ReLU関数 (ランプ関数) = max (0, ) = 1 1 + −
77. 活性化関数 確かにこれは正しいのですが、発火率が頭打ちになるというのは電流を印加する実験において求め たものであり、生体内で発火率が頭打ちになるほどの電流が高頻度で流れているとは限りません。 生体内におけるニューロンは多種多様であり、その発火率-応答曲線もニューロンごとに異なります。 Sigmoid関数 ReLU関数 (ランプ関数) = max (0, ) = 1 1 + −
78. 活性化関数 また、入力や係数の大きさによっては頭打ちの度合いを過大にしてしまっている可能性もあります。 詳しく説明はしませんが、抑制性介在ニューロンによるゲイン調整 (ニューラルネットワークだと Batch Normalizationなどのスケーリングに対応)の作用もあります。 Sigmoid関数 ReLU関数 (ランプ関数) = max (0, ) = 1 1 + −
79. 活性化関数 長々と話しましたが、私の意見としては「Sigmoid関数がReLU関数などよりも生理学的」と主張 するのは50歩100歩に近い、ということです。 Sigmoid関数 ReLU関数 (ランプ関数) = max (0, ) = 1 1 + − 色々意見はあると 思いますが…
80. 発火率モデルからニューラルネットワークへ ようやく ニューラルネットワーク！ 1 さて、ようやく準備が整いました。ニューラルネットワークの話に移ります。ただし今後、簡単のために ニューロンの発火率は平均的な発火率を表し、時間に依らないとします。まず、1つのピンク色のニュー ロン (後のためにi番目と番号を付けておきます)がn個のニューロンから投射を受けているとします。 灰色のニューロンの発火率をx j (j=1,2, …, n) とし、シナプスの結合強度(または重み)を w ij (j=1,2, …, n)とします。 1 …
81. 発火率モデルからニューラルネットワークへ 定義が多い ここでj番目の灰色のニューロンからのシナプス後電流の大きさを (I ij =) w ij x j とします。さらにピンク 色のニューロンの発火率をz i , 活性化関数をf(・), Rheobaseに影響するバイアスをb i とします。 1 1 … (⋅)
82. 発火率モデルからニューラルネットワークへ 総和記号が 若干長いですね… 発火率モデルを元に式を立てるとこのようになります。この式がニューラルネットワークにおける1層 の計算となります。なお、層 (layer)とはニューラルネットワークにおいて同時に出力の計算を行う ニューロン群を指します。例えば、灰色のニューロン達は同じ層に含まれますね。 1 1 … (⋅) = ෍ =1 + 総和記号を用いた表記
83. 発火率モデルからニューラルネットワークへ 線形代数はいいぞ 先ほど総和記号を用いましたが、ベクトルと行列を用いた表記にするとこのようになります。ここでピ ンク色のニューロンがm個あるとしておきます。z, bはm次元ベクトルで、xはn次元ベクトル、Wは m×n次元の行列です。総和記号を使うのに比べるとずいぶんとスッキリしますね。 (⋅) = ( + ) ベクトル・行列を用いた表記 ∈ ℝ ∈ ℝ× … ∈ ℝ
84. ディープニューラルネットワーク それでは、ニューラルネットワークを深層ニューラルネットワーク (deep neural network)に拡張 していきましょう。この図はニューラルネットワークの構造を表しており、丸 (ノード)はニューロンを、 線 (エッジ)はシナプス結合を表します。また、縦に並んだニューロンの集合が１つの層に対応します。 ここからは 消化試合ですね 隠れ層 … 入力層 (ℓ = 0) 出力層 (ℓ = ) (ℓ = 1, ⋯ , − 1)
85. ディープニューラルネットワーク いきなり一般化していますが、隠れ層が2つ以上 ( ≥ 4)のニューラルネットワークを深層ニューラル ネットワーク (Deep neural networks)と呼びます。そして、深層ニューラルネットワークを学習さ せる機械学習の手法が深層学習 (Deep Learning)ですね。 隠れ層 … 入力層 (ℓ = 0) 出力層 (ℓ = ) (ℓ = 1, ⋯ , − 1)
86. ディープニューラルネットワーク ニューラルネットワークの入力をx, 出力をyとし、各層の出力をz(l)としましょう。そして緑色枠内の式 に従い、計算を行います。ニューラルネットワークの前向き (feed-forward)の計算はこれだけです。 ℓ+1 = ℓ+1 ℓ + ℓ+1 入力層と出力層は 代入しているだけですね (0) = = () 隠れ層 … 入力層 (ℓ = 0) 出力層 (ℓ = ) (ℓ = 1, ⋯ , − 1) 入力層 ： 隠れ層 ： 出力層 ： ℓ = ℓ ℓ = ℓ
87. ニューラルネットワークの学習 いよいよ大詰め、ニューラルネットワークの学習についてです。「ニューラルネットワークの学習」と いっても色々な手法がありますが、ここではディープラーニングで最も使われている誤差逆伝搬法 (back-propagation)について解説します。…とは言え、そんなに深くは説明しません。誤差逆伝 搬法の解説はネット上に山ほどあります。 疲レタス… きりたんは疲レタスです どうも、キャベツです >
88. 誤差逆伝搬法 (back-propagation) まずは目的関数を定義しましょう。冒頭の方で「機械学習は望ましい関数を得ることが目的」と言い ましたが、望ましさは主に目的関数で決定します。ここでは教師あり学習を考え、出力yと教師信号 y t の二乗誤差を目的関数Lとします。 目的関数 ： ℒ = 1 2 − 2
89. 誤差逆伝搬法 (back-propagation) 重みWを変化させることで目的関数Lを小さくしていきます。ここで用いるのが最急降下法 (Gradient descent; 勾配法の１つ)です。重みWの更新量をΔWとしたときに更新式はこのように なります (ここで偏微分を使っています)。ηは更新する大きさを決定する定数で学習率 (learning rate)と言います。 目的関数 ： ℒ = 1 2 − 2 Δ (ℓ) = − ℒ (ℓ) 最急降下法 ： 世界一分かりづらい 解説ですね
90. 誤差逆伝搬法 (back-propagation) 重みの更新式をどう計算するかですが、これを効率よく計算する手法が誤差逆伝搬法 (back- propagation)です。とは言っても使うのはただの連鎖律です。導出は省略しますが、このような 式に従い、出力層から入力層に向かって重みの更新量を順番に計算することができます。これは誤 差を逆伝搬させることを意味するので、このような名前がついています。 目的関数 ： ℒ = 1 2 − 2 Δ (ℓ) = − ℒ (ℓ) 最急降下法 ： 誤差逆伝搬法 ： ℒ (ℓ) = ℒ (ℓ) (ℓ) (ℓ) (ℓ) (ℓ) = ℓ ℓ−1 T ℒ = ℒ = − (ℓ) = ℒ ℓ (ℓ) (ℓ) = ℓ+1 T ℓ+1 ⨀′ ℓ () = ℒ () () = − ⨀′
91. ニューラルネットワークの学習と脳の学習 最後にニューラルネットワークと脳における学習則を比較してみます。まず、一般論では先ほど述べ た誤差逆伝搬法は脳内に存在しないと言われています。広く知られているのはヘブ則やSTDP (spike timing-dependent plasticity)則などですね (海馬や大脳皮質での話であり、これ以外に も細かい話はありますが、詳しい話は生理学の教科書に書いてあります)。 終わりが 近づいてきました
92. ニューラルネットワークの学習と脳の学習 簡単に説明すると、ヘブ則は「シナプス前細胞(A)の発火がシナプス後細胞(B)を発火させると2つ のニューロンの結合が強まる (LTPが生じる)」という法則です。 https://bsd.neuroinf.jp/wiki/%E3%8 3%98%E3%83%96%E5%89%87 ヘブ則
93. ニューラルネットワークの学習と脳の学習 一方でSTDP則はシナプス前細胞とシナプス後細胞の発火タイミングにより結合の増強(LTP)や減 弱(LTD)が起こるというものです。これはヘブ則に従うものや、逆を示すanti-hebbian型もあり ますね。 https://bsd.neuroinf.jp/wiki/%E3%8 3%98%E3%83%96%E5%89%87 ヘブ則 STDP則 http://www.scholarpedia.org/article/Spike- timing_dependent_plasticity
94. ニューラルネットワークの学習と脳の学習 それで、これらヘブ則やSTDP則と誤差逆伝搬法の何が違うか、というとシナプス結合強度が変化 する範囲です。ヘブ則やSTDP則ではあくまで2つのニューロン間でしかシナプス結合強度が変化 しません。このような学習則をローカルな学習則と呼びます。 ローカルな学習則 ヘブ則 STDP則 …など
95. ニューラルネットワークの学習と脳の学習 一方で、誤差逆伝搬法は層を横断して情報処理に関わるシナプス全てを変化させます。これはグ ローバルな学習則であり、どのシナプスが重要か、という貢献度分配問題 (credit assignment problem)を解決しています。 ローカルな学習則 ヘブ則 STDP則 …など グローバルな学習則 誤差逆伝搬法 …など
96. ニューラルネットワークの学習と脳の学習 従って、現在はローカルな学習則により、如何にしてグローバルな学習則が形成されているのか、ま た新たな学習則はないか、などの研究がされています。今後の研究に期待ですね！ （参考文献として(Richards, Lillicrap, et al. Nat. Neurosci. 2019)を挙げておきます） 雑なまとめサイトみたいな 終わり方はやめろ ローカルな学習則 ヘブ則 STDP則 …など グローバルな学習則 誤差逆伝搬法 …など
97. そうだ研究室に行こう 研究に対する努力は 無限ですよ！ というわけで神経生理学とニューラルネットワークの関係を冗長ではあるものの詳しく説明しまし た。医学部は1年次から研究室がウェルカムと言ってくれるという他学部からすれば何それな感じ なので、興味がある研究室にアポを取って出入りさせてもらいましょう。Python会は研究室に所 属するメンバーが多く、研究に関連する知識や技術などの情報交換もしています。
98. そうだ研究室に行こう ただ、昨今の状況を見るに研究室にすぐ行けるということにはならないと思います。ですので、とり あえず今は勉強に集中していただければと思います。Python会では1年次向けのコンテンツを今 後も発信していくので、興味のある方はご連絡いただければと思います！ 研究室行けないんですけど 実験進まないんですけど とりあえず、勉強しよう
99. 参考文献 • 小澤司，本間研一，大森治紀，他, 編. (2014). 標準生理学(第8版). 医学書院 • Li YC, Bai WZ, Hashikawa T. The neuroinvasive potential of SARS-CoV2 may play a role in the respiratory failure of COVID-19. J Med Virol. 2020. • Egger R, Narayanan RT, Guest JM, et al. Cortical Output Is Gated by Horizontally Projecting Neurons in the Deep Layers. Neuron. 2020. • Richards BA, Lillicrap TP, Beaudoin P, et al. A deep learning framework for neuroscience. Nat Neurosci. 2019.
100. 使用した素材 ＳＤピコピコ東北きりたんver1 https://seiga.nicovideo.jp/seiga/im6346128 BioRender https://biorender.com/ ニューラルネットワークの画像 http://alexlenail.me/NN-SVG/LeNet.html
101. ご視聴ありがとうございました