神経生理学の視点で見るニューラルネットワーク入門

Slide 1

Slide 1 text

神経生理学の視点で見るニューラルネットワーク入門大阪大学医学部Python会代表大阪大学医学部医学科４年次山本拓都この動画は大阪大学医学部Python会の新入生歓迎用動画です。代表の山本と申します。おいおい、ずいぶんかわいらしい声ですねという感じですが、音声はVOICEROIDの東北きりたんを使用しています。

Slide 2

Slide 2 text

神経生理学の視点で見るニューラルネットワーク入門東北きりたんです大阪大学医学部Python会代表大阪大学医学部医学科４年次山本拓都初めは自分の生の声を皆さんの耳にお届けする予定だったのですが、

Slide 3

Slide 3 text

神経生理学の視点で見るニューラルネットワーク入門壁が薄いのじゃ自宅に録音できる環境がなく、録音しても音声にノイズが入りまくりまして、大阪大学医学部Python会代表大阪大学医学部医学科４年次山本拓都

Slide 4

Slide 4 text

神経生理学の視点で見るニューラルネットワーク入門広い家をください大阪大学医学部Python会代表大阪大学医学部医学科４年次山本拓都泣く泣くVOICEROIDを使っています。決して個人的に使いたかったとかではないです。

Slide 5

Slide 5 text

神経生理学の視点で見るニューラルネットワーク入門実名でボイロ動画とか恥ずかしくないんですか？大阪大学医学部Python会代表大阪大学医学部医学科４年次山本拓都さて、今回は『神経生理学の視点で見るニューラルネットワーク入門』ということで、近年世間を席捲しているニューラルネットワークとは何かということや、医学部で学ぶことになる神経生理学などとの関わり合いについて説明していきます。

Slide 6

Slide 6 text

神経生理学の視点で見るニューラルネットワーク入門実名でボイロ動画とか恥ずかしくないんですか？大阪大学医学部Python会代表大阪大学医学部医学科４年次山本拓都先に言っておきますが、本動画は、学部1年次を主な対象としているので、深い内容は避けます (ただし一時停止を推奨します)。というか論文のFigureとかのこういう動画における著作権関係が分からないのですよ…。 < これが時代の最先端です

Slide 7

Slide 7 text

目次 • 機械学習とディープラーニング • ニューラルネットワークと脳 • 脳とニューロンについて • ニューロンのモデルについて • 発火率モデルからニューラルネットワークへ • ニューラルネットワークの学習と脳の学習神経生理の内容薄くないですか？それでは、本題に入っていきます。目次はこんな感じです。１つ１つをまともに解説しようとするとかなり時間がかかるので、超芳醇パンぐらいふわっとした内容しか話しません。＼ﾊｧｲ／

Slide 8

Slide 8 text

目次また、動画の後半における内容はGoogle Colabでコードを動かせるようにしています。リンクは動画の概要を参照してください。 • 機械学習とディープラーニング • ニューラルネットワークと脳 • 脳とニューロンについて • ニューロンのモデルについて • 発火率モデルからニューラルネットワークへ • ニューラルネットワークの学習と脳の学習＼ﾊｧｲ／

Slide 9

Slide 9 text

ディープラーニングでなんとかしてまず、機械学習とディープラーニングについてお話します。ディープラーニングは近年とても人気で、現代社会に苦しむ人々の願望機となっています。実際にGoogleで「ディープラーニングでなんとかして」と検索してみるとこんな感じです。

Slide 10

Slide 10 text

ディープラーニングでなんとかしておぉぅ…

Slide 11

Slide 11 text

ディープラーニングすごいぜ！ディープラーニングなる代物はすごいんだろうなという話ですが、実際にどのようなことができるかというと、画像認識や自動翻訳、画像の生成や変換、囲碁やテレビゲームなどをヒトよりも上手にプレイするなど、様々なタスクに適応することができ、またその性能も高いです。画像認識強化学習画像の生成・変換自動翻訳 (Krizhevsky et al., 2012) 等々…

Slide 12

Slide 12 text

ディープラーニングすごいぜ！歌えるボイスロイドです画像認識強化学習画像の生成・変換自動翻訳 (Krizhevsky et al., 2012) 最近では私、きりたんもディープラーニングの力で上手に歌を歌えるようになりました。また、医療への応用も様々な研究で試みられており (論文の紹介は略します)、将来的には実臨床でも一般的に使用される技術となっていくと思います。等々…

Slide 13

Slide 13 text

機械学習とディープラーニング機械学習 (Machine Learning) データに基づいてコンピュータを学習させ、従来の単純なルール設定による計算などでは困難とされる複雑なタスクの実行を可能にすることを目的する分野ディープラーニング (Deep Learning) 人工ニューラルネットワークを用いた機械学習の１つの手法こんなの説明が長いさて、このディープラーニングは多層の人工ニューラルネットワークを用いる機械学習の手法の1つです。長ったらしい説明になりますが、機械学習とは、データに基づいてコンピュータを学習させ、従来の単純なルール設定による計算などでは困難な複雑なタスクの実行を可能にすることを目標とする学問分野です。

Slide 14

Slide 14 text

機械学習と人工知能 (AI) 研究費の重要性人工知能・AI (Artificial Intelligence) 機械学習 (Machine Learning) ディープラーニング (Deep Learning) 近年では機械学習のことを通俗的に人工知能やAI (artificial intelligence) と呼称する場合も多くあります。正しくは人工知能やAIの部分集合が機械学習ですね (個人的にこれまで機械学習を AIと呼称する人のことを理解できなかったのですが、最近では研究費を取ってくることの大切さを知り、生暖かい目で見ています)。

Slide 15

Slide 15 text

機械学習は望ましい関数を得ることが目的 = () : → または入力写像という呼び方の方が私は好きです出力 → → ある入力に対して望ましいを出力するように関数（あるいは写像）を学習させるモデル機械学習がどういうものなのか、もう少し言葉を付け足します。機械学習のタスクは様々ですが、簡単に言えば、機械学習はある入力xを入れた時に望ましい出力yを生み出すような関数fを得ることを目的とします。関数を言い換えれば写像ですね。

Slide 16

Slide 16 text

機械学習は望ましい関数を得ることが目的 = () : → または入力出力の望ましさは主に目的関数で定義します出力 → → ある入力に対して望ましいを出力するように関数（あるいは写像）を学習させるモデルデータから望ましい関数を得る（モデルを訓練する）ことを「学習」と呼んでいます (一般用語での学習と同一ではないので注意しましょう)。また、ディープラーニングがなぜナウなヤングにバカ受けかというと、十分な学習データを用意すれば他の手法では実現できないような複雑な関数を学習できるためです。この辺は数理的な研究も進んでいますね。

Slide 17

Slide 17 text

例：動物の画像分類タスク機械学習の例として、例えば動物の画像を入力した時に、ネコの画像かイヌの画像かを判別する問題を考えます。この時、このような画像を入力したのであればネコと出力するモデルが望ましいと言えます。猫はかわいい（真理）入力出力 → → モデルネコ (y=1) イヌ (y=0)

Slide 18

Slide 18 text

例：動物の画像分類タスク元画像： Woman Yelling At A Cat 一方でこの画像の右みたいなのはどうしようもないですね。これはダメなモデルであり、適切に学習できていないということになります。

Slide 19

Slide 19 text

習得すべき学問分野この他にも勉強すべきことは多いですがところで、ディープラーニングは確かに凄いのですが、機械学習の手法は幅広く、ディープラーニングだけ勉強しても不十分と言えます。ディープラーニングの勉強をするのは良いことですが、やるのであればそれと並行して数学や統計学、機械学習の他の手法も勉強することをお勧めします。数学 (特に微積分と線形代数) 統計学機械学習の他の手法

Slide 20

Slide 20 text

習得すべき学問分野数学 (特に微積分と線形代数) 統計学機械学習の他の手法数学の勉強をする時間をくださいなんでもディープラーニングに頼るのはよくありません。用法用量を守って正しくお使いください。また、強調しておきますが、1年生のときに学ぶ微積分と線形代数は超重要です。医学の勉強を進めると忘却の彼方へ消え去るのでしっかりやっておきましょう。数学で留年する学生もいるのでね…

Slide 21

Slide 21 text

ニューラルネットワークと脳人工ニューラルネットワーク (Artificial Neural Networks) 脳 (Brain) ＝ ? ここからは脳の話をしますさて、ニューラルネットワークですが、脳の情報処理を模していると言われます。間違いではないのですが、説明が投げやりで混乱をきたしやすいです。この動画では一旦機械学習から離れ、脳とその主な構成要素であるニューロンについて解説した後にニューラルネットワークの話に戻る、という形を取ることにします。

Slide 22

Slide 22 text

脳を構成する細胞神経細胞（ニューロン）神経膠細胞（グリア細胞）ミクログリアアストロサイト …など生物の体の主な構成要素は細胞ですが、脳を主に構成する細胞は神経細胞とグリア細胞に大きく分けられます。神経細胞のことを英語でニューロン (neuron)と言います。グリア細胞 (glia)にはミクログリアやアストロサイトなどの種類があり、重要な働きをしていますが、収集がつかなくなるので本動画では省略します。大脳皮質の1mm3には平均して約5万個のニューロンがあります

Slide 23

Slide 23 text

ニューロンの構造髄鞘 (myelin) 軸索 (axon) 細胞体 (soma) 樹状突起 (dendrite) 私の頭部から出ているのは樹状突起ではありません神経細胞の基本的な形態は次のようになっています。まず、核などの細胞小器官が集まる細胞体という部分があります。その細胞体から細く伸びるのが軸索です。軸索には髄鞘と呼ばれる構造がある場合もあります。細胞体には樹状突起という突起があり、他のニューロンからの入力を受け取っています。

Slide 24

Slide 24 text

ニューロンの構造神経終末 (nerve terminal) シナプス (Synapse) 反対に軸索の先にはニューロンの出力を担う神経終末という部分があります。神経終末が他のニューロンの樹状突起や細胞体などに接合することで生じた構造をシナプスと呼びます。また、樹状突起上の棘状の構造を樹状突起スパインと言い、シナプス入力を受ける場所となっています。まとめると、入出力の経路は青色の矢印のようになります。髄鞘 (myelin) 軸索 (axon) 細胞体 (soma) 樹状突起 (dendrite) 樹状突起スパイン

Slide 25

Slide 25 text

様々なニューロンの形態イカれたメンバーを紹介するぜ！自律神経！以上だ！基本的な形態は先ほど述べたような感じですが、ニューロンは多種多様な形態をしており、発現している蛋白質もその機能も様々です (ここではごく一部しか示していません)。特に興奮性神経細胞の錐体細胞 (pyramidal cell)が有名ですね。この話題も、ここで扱いきれないので省略します。運動ニューロン (motoneuron) 錐体細胞 (pyramidal cell) プルキンエ細胞 (purkinje cell) Multipolar neurons Bipolar neurons 嗅細胞 ※他の基本的な形態としてはUnipolar neurons や Pseudounipolar neuronsなどがあります

Slide 26

Slide 26 text

体液の組成それでは生理学の内容に入っていきましょう。まず、細胞は細胞膜で外部と仕切られていることはご存知でしょう。細胞内の液を細胞内液、外の液を細胞外液と呼びます。細胞外液は間質液と血漿に分けられます。ここでは間質液のみを考えましょう。ニューラルネットワークはどこにいきました…？細胞内液 (40%) 細胞外液 (20%) 間質液 (13%) 血漿 (7%) 固形分 (40%) 体内水分 (60%) ヒトの体 ※ カッコ内は体重に対する割合（標準生理学, 第8版より）

Slide 27

Slide 27 text

細胞内液と間質液のイオン組成細胞内液と間質液ではイオンの組成が異なっており、各イオンはおおよそ表に示すような濃度となっています。細胞内外でイオンの濃度差が生じていますが、これを濃度勾配がある、と言います。また、イオンがこのように不均衡に分布しているのはドナン効果と呼ばれる現象によるものです。電解質細胞内液 (mM) 間質液 (mM) 陽イオン Na+ 5～15 145 K+ 140 5 Ca2+ 10－4 1～2 陰イオン Cl－ 5～30 110 ※1 ： M (モル濃度) = mol / L ※2 ：この他にもイオンはありますが、省略（標準生理学, 第8版より）しばらく生理学が続きます

Slide 28

Slide 28 text

細胞内液と間質液のイオン組成水中の粒子はこの濃度勾配に従い、濃い方から薄い方へ拡散します (これをFickの法則と言います)。しかし、イオンは負の電荷を持つ蛋白質の影響(ドナン効果の原因)により細胞膜を通って細胞内外を自由に行き来することはできません。そのため、細胞膜にはイオンを通したり輸送したりする蛋白質があります。電解質細胞内液 (mM) 間質液 (mM) 陽イオン Na+ 5～15 145 K+ 140 5 Ca2+ 10－4 1～2 陰イオン Cl－ 5～30 110 ※1 ： M (モル濃度) = mol / L ※2 ：この他にもイオンはありますが、省略（標準生理学, 第8版より）

Slide 29

Slide 29 text

イオンチャネルと膜電位細胞膜にあるイオンを通す蛋白質をイオンチャネルと言います。これは単なる孔ではなく、選択的にイオンを通過させます。例えばNa+チャネルはNa+を通しますが、K+などは通過させません。また、 K+はNa+よりも大きいですが、K+チャネルはほとんどK+しか通しません (厳密には1/1000ぐらいの比率で通すので、選択的に透過性が高いと言った方が正確ですね)。 Na+チャネル K+チャネル細胞外細胞内 Na+ Na+ Na+ Na+ Na+ K+ K+ K+ K+ K+ K+ K+ まだ、一般の細胞についての話です

Slide 30

Slide 30 text

イオンチャネルと膜電位この選択的にイオンを通す、というのが細胞内外の電位差を生みだしています。生じる電位差を膜電位といい、細胞外を基準 (V=0)としたときの細胞内の電位を表します。細胞外を基準にするのは細胞内に比べてイオン濃度の変動が少ないからですね。 (0 mV) 細胞外細胞内 Na+ Na+ Na+ Na+ Na+ K+ K+ K+ K+ K+ K+ K+ Na+チャネル K+チャネル

Slide 31

Slide 31 text

イオンチャネルと膜電位膜電位は、イオンチャネルの選択的透過性と濃度勾配によって生じています。メカニズムを考えるために初めは細胞内外のイオンの電荷のバランスが取れているとしましょう。膜電位発生のメカニズム（初めの電位差は0とし, K+チャネルの場合を考えます） K+ (100個) 細胞外細胞内 K+ (10個) Na+ (100個) Na+ (10個) Cl－ (110個) Cl－ (110個) = 電荷の合計 ±0 ±0

Slide 32

Slide 32 text

イオンチャネルと膜電位濃度勾配によりK+チャネルを通ってK+が細胞外に移動すると正の電荷が細胞外に蓄積します。あとはコンデンサ（キャパシタ）と同じ原理で、電荷をQ, 膜容量をCとすると、電位差V=Q/Cが生じます。膜電位発生のメカニズム（初めの電位差は0とし, K+チャネルの場合を考えます） K+ (80個) 細胞外細胞内 K+ (30個) Na+ (100個) Na+ (10個) Cl－ (110個) Cl－ (110個) > 電荷の合計 +20 －20

Slide 33

Slide 33 text

イオンチャネルと膜電位しかし、この生じた電位差はK+を押し戻す働きがあります。なのでイオンチャネルを通るK+には電位差 (電気的勾配)による力と濃度勾配による力の2つが加わります (正しくは力というよりは傾向ですが)。両者の力がつり合ったところで生じている電位差を平衡電位と言います。膜電位発生のメカニズム（初めの電位差は0とし, K+チャネルの場合を考えます） K+ (90個) 細胞外細胞内 K+ (20個) Na+ (100個) Na+ (10個) Cl－ (110個) Cl－ (110個) > 電荷の合計 +10 －10 K+ 濃度勾配電気的勾配

Slide 34

Slide 34 text

イオンチャネルと膜電位名前だけ紹介しますが、この平衡電位を計算する式をNernstの式と言います。さらに同様の議論を全てのイオンに対して行うことで得られる、全てのイオンの見かけ上の移動がなくなる電位(つまりイオン電流の総和が0となる電位)を静止膜電位と呼びます。この計算にはGoldman-Hodgkin- Katzの式 (GHK方程式) を用います。膜電位発生のメカニズム（初めの電位差は0とし, K+チャネルの場合を考えます） K+ (90個) 細胞外細胞内 K+ (20個) Na+ (100個) Na+ (10個) Cl－ (110個) Cl－ (110個) > 電荷の合計 +10 －10 K+ 濃度勾配電気的勾配

Slide 35

Slide 35 text

イオンチャネルと膜電位さて、イオンチャネルが開口する要因ですが、これはチャネルごとに異なります。チャネルの種類は色々ですが、膜電位の上昇で開口する電位依存性チャネルやリガンド(受容体と結合する分子)が結合することで開口するリガンド依存性チャネルなどがあります。これらは神経活動の構築に大きく関与してきます。電位依存性チャネル：膜電位の上昇で開口リガンド依存性チャネル (イオンチャネル型受容体)：リガンドが結合することで開口 …など

Slide 36

Slide 36 text

イオンチャネルと膜電位また、K+チャネルにおいては常時開いている直列ポアドメインカリウムチャネル(K2Pチャネル)というのも存在します。これにより、静止膜電位はK+の平衡電位に近くなり、負に保たれています (他のイオンの影響ももちろんあります)。電位依存性チャネル：膜電位の上昇で開口リガンド依存性チャネル (イオンチャネル型受容体)：リガンドが結合することで開口 …などイオンチャネルは多種多様！ここに書いているのはこの後の説明で出てくるものだけです

Slide 37

Slide 37 text

活動電位の発生閾値電位静止膜電位時間 (ms) 膜電位 (mV) 刺激いよいよ神経活動の勘所、活動電位の発生についてお話します。細胞間での情報伝達についてはこの後でお話しますが、とりあえず他の細胞から樹状突起を通して「信号」を受け取ったとします。この「信号」は細胞体に伝わり、軸索小丘と言う部分で統合されます。ここでは統合された「信号」が膜電位の上昇を引き起こしたとします。ここからはニューロンでのお話です軸索小丘

Slide 38

Slide 38 text

活動電位の発生閾値電位静止膜電位時間 (ms) 膜電位 (mV) 刺激 …何も起こらないので、もう少し「信号」を強くしてみましょう。もう少し…

Slide 39

Slide 39 text

活動電位の発生閾値電位静止膜電位時間 (ms) 膜電位 (mV) 刺激膜電位が閾値電位を超えました！このとき電位依存性Na+チャネルの開口割合の上昇により、Na+ の細胞内への急激な流入が起こっています。この現象を脱分極と言います (脱分極の過程においては、 Na+チャネルの開口による膜電位の上昇が次のNa+チャネルの開口を引き起こすという正のフィードバックが生じていることが重要です)。ファイヤー！活動電位脱分極

Slide 40

Slide 40 text

活動電位の発生閾値電位静止膜電位時間 (ms) 膜電位 (mV) 刺激活動電位脱分極しかし、電位依存性Na+チャネルはずっと開いているわけではなく、すぐに閉口します。また、電位依存性K+チャネルもNa+チャネルと同時に開口しているので、これらの影響により膜電位の低下が起こります。これを再分極と言います。きりたんも閉口します再分極

Slide 41

Slide 41 text

活動電位の発生閾値電位静止膜電位時間 (ms) 膜電位 (mV) 刺激活動電位脱分極また、この過程において0mVを超えて飛び出す部分をオーバーシュートと言います。（…オーバーシュートと聞くと発散とは異なり何時かは減少するという意味に思います。昨今のCOVID-19ではそういう期待を込めているのでしょうか）。再分極オーバーシュート

Slide 42

Slide 42 text

活動電位の発生閾値電位静止膜電位時間 (ms) 膜電位 (mV) 刺激活動電位脱分極さらに進むと、膜電位は静止膜電位を下回ります。これを過分極と言います。その後、何も「信号」が無ければ膜電位は静止膜電位へと戻ります。再分極オーバーシュート過分極

Slide 43

Slide 43 text

活動電位の発生閾値電位時間 (ms) 膜電位 (mV) 刺激活動電位脱分極なお、閾値電位ですが、これを超えなければ基本的に活動電位は発生しません。これを全か無かの法則といいます。要はステップ関数的な応答をするということですね。また、閾値電位は固定されたものではなく、あくまでNa+チャネルの正のフィードバックが引き起こされるのがこの辺り、ということにも注意してください（逆に言えばNa+チャネルの正のフィードバックが引き起こされれば活動電位は生じます (cf. Anode break excitation))。再分極オーバーシュート過分極ステップ関数 (閾値=0)

Slide 44

Slide 44 text

シナプスにおける情報伝達シナプスは大きく分けて2種類電気シナプス化学シナプスさて、これまで他の細胞からの「信号」が伝わる、と言ってきました。この「信号」の伝搬はシナプスにおいて行われます。まず、シナプスには電気シナプスと化学シナプスの2種類があります。

Slide 45

Slide 45 text

シナプスにおける情報伝達シナプスは大きく分けて2種類電気シナプス【機構】 Gap junctionという孔により細胞間でイオンのやり取りを直接的に行う【利点】高速な情報伝搬、双方向性による同期活動化学シナプス電気シナプスはGap junctionという孔で細胞を物理的に結合させることで形成されています。 Gap junctionを通してイオンのやり取りを直接的に行うことで高速な情報伝搬や同期活動の維持などに役立っています。余談ですが、心筋細胞もGap junctionにより同期的な収縮が実現できていますね。心筋はドキドキ同期ですね

Slide 46

Slide 46 text

シナプスにおける情報伝達シナプスは大きく分けて2種類電気シナプス【機構】 Gap junctionという孔により細胞間でイオンのやり取りを直接的に行う【利点】高速な情報伝搬、双方向性による同期活動化学シナプス【機構】前細胞から神経伝達物質が放出され、それが後細胞のイオンチャネル型受容体に結合してイオンが流入する【利点】出力の興奮性・抑制性を神経伝達物質の種類で調整できる入出力の大きさを変えやすい(可塑性に富む) …などただし、中枢神経系でメインとなるのは化学シナプスです。これについてはこの後詳しく説明しますが、機構と利点はこのようになっています。電気シナプスの方が早いので良さそうに思いますが、複雑な処理や学習には化学シナプスが断然有利です。

Slide 47

Slide 47 text

化学シナプスにおける情報伝達シナプス小胞神経伝達物質アスパラギン酸, グルタミン酸, GABA, グリシン, アセチルコリン, ドパミン, セロトニンなど… さて化学シナプスにおける情報伝達の過程を要点だけ説明します。まず、神経終末にはシナプス小胞という小さな袋が溜まっています。シナプス小胞の中には神経伝達物質と呼ばれる分子が存在します。なお、これらは細胞体で作られて神経終末まで運ばれてきたものです。神経終末 (シナプス前部) シナプス後部

Slide 48

Slide 48 text

化学シナプスにおける情報伝達シナプス小胞神経伝達物質アスパラギン酸, グルタミン酸, GABA, グリシン, アセチルコリン, ドパミン, セロトニンなど… 活動電位が神経終末に到達すると電位依存性Ca2+チャネルが開口し、シナプス前部におけるCa2+ 濃度が上昇します。機序が複雑なので省略しますが、 Ca2+の流入によりシナプス小胞が細胞膜（シナプス前膜）と融合し、神経伝達物質がシナプス間隙に放出されます。神経終末 (シナプス前部) シナプス後部 Ca2+ Ca2+ 電位依存性 Ca2+チャネルシナプス間隙

Slide 49

Slide 49 text

化学シナプスにおける情報伝達シナプス小胞神経伝達物質アスパラギン酸, グルタミン酸, GABA, グリシン, アセチルコリン, ドパミン, セロトニンなど… 放出された神経伝達物質はイオンチャネル型受容体に結合し、イオンチャネルが開口することでイオン(表参照)がシナプス後細胞に流入することによりシナプス電流が発生します。こうして次の細胞へ神経活動が伝搬します。神経終末 (シナプス前部) シナプス後部 Ca2+ Ca2+ 電位依存性 Ca2+チャネルシナプス間隙イオンチャネル型受容体イオンイオン神経伝達物質主に流入するイオン興奮性 (アセチルコリン, グルタミン酸など) Na+, K+ 抑制性 (GABA, グリシンなど) Cl－ ※ 例外あります画面が煩い

Slide 50

Slide 50 text

化学シナプスにおける情報伝達余談ですが、シナプス間で伝達されるのは神経活動だけではありません。一部のウイルスはシナプスを通ってニューロンの間を伝搬します（これを経シナプス感染といいます）。代表的なのは狂犬病ウイルスで、このウイルスは末梢神経から入り中枢神経に到達します。神経終末 (シナプス前部) シナプス後部逆行性に移行狂犬病ウイルス犬が狂う、という名の通り中枢神経系に影響を及ぼすウイルスですね

Slide 51

Slide 51 text

化学シナプスにおける情報伝達狂犬病ウイルスが中枢神経に到達すると種々の神経症状が発症し、ワクチンを接種していなければ確実に死に至ります。ただ、悪い面だけでなく良い面もあり、この性質を生かして1細胞レベルでの神経回路の可視化を行う、といったこともされています(もう少し詳しく言うとRABV-Gという増殖などに関与する蛋白質をコードする遺伝子を欠損させ、GFPなどの蛍光蛋白質をコードする遺伝子をウイルスゲノムに組み込みます)。神経終末 (シナプス前部) シナプス後部逆行性に移行狂犬病ウイルス神経回路の可視化には経シナプストレーサーを使う手法などもありますね

Slide 52

Slide 52 text

化学シナプスにおける情報伝達 …ところでなぜこのような話をしているかですが、実は現在、全世界的に感染が広がっている SARS‐CoV2に関連しているためです。SARS‐CoV2もこの経シナプス感染をするという性質を持ち、肺や気管の末梢神経から侵入し、延髄の呼吸中枢を破壊することで呼吸困難を引き起こしている可能性があるという報告がされています (Li et al., J Med Virol. 2020)。神経終末 (シナプス前部) シナプス後部逆行性に移行？こっちくんなきりたんだ > SARS‐CoV2

Slide 53

Slide 53 text

ニューロンのモデルについてニューロンようやく計算論に戻ってきました (https://slideplayer.com/slide/6975345/ より改変) さて話を元に戻しまして、ここからはニューロンのモデルについて解説をしていきます。ニューロンのモデルというのは、ニューロンの膜電位変化を表現する数理的モデルという意味です。誤解の無いように言っておくと、膜電位というのはニューロンの細胞膜に沿って連続的に変化します。

Slide 54

Slide 54 text

ニューロンのモデルについてニューロン離散化というのは連続なものを区切ることを意味しますコンピュータは連続な変数を扱えないので、シミュレーションする上では離散化させる必要があるわけですが、ここでニューロンをコンパートメントと呼ばれる電気的区画で離散化します。各コンパートメントは独立した膜電位などの変数を持っています。コンパートメントシナプス (https://slideplayer.com/slide/6975345/ より改変)

Slide 55

Slide 55 text

ニューロンのモデルについてニューロンコンパートメントは一般的な用語なので注意しましょう（薬理学なんかでも使いますが異なる文脈です）軸索小丘だけあるような形式マルチコンパートメントモデルシングルコンパートメントモデル (https://slideplayer.com/slide/6975345/ より改変) ニューロンを複数のコンパートメントで離散化させたモデルをマルチコンパートメントモデル、単一のコンパートメントのみで考えるモデルをシングルコンパートメントモデルと言います。シングルコンパートメントモデルは細胞体、もっと言えば軸索小丘の部分のみが存在しているようなものです。コンパートメントシナプス

Slide 56

Slide 56 text

ニューロンのモデルについてニューロンマルチコンパートメントモデルは扱いが難しいです軸索小丘だけあるような形式マルチコンパートメントモデルシングルコンパートメントモデル以降の話は簡単にするためにシングルコンパートメントモデルのみを考えます。マルチコンパートメントモデルを扱いたい人はNEURONなどのシミュレータを用いると良いでしょう（より正確にするために、電子顕微鏡でニューロンの連続切片を撮影して3次元再構成し、得られたニューロンの3Dモデルを離散化して、さらにパラメータを遺伝的アルゴリズムで決定する、という手法もあります (Egger et al., Neuron. 2019. など)）。コンパートメントシナプス

Slide 57

Slide 57 text

Hodgkin-Huxley モデルさて、ニューロンのモデルで最も有名なのはHodgkin-Huxley モデルと呼ばれるものです。このモデルを構築したHodgkin先生とHuxley先生は、Eccles先生と共に1963年のノーベル医学・生理学賞を受賞しています。神経生理のレジェンドですね。 (https://www.nobelprize.org/prizes/medicine/1963/summary/ より)

Slide 58

Slide 58 text

Hodgkin-Huxley モデル Hodgkin先生とHuxley先生はヤリイカの巨大軸索を用いた電気生理的実験により、膜電位変化を微分方程式で書き下すことに成功しました。偉大なのはイオンチャネルの存在も明らかになっていないうちからイオンの通り道を仮定し、後年になって実際にイオンチャネルが発見されたことです。 (https://www.nobelprize.org/prizes/medicine/1963/summary/ より) 詳しく調べれば調べるほど偉大さを感じますね

Slide 59

Slide 59 text

Hodgkin-Huxley モデルそれではHodgkin-Huxley モデルについて見ていきましょう。Hodgkin-Huxley モデルではこのような膜の並列等価回路モデルを仮定します。このモデルでは、ニューロンの細胞膜をコンデンサ、細胞膜に埋まっているイオンチャネルを可変抵抗 (動的に変化する抵抗)として置き換えます。

Slide 60

Slide 60 text

Hodgkin-Huxley モデルイオンチャネルを介した電流はNa+による電流、K+による電流、漏れ (leak)電流を仮定します。漏れ電流というのは当時何によるものなのか同定されていませんでしたが、現在では主に塩化物イオン (クロライドイオン)によるということが分かっています。

Slide 61

Slide 61 text

Hodgkin-Huxley モデルこの回路からキルヒホッフの法則により微分方程式を立てるとこのようになります。キルヒホッフの法則により

Slide 62

Slide 62 text

Hodgkin-Huxley モデル更に各種パラメータは微分方程式で表されるのですが、動画上で扱うのが（面倒くさい）大変なので、 Jupyter notebookを用意しました。動画の概要欄にGoogle Colabのリンクを貼っています。キルヒホッフの法則によりなげぇ

Slide 63

Slide 63 text

Hodgkin-Huxley モデル Google ColabはブラウザからPythonを記述し実行することができる大変便利なサービスです。というわけでPythonを使ってHodgkin-Huxley モデルのシミュレーションをしてみましょう。えっそんな遅い言語使うなって？時代はJuliaだって？弊会の名前、Python会って言うんですよ。Pythonで簡単に実装できるとこ見せたいじゃないですか。 Google Colabのリンク： https://colab.research.google.com/github/takyamamoto/SNN-from- scratch-with-Python/blob/master/notebook/Hodgkin-Huxley.ipynb

Slide 64

Slide 64 text

Hodgkin-Huxley モデル下の方にスクロールしていくとPythonのコードが書いてあります。1つ１つのブロックをGoogle Colab (Jupyter notebook) ではセル(cell)と言います。このセルは⌘/Ctrl + Enterで実行することができます。 Markdownのセルコードのセル Google Colabのリンク： https://colab.research.google.com/github/takyamamoto/SNN-from- scratch-with-Python/blob/master/notebook/Hodgkin-Huxley.ipynb

Slide 65

Slide 65 text

Hodgkin-Huxley モデル説明はコードに併記しているので省略しますが、コードを実行していくとこのような結果が得られます。 1段目が膜電位、2段目が入力電流、3段目がイオンチャネルのゲート変数の時間変化を表します。イオンチャネルのゲート変数の時間変化膜電位の時間変化入力電流の時間変化

Slide 66

Slide 66 text

Hodgkin-Huxley モデル入力電流が大きくなると、ニューロンの時間当たりの発火回数が増えていくのが見て取れますね。この時間当たりの発火回数のことを発火率 (firing rate; 単位はHz)と言います。イオンチャネルのゲート変数の時間変化膜電位の時間変化入力電流の時間変化

Slide 67

Slide 67 text

発火率と発火率-電流曲線発火率ですが、入力電流を変化させると、どのように変化するのでしょうか。入力電流を変化させたときの発火率の変化を表す曲線を発火率-電流曲線 (Frequency current curve, F-I curve)またはゲイン関数 (Gain function)と言います (他にも呼び方はあります)。入力電流 HHモデルの発火率-電流曲線発火率

Slide 68

Slide 68 text

発火率と発火率-電流曲線示しているグラフはHodgkin-Huxley モデルの発火率-電流曲線です。これもGoogle Colab で実行できるようにnotebookを用意しました (概要欄参照)。さて、注目すべきは曲線の形です。この曲線は非線形関数になっていることが見て取れると思います。入力電流 Google Colabのリンク： https://colab.research.google.com/github/takyamamoto/SNN-from- scratch-with-Python/blob/master/notebook/Hodgkin-Huxley-FIcurve.ipynb 発火率 HHモデルの発火率-電流曲線

Slide 69

Slide 69 text

発火率と発火率-電流曲線線形関数 (linear function)、というのは2次元の場合に限れば直線 (一次関数)の形をしています。非線形関数 (nonlinear function)というのは線形関数ではない曲がった形をしているということですね。 Google Colabのリンク： https://colab.research.google.com/github/takyamamoto/SNN-from- scratch-with-Python/blob/master/notebook/Hodgkin-Huxley-FIcurve.ipynb 線形関数非線形関数入力電流発火率 HHモデルの発火率-電流曲線何とも雑な説明…

Slide 70

Slide 70 text

Type I vs Type Ⅱ ニューロン余談ですが、発火率-電流曲線に応じてニューロン「のモデル」が2つに分類されてきました。発火率 -電流曲線が連続なモデルはタイプI、不連続なモデルはタイプⅡと呼ばれます。なお、図中の Rheobaseというのは一定電流を印加した場合に膜電位が閾値に到達する最小電流を表します。 Type I Type Ⅱ (https://neuronaldynamics.epfl.ch/online/Ch4.S4.htmlより) 入力電流 Rheobase 発火率

Slide 71

Slide 71 text

Type I vs Type Ⅱ ニューロンパラメータにもよりますが、先ほどシミュレーションをしたHodgkin-Huxley モデルはタイプⅡに分類されますね。なお、タイプⅠとタイプⅡの違いは非線形物理学の位相面解析で理解することができます（今回は省略します）。 Type I Type Ⅱ (https://neuronaldynamics.epfl.ch/online/Ch4.S4.htmlより) 入力電流 Rheobase 発火率

Slide 72

Slide 72 text

発火率モデルさて、Hodgkin-Huxley モデルはニューロンの膜電位の時間変化を考慮したものでした。一方で、ニューロンの情報表現を発火率のみに限定し、発火率の時間変化を考えよう、というのが発火率モデル (firing rate model)です。もう少し…

Slide 73

Slide 73 text

発火率モデル発火率モデルのかなり簡略化した式を書いてみましょう。はい、y=f(x)の形ですね。 = ()

Slide 74

Slide 74 text

発火率モデルそれぞれの文字の意味はこのようになります。Iが入力電流、zがニューロンの発火率です。ここで重要なのが、 fは発火率-電流曲線 (ゲイン関数)であるということです。 = () 発火率-電流曲線 (ゲイン関数) 発火率入力電流発火率-電流曲線 (ゲイン関数) （例：平方根関数）発火率入力電流ここ重要です

Slide 75

Slide 75 text

活性化関数この後で説明するニューラルネットワークではf(・)としてSigmoid関数やReLU関数と呼ばれる関数を使ったりします。また、f(・)を活性化関数(activation function)などと呼びます。 Sigmoid関数 ReLU関数 (ランプ関数) = max (0, ) = 1 1 + −

Slide 76

Slide 76 text

活性化関数余談ですが、「Sigmoid関数は神経細胞の応答を表す」と一般に言われます。これは不応期が存在するために発火率が頭打ちになる（saturationする、俗に言う「サチる」）特性を示している、という所から来ています。 Sigmoid関数 ReLU関数 (ランプ関数) = max (0, ) = 1 1 + −

Slide 77

Slide 77 text

活性化関数確かにこれは正しいのですが、発火率が頭打ちになるというのは電流を印加する実験において求めたものであり、生体内で発火率が頭打ちになるほどの電流が高頻度で流れているとは限りません。生体内におけるニューロンは多種多様であり、その発火率-応答曲線もニューロンごとに異なります。 Sigmoid関数 ReLU関数 (ランプ関数) = max (0, ) = 1 1 + −

Slide 78

Slide 78 text

活性化関数また、入力や係数の大きさによっては頭打ちの度合いを過大にしてしまっている可能性もあります。詳しく説明はしませんが、抑制性介在ニューロンによるゲイン調整 (ニューラルネットワークだと Batch Normalizationなどのスケーリングに対応)の作用もあります。 Sigmoid関数 ReLU関数 (ランプ関数) = max (0, ) = 1 1 + −

Slide 79

Slide 79 text

活性化関数長々と話しましたが、私の意見としては「Sigmoid関数がReLU関数などよりも生理学的」と主張するのは50歩100歩に近い、ということです。 Sigmoid関数 ReLU関数 (ランプ関数) = max (0, ) = 1 1 + − 色々意見はあると思いますが…

Slide 80

Slide 80 text

発火率モデルからニューラルネットワークへようやくニューラルネットワーク！ 1 さて、ようやく準備が整いました。ニューラルネットワークの話に移ります。ただし今後、簡単のためにニューロンの発火率は平均的な発火率を表し、時間に依らないとします。まず、1つのピンク色のニューロン (後のためにi番目と番号を付けておきます)がn個のニューロンから投射を受けているとします。灰色のニューロンの発火率をx j (j=1,2, …, n) とし、シナプスの結合強度(または重み)を w ij (j=1,2, …, n)とします。 1 …

Slide 81

Slide 81 text

発火率モデルからニューラルネットワークへ定義が多いここでj番目の灰色のニューロンからのシナプス後電流の大きさを (I ij =) w ij x j とします。さらにピンク色のニューロンの発火率をz i , 活性化関数をf(・), Rheobaseに影響するバイアスをb i とします。 1 1 … (⋅)

Slide 82

Slide 82 text

発火率モデルからニューラルネットワークへ総和記号が若干長いですね… 発火率モデルを元に式を立てるとこのようになります。この式がニューラルネットワークにおける1層の計算となります。なお、層 (layer)とはニューラルネットワークにおいて同時に出力の計算を行うニューロン群を指します。例えば、灰色のニューロン達は同じ層に含まれますね。 1 1 … (⋅) = ෍ =1 + 総和記号を用いた表記

Slide 83

Slide 83 text

発火率モデルからニューラルネットワークへ線形代数はいいぞ先ほど総和記号を用いましたが、ベクトルと行列を用いた表記にするとこのようになります。ここでピンク色のニューロンがm個あるとしておきます。z, bはm次元ベクトルで、xはn次元ベクトル、Wは m×n次元の行列です。総和記号を使うのに比べるとずいぶんとスッキリしますね。 (⋅) = ( + ) ベクトル・行列を用いた表記 ∈ ℝ ∈ ℝ× … ∈ ℝ

Slide 84

Slide 84 text

ディープニューラルネットワークそれでは、ニューラルネットワークを深層ニューラルネットワーク (deep neural network)に拡張していきましょう。この図はニューラルネットワークの構造を表しており、丸 (ノード)はニューロンを、線 (エッジ)はシナプス結合を表します。また、縦に並んだニューロンの集合が１つの層に対応します。ここからは消化試合ですね隠れ層 … 入力層 (ℓ = 0) 出力層 (ℓ = ) (ℓ = 1, ⋯ , − 1)

Slide 85

Slide 85 text

ディープニューラルネットワークいきなり一般化していますが、隠れ層が2つ以上 ( ≥ 4)のニューラルネットワークを深層ニューラルネットワーク (Deep neural networks)と呼びます。そして、深層ニューラルネットワークを学習させる機械学習の手法が深層学習 (Deep Learning)ですね。隠れ層 … 入力層 (ℓ = 0) 出力層 (ℓ = ) (ℓ = 1, ⋯ , − 1)

Slide 86

Slide 86 text

ディープニューラルネットワークニューラルネットワークの入力をx, 出力をyとし、各層の出力をz(l)としましょう。そして緑色枠内の式に従い、計算を行います。ニューラルネットワークの前向き (feed-forward)の計算はこれだけです。 ℓ+1 = ℓ+1 ℓ + ℓ+1 入力層と出力層は代入しているだけですね (0) = = () 隠れ層 … 入力層 (ℓ = 0) 出力層 (ℓ = ) (ℓ = 1, ⋯ , − 1) 入力層：隠れ層：出力層： ℓ = ℓ ℓ = ℓ

Slide 87

Slide 87 text

ニューラルネットワークの学習いよいよ大詰め、ニューラルネットワークの学習についてです。「ニューラルネットワークの学習」といっても色々な手法がありますが、ここではディープラーニングで最も使われている誤差逆伝搬法 (back-propagation)について解説します。…とは言え、そんなに深くは説明しません。誤差逆伝搬法の解説はネット上に山ほどあります。疲レタス… きりたんは疲レタスですどうも、キャベツです >

Slide 88

Slide 88 text

誤差逆伝搬法 (back-propagation) まずは目的関数を定義しましょう。冒頭の方で「機械学習は望ましい関数を得ることが目的」と言いましたが、望ましさは主に目的関数で決定します。ここでは教師あり学習を考え、出力yと教師信号 y t の二乗誤差を目的関数Lとします。目的関数： ℒ = 1 2 − 2

Slide 89

Slide 89 text

誤差逆伝搬法 (back-propagation) 重みWを変化させることで目的関数Lを小さくしていきます。ここで用いるのが最急降下法 (Gradient descent; 勾配法の１つ)です。重みWの更新量をΔWとしたときに更新式はこのようになります (ここで偏微分を使っています)。ηは更新する大きさを決定する定数で学習率 (learning rate)と言います。目的関数： ℒ = 1 2 − 2 Δ (ℓ) = − ℒ (ℓ) 最急降下法：世界一分かりづらい解説ですね

Slide 90

Slide 90 text

誤差逆伝搬法 (back-propagation) 重みの更新式をどう計算するかですが、これを効率よく計算する手法が誤差逆伝搬法 (back- propagation)です。とは言っても使うのはただの連鎖律です。導出は省略しますが、このような式に従い、出力層から入力層に向かって重みの更新量を順番に計算することができます。これは誤差を逆伝搬させることを意味するので、このような名前がついています。目的関数： ℒ = 1 2 − 2 Δ (ℓ) = − ℒ (ℓ) 最急降下法：誤差逆伝搬法： ℒ (ℓ) = ℒ (ℓ) (ℓ) (ℓ) (ℓ) (ℓ) = ℓ ℓ−1 T ℒ = ℒ = − (ℓ) = ℒ ℓ (ℓ) (ℓ) = ℓ+1 T ℓ+1 ⨀′ ℓ () = ℒ () () = − ⨀′

Slide 91

Slide 91 text

ニューラルネットワークの学習と脳の学習最後にニューラルネットワークと脳における学習則を比較してみます。まず、一般論では先ほど述べた誤差逆伝搬法は脳内に存在しないと言われています。広く知られているのはヘブ則やSTDP (spike timing-dependent plasticity)則などですね (海馬や大脳皮質での話であり、これ以外にも細かい話はありますが、詳しい話は生理学の教科書に書いてあります)。終わりが近づいてきました

Slide 92

Slide 92 text

ニューラルネットワークの学習と脳の学習簡単に説明すると、ヘブ則は「シナプス前細胞(A)の発火がシナプス後細胞(B)を発火させると2つのニューロンの結合が強まる (LTPが生じる)」という法則です。 https://bsd.neuroinf.jp/wiki/%E3%8 3%98%E3%83%96%E5%89%87 ヘブ則

Slide 93

Slide 93 text

ニューラルネットワークの学習と脳の学習一方でSTDP則はシナプス前細胞とシナプス後細胞の発火タイミングにより結合の増強(LTP)や減弱(LTD)が起こるというものです。これはヘブ則に従うものや、逆を示すanti-hebbian型もありますね。 https://bsd.neuroinf.jp/wiki/%E3%8 3%98%E3%83%96%E5%89%87 ヘブ則 STDP則 http://www.scholarpedia.org/article/Spike- timing_dependent_plasticity

Slide 94

Slide 94 text

ニューラルネットワークの学習と脳の学習それで、これらヘブ則やSTDP則と誤差逆伝搬法の何が違うか、というとシナプス結合強度が変化する範囲です。ヘブ則やSTDP則ではあくまで2つのニューロン間でしかシナプス結合強度が変化しません。このような学習則をローカルな学習則と呼びます。ローカルな学習則ヘブ則 STDP則 …など

Slide 95

Slide 95 text

ニューラルネットワークの学習と脳の学習一方で、誤差逆伝搬法は層を横断して情報処理に関わるシナプス全てを変化させます。これはグローバルな学習則であり、どのシナプスが重要か、という貢献度分配問題 (credit assignment problem)を解決しています。ローカルな学習則ヘブ則 STDP則 …などグローバルな学習則誤差逆伝搬法 …など

Slide 96

Slide 96 text

ニューラルネットワークの学習と脳の学習従って、現在はローカルな学習則により、如何にしてグローバルな学習則が形成されているのか、また新たな学習則はないか、などの研究がされています。今後の研究に期待ですね！（参考文献として(Richards, Lillicrap, et al. Nat. Neurosci. 2019)を挙げておきます）雑なまとめサイトみたいな終わり方はやめろローカルな学習則ヘブ則 STDP則 …などグローバルな学習則誤差逆伝搬法 …など

Slide 97

Slide 97 text

そうだ研究室に行こう研究に対する努力は無限ですよ！というわけで神経生理学とニューラルネットワークの関係を冗長ではあるものの詳しく説明しました。医学部は1年次から研究室がウェルカムと言ってくれるという他学部からすれば何それな感じなので、興味がある研究室にアポを取って出入りさせてもらいましょう。Python会は研究室に所属するメンバーが多く、研究に関連する知識や技術などの情報交換もしています。

Slide 98

Slide 98 text

そうだ研究室に行こうただ、昨今の状況を見るに研究室にすぐ行けるということにはならないと思います。ですので、とりあえず今は勉強に集中していただければと思います。Python会では1年次向けのコンテンツを今後も発信していくので、興味のある方はご連絡いただければと思います！研究室行けないんですけど実験進まないんですけどとりあえず、勉強しよう

Slide 99

Slide 99 text

参考文献 • 小澤司，本間研一，大森治紀，他, 編. (2014). 標準生理学(第8版). 医学書院 • Li YC, Bai WZ, Hashikawa T. The neuroinvasive potential of SARS-CoV2 may play a role in the respiratory failure of COVID-19. J Med Virol. 2020. • Egger R, Narayanan RT, Guest JM, et al. Cortical Output Is Gated by Horizontally Projecting Neurons in the Deep Layers. Neuron. 2020. • Richards BA, Lillicrap TP, Beaudoin P, et al. A deep learning framework for neuroscience. Nat Neurosci. 2019.

Slide 100

Slide 100 text

使用した素材ＳＤピコピコ東北きりたんver1 https://seiga.nicovideo.jp/seiga/im6346128 BioRender https://biorender.com/ ニューラルネットワークの画像 http://alexlenail.me/NN-SVG/LeNet.html

Slide 101

Slide 101 text

ご視聴ありがとうございました