脳とAIは似ているか ― NeuroAI の挑戦

日本心理学会シンポジウム（2023.9.17）
「深層学習と心理学　その可能性を探る」

Transcript

1. 日本心理学会シンポジウム（2023.9.17） 脳とAIは似ているか ― NeuroAI の挑戦 神谷之康（京都大学・ATR・理研） kamitani@i.kyoto-u.ac.jp http://kamitani-lab.ist.i.kyoto-u.ac.jp ykamit 1
2. 心理学とAI AIの２つのゴール(Simon, 1983) 1. コンピューターが賢くなり、賢いことをするようになることで、人間がそのようなことをしなくても済むようにする →AI as engineering 2. コンピュータを使って人間をシミュレートし、人間がどのように働くかを知る →AI as theoretical psychology Simon, H.A. (1983). Why Should Machines Learn? In Machine Learning: An Artificial Intelligence Approach Symbolic Computation. https://doi.org/10.1007/978-3-662-12405-5_2. 2
3. 認知科学の一部としてのAI Miller, G.A. (2003). The cognitive revolution: a historical perspective. Trends in Cognitive Sciences 7, 141–144. https://doi.org/10.1016/S1364-6613(03)00029-9. van Rooij, I., Guest, O., Adolfi, F.G., De Haan, R., Kolokolova, A., and Rich, P. (2023). Reclaiming AI as a theoretical tool for cognitive science (PsyArXiv) https://doi.org/10.31234/osf.io/4cbuv. 3
4. You can't play 20 questions with nature and win Newell, A. (1973). You can't play 20 questions with nature and win: Projective comments on the paprs of this symposium. In Visual Information Processing, W. G. Chase, ed. (Academic Press), pp. 283–308. https://doi.org/10.1016/B978-0-12- 170150-5.50012-3. （認知）心理学では、個々の現象（例：メンタルローテーション、メモリのチャンキングなど）に焦点を当て、２択の問 題（例：自然対自然、意識対無意識、シリアル対並列処理など）を解決する方法で研究されている。 Divide-and-conquer 多くの優れた研究があるが、全体としての進歩に結びつくとは考えられない 行動を予測するために不可欠なもの（人の目標やタスク環境の構造）を十分に制約していないため、心的処理メカニズム の不変な構造に関する最終的な洞察を提供していない 行動方針の提案 分割した要素ではなく、完全な処理モデルを開発する 個々の複雑なタスクを完全に分析する 多くのタスクを実行できる一つのプログラムを構築する 現代のend-to-end学習や汎用AIに通じる指摘だが、認知科学はその後も"play 20 questions"を続けてきた（？） 4
5. 苦い教訓 Sutton, R. (2019). The Bitter Lesson. http://www.incompleteideas.net/IncIdeas/BitterLesson.html. 1）AI研究者はしばしばエージェントに知識を組み込もうとしてきた 2）これは短期的には常に役立ち、研究者にとっては個人的に満足のいくものだが 3）長期的には停滞し、さらなる進歩を阻害することさえある。 4）画期的進歩は、これとは逆の、探索と学習による計算のスケーリングにもとづくアプローチによって最終的にもたら される。 実際、コンピュータチェス、囲碁、音声認識、コンピュータビジョンなどで、人間の理解を生かした方法よりも、大規模デー タに対して適応する（「スケールする」）汎用的な計算手法が優れたパフォーマンスを発揮 実際の心の中身は途方もなく、救いようのないほど複雑だということだ。心の中身について考える簡単な方法を見つけよ うとするのはやめるべきだ。（中略）私たちが欲しいのは、私たちと同じように発見できるAIエージェントであって、私 たちが発見したものを含むAIエージェントではない。 5
6. 現代のAI＝DNN (deep neural network) 脳やニューロンの構造・機能にインスパイアされたアーキテクチャ Hassabis, D., Kumaran, D., Summerfield, C., and Botvinick, M. (2017). Neuroscience-Inspired Artificial Intelligence. Neuron 95, 245–258. https://doi.org/10.1016/j.neuron.2017.06.011. 大規模データからのEnd−to−end学習。「認知モデル」を明示的に組み込んだものではない ユニット（ニューロン）活動パターンによるサブシンボリックな情報表現 ←→ 従来のシンボリックなAI AI as engineering として発展 だが、現代AIの初期のブレイクするーに貢献した人は、脳・心理関係者が多い 深層学習の父、ジェフリー・ヒントンは、もともとの実験心理学の専攻。PDPの時代から「冬の時代」を経て成 果が花咲いた DeepMindのデミス・ハサビスは、大学院は認知神経科学の専攻。ブレイン・デコーディングを海馬に応用する 研究もしていた 画像データベース（ImageNet）のフェイフェイ・リ（スタンフォード）は、私の大学院（Caltech）の後輩。当 時は、コンピュータビジョンと並行して心理物理研究（注意の特徴統合理論）も行っていた 最近、訓練済DNNを心や脳の理解に使うアプローチが勃興(後述) NeuroAI 認知モデルのシミュレーション（AI as theoretical psychology）とはちょっと違う 6
7. 脳にインスパイア、とは ニューロン素子 アーキテクチャ 学習則 神経科学・心理学の理論・構成概念（例: Attention） 脳を参考にしているのか、脳のモデル・仮説を参考にしているのか？ 脳は複雑で、よくわからないことが多い 最近まで計測できるデータは限られていたので、物理や工学の既存理論からの思いつきでモデルを構築してきた 長年信じられているモデルも実証的エビデンスがない・乏しいものが多い 帰無仮説検定で定性的にモデルを検証するようなレベルのエビデンス 脳についてのあまり根拠のない思いつきがインスピレーションになっていることも（結果的に役に立てばOK?） 7
8. インスパイアとその実態 1: ニューロン素子 McCulloch-Pittsモデル McCulloch, W.S., and Pitts, W. (1943). A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics 5, 115–133. https://doi.org/10.1007/BF02478259. ニューロンを参考にした論理演算のモデル 一定時間内に閾値を超えるシナプスを興奮させたら発火 シナプス荷重〜シナプス数 8
9. 脳インスパイアなモデルの前提条件 i. ニューロンの活動は "all-or-none "プロセス ii. ニューロンを興奮させるためには、加算期間内に一定数のシナプスを興奮させなければならない（入力の重み は、シナプス数と対応） iii. 神経系における唯一の重要な遅延はシナプスの遅延。 iv. どの抑制性シナプスの活動も、その時点でのニューロンの興奮を必ずに妨げる v. ネットの構造は時間とともに変化しない。 これらの前提も、現代の観点からは、正しくなかったり例外があったりする ニューロンが行う演算は単純な積和計算＋閾値ではない シナプスは確率的に変動 など 現代のDNNでは、積和計算・閾値の考え方を継承。バイナリ値だけでなく連続値も扱う 9
10. インスパイアとその実態 ２: アーキテクチャ Neocognitron Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biol. Cybernetics 36, 193–202. https://doi.org/10.1007/BF00344251. 10
11. Hubel & WielselのV1ニューロンのsimple cell, complex cellからインスパイア Hubel, D.H., and Wiesel, T.N. (1962). Receptive fields, binocular interaction and functional architecture in the cat’s visual cortex. The Journal of Physiology 160, 106–154. https://doi.org/10.1113/jphysiol.1962.sp006837. 福島先生「V1から先についてのH&W論文を待っていたが出てこなかったので、S-Cを積み重ねた」 LeCunのConvolutional Neural Network (CNN) -> AlexNet (2012)につながる、深層ニューラルネットワークの源流 Simple cell → Convolution Complex cell → Pooling しかし、V1でsimple cellとcomplex cellが明確に区別できるか議論がある Mechler, F., and Ringach, D.L. (2002). On the classification of simple and complex cells. Vision Research 42, 1017– 1033. http://doi.org/10.1016/S0042-6989(02)00025-1. CNNで仮定されるweight sharing（パラメータ数を削減、効率的学習に貢献）の仕組みは脳にない V1のモデルは、実際の神経活動の変動をわずかしか説明しない Olshausen, B.A., and Field, D.J. (2005). How close are we to understanding V1? Neural Computation 17, 1665– 1699. https://doi.org/10.1162/0899766054026639. 11
12. インスパイアとその実態 3: 学習則 ヘッブ学習 Hebb, D.O. (1949). The Organization of Behavior: A Neuropsychological Theory. Fire together, wire together シナプスの重みが記憶と学習を担うというドグマ しかし、シナプス以外の記憶のメカニズムも議論されてきた Abraham, W.C., Jones, O.D., and Glanzman, D.L. (2019). Is plasticity of synapses the mechanism of long-term memory storage? npj Sci. Learn. 4, 1–10. https://doi.org/10.1038/s41539-019-0048-y. Backpropagation DNNで最も広く使われている学習則 誤差を逆向きに伝播させることで、シナプスの重みを調整 しかし、生物学的に実装は難しい（「biological plausibilityが低い」） 誤差を重みに従ってに逆向きに流す、学習時と推論時の切り替え、など Backpropagationの仮定を緩めても、学習はできる Lillicrap, T.P., Santoro, A., Marris, L., Akerman, C.J., and Hinton, G. (2020). Backpropagation and the brain. Nature Reviews Neuroscience 21, 335–346. https://doi.org/10.1038/s41583-020-0277-3. 12
13. Biological plausibilityの基準は恣意的 局所的な学習則ならOK？ 自身と接続するニューロンの情報のみを利用 ヘッブ学習は、局所的な重みの更新 ニューロモジュレータやグリアなど介した大域的な最適化も不可能ではない シナプス可塑性は、神経科学の大テーマ。そのメカニズムは多様で、複雑 「真実はシンプル」は生物に必ずしも当てはまらない 13
14. インスパイアとその実態 4: Attention Attention is all you need Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, L., and Polosukhin, I. (2017). Attention Is All You Need. arXiv:1706.03762 [cs]. https://doi.org/10.48550/arXiv.1706.03762. LLMで用いられるTransformerの主要構成要素。Recurrence や Convolution を使わず、効率的な学習が可能に Attentionの起源 AIでは最初、機械翻訳で使われる Bahdanau, D., Cho, K., and Bengio, Y. (2016). Neural Machine Translation by Jointly Learning to Align and Translate. https://doi.org/10.48550/arXiv.1409.0473. 心理学や神経科学のattention（注意）にインスパイアとされるが、対応関係は明確でない Lindsay, G.W. (2020). Attention in Psychology, Neuroscience, and Machine Learning. Front. Comput. Neurosci. 14. https://doi.org/10.3389/fncom.2020.00029. 視覚の空間的注意や眼球運動のモデルを参照？ でも、AIでは自然言語処理 後に視覚AIにも応用されるが（Vision Transformer）、実態は注意というより、グルーピング Mehrani, P., and Tsotsos, J.K. (2023). Self-attention in Vision Transformers Performs Perceptual Grouping, Not Attention.　http://arxiv.org/abs/2303.01542 Hopfield Networkとの関連 Ramsauer, H. et al. (2021). Hopfield Networks is All You Need. https://doi.org/10.48550/arXiv.2008.02217. 14
15. インスピレーションを超えて: NeuroAI 神経科学とAIの概念を融合させた学際的分野。定義のコンセンサスはまだない 一般的に、「脳の構造と機能を参考にして、高度なAIを開発すること、逆に、AIモデルを使って脳をより深く理解するこ とを目標とする」とされることがあるが、これだと従来の脳型人工知能（「脳インスパイア」）とあまり変わらない 15
16. NeuroAIの特徴 脳の実データとDNNの内部信号（活動値）の定量的関係を扱う 大規模データで訓練したDNNを用いて、刺激や課題を特徴ベクトル化（embedding）する 非構造データ（写真、ビデオ、テキスト等）のembedding 自然主義的実験 質的データの定量化 訓練済DNNを生物の脳や被験者のように扱い、リバース・エンジニアリングする Yamins, D.L.K., and DiCarlo, J.J. (2016). Using goal-driven deep learning models to understand sensory cortex. Nature Neuroscience 19, 356–365. 10.https://doi.org/10.1038/nn.4244 Macpherson, T., Churchland, A., Sejnowski, T., DiCarlo, J., Kamitani, Y., Takahashi, H., and Hikida, T. (2021). Natural and Artificial Intelligence: A brief introduction to the interplay between AI and neuroscience research. Neural Networks. https://doi.org/10.1016/j.neunet.2021.09.018. 16
17. NeuroAI 1：Encoding Yamins, D.L.K., Hong, H., Cadieu, C.F., Solomon, E.A., Seibert, D., and DiCarlo, J.J. (2014). Performance-optimized hierarchical models predict neural responses in higher visual cortex. Proceedings of the National Academy of Sciences 111, 8619–8624. https://doi.org/10.1073/pnas.1403112111. 解釈しやすい刺激属性（色、形、物体カテゴリ、など）ではなく、訓練済みDNNの隠れ層に現れる特徴表現（活動値）か ら、同じ画像を見ているときのサルのニューロン活動を機械学習で予測（エンコードモデル） V4: 中間層でよく予測できる IT: 最終層でよく予測できる 17
18. NeuroAI 2：Representational similarity Khaligh-Razavi, S.-M., and Kriegeskorte, N. (2014). Deep Supervised, but Not Unsupervised, Models May Explain IT Cortical Representation. PLoS Computational Biology 10, e1003915. https://doi.org/10.1371/journal.pcbi.1003915. 画像セットに対するfMRI脳活動パターンの類似度を、DNN活動パターンの類似度と比較 V1–V3の類似度行列: DNN中間層の類似度行列と似ている ITの類似度行列: DNN高次層の類似度行列と似ている (ITでは、animate vs. inanimateで脳活動パターンが明確に分離される) 18
19. NeuroAI 3：Decoding Horikawa, T., and Kamitani, Y. (2015, 2017). Generic decoding of seen and imagined objects using hierarchical visual features. Nature Communications 8, 15037. https://doi.org/10.1038/ncomms15037. DNNユニット活動をfMRI脳活動パターンから予測（デコード） DNN階層が上がると、よく予測できる脳部位は高次野にシフト DNNと脳の情報表現の階層的相同性 19
20. どのDNNユニットが脳からよく予測できるかは、被験者間で相関。 脳と関係なく訓練されたDNNが、個人間で共通な脳の情報表現を捉えている Horikawa, T., Aoki, S.C., Tsukamoto, M., and Kamitani, Y. (2019). Characterization of deep neural network features by decodability from human brain activity. Scientific Data 6, 190012. https://doi.org/10.1038/sdata.2019.12. 20
21. Neuroconnectionist program Doerig, A. et al. (2023). The neuroconnectionist research programme. Nat Rev Neurosci 24, 431–450. https://doi.org/10.1038/s41583-023- 00705-w. 古典的Connectionistと異なり、脳 の実データと直接対応させる 従来の認知神経科学のように、研 究者の想像力に依存した解釈しや すい構成概念で脳をマップするの ではなく、解釈が困難で複雑な表 象も理解可能にする DNNを脳・認知の機構モデルとみ なすやや強いコミットメント 脳とDNNのコアな対応関係？ 21
22. Makeism van Rooij, I., Guest, O., Adolfi, F.G., De Haan, R., Kolokolova, A., and Rich, P. (2023). Reclaiming AI as a theoretical tool for cognitive science (PsyArXiv) https://doi.org/10.31234/osf.io/4cbuv. (a) 認知を計算論的に作る(再構築する) ことが可能である。(b)認知を作れば、認知を説明・理解することができる。そし て、（c）認知を説明・理解するためには、認知そのものを作 ることが必要である、という考え方 ファインマン (Feynman, 1988): "What I cannot create, I don't understand" cf., 川人光男: 「脳の機能を、その機能を脳と同じ方法で実現できる計算機のプログラムあるいは人工的な機械を作れ る程度に、深く本質的に理解することを目指すアプローチを計算論的神経科学と呼ぶ」 田中宏和, 宮脇陽一 (2007). ―オータムスクールascone06脳科学への数理的アプローチ―. 日本神経回路学会誌 14, 104–140. https://doi.org/10.3902/jnns.14.104. Make主義者が陥りやすいのは、作られたものが認知である可能性があるという見方によって、map-territory confusion （認知そのものとモデル化した人工物を取り違えること）であること AI as engineering を脳や認知そのものとみなすことの危険性 認知科学におけるAIは、理論構築をサポートする計算ツール（フレームワーク、概念、形式論、モデル、証明、シミ ュレーションなど）の提供するものであった 人間レベルの認知を持つシステムをデータからの学習ベースで作ることは計算論的に不可能（証明） 認知科学の理論的道具としてのAIの考え方に立ち戻ろう 22
23. NeuroAIへの（自己）批判 脳と階層的に対応するDNNモデルは限られている Nonaka, S., Majima, K., Aoki, S.C., and Kamitani, Y. (2021). Brain hierarchy score: Which deep neural networks are hierarchically brain-like? iScience 24, 103013. https://doi.org/10.1016/j.isci.2021.103013. 最近の高性能DNNほど、ヒトの脳と似ていない 23
24. エンコード解析（DNNからの脳活動の予測）だと、一部のDNNユニットしか予測に貢献しない。脳活動にもとづくDNN の特徴づけになっていない Nonaka, S., Majima, K., Aoki, S.C., and Kamitani, Y. (2021). Brain hierarchy score: Which deep neural networks are hierarchically brain-like? iScience 24, 103013. https://doi.org/10.1016/j.isci.2021.103013. 脳とDNNの階層的対応関係は、分析の仕方による。脳の低次領野も高次領野も、DNNの特定の層でよく説明できる Sexton, N.J., and Love, B.C. (2022). Reassessing hierarchical correspondences between brain and deep networks through direct interface. Science Advances 8, eabm2219. https://doi.org/10.1126/sciadv.abm2219. DNNによる脳活動の予測はDNNのアーキテクチャより、訓練データに依存する Conwell, C., Prince, J.S., Kay, K.N., Alvarez, G.A., and Konkle, T. (2023). What can 1.8 billion regressions tell us about the pressures shaping high-level visual representation in brains and machines? https://doi.org/2022.03.28.485868. 線形予測は柔軟すぎる？ 元々、脳情報表現の予測モデルに線形回帰を使うのは（linear readout; cf., Kamitani & Tong (2005)）、単純な 変換で見出されるexplicitな情報表現に注目するため。柔軟性を下げていたつもりだが、十分ではなかった？ 24
25. 個々のユニットの予測精度はあまり高くない（高々、相関係数0.5）。脳活動の予測（エンコード）の報告は、noise ceiling(同じ刺激に対する反応のばらつき)で正規化することで、一見高いように見える 実験刺激で説明できない変動=ノイズではない Bing Wen Brunton. Why is everything everywhere (in the brain)? (2023). https://www.youtube.com/watch? v=S8ElxlX7xVg Steinmetz, N.A., Zatka-Haas, P., Carandini, M., and Harris, K.D. (2019). Distributed coding of choice, action and engagement across the mouse brain. Nature 576, 266–273. https://doi.org/10.1038/s41586-019-1787-x. Musall, S., Kaufman, M.T., Juavinett, A.L., Gluf, S., and Churchland, A.K. (2019). Single-trial neural dynamics are dominated by richly varied movements. Nat Neurosci 22, 1677–1686. https://doi.org/10.1038/s41593- 019-0502-4. 全然ダメ。ちゃんと従来のように解釈可能なモデルで仮説検証しろ Bowers, J.S., Malhotra, G., Dujmović, M., Montero, M.L., Tsvetkov, C., Biscione, V., Puebla, G., Adolfi, F., Hummel, J.E., Heaton, R.F., et al. (2022). Deep Problems with Neural Network Models of Human Vision. Behavioral and Brain Sciences, 1–74. https://doi.org/10.1017/S0140525X22002813. どのような特徴が良い予測に寄与しているかに関する仮説を検証しておらず、予測は生物学的視覚とほとんど重なら ないDNNによって媒介されている可能性がある DNNが心理学的研究の結果をほとんど説明しない 理論家は最良の予測を競うのではなく、仮説を検証するために設計された独立変数を操作する実験結果を説明するモ デルを構築する必要がある 25
26. 認知神経科学 vs. NeuroAI 認知神経科学 解釈が容易な構成概念の脳へのマッピング（脳部位、ネットワーク） コントロールされた実験操作による因果推論 帰無仮説検定 NeuroAI 名もなき特徴量（DNNユニット活動値）と脳信号のマッピング 予測モデル データ駆動アプローチ コントロールされた実験操作は重要？ Nastase, S.A., Goldstein, A., and Hasson, U. (2020). Keep it real: rethinking the primacy of experimental control in cognitive neuroscience. NeuroImage, 117254. https://doi.org/10.1016/j.neuroimage.2020.117254. 脳は必ずしも人間が解釈できるような単純な変数に依存するように設計されているわけではなく、変数を信号とノイズ にきれいに分離するわけでもなく、実験計画によって課された理論的境界を必ずしも尊重するわけでもない 26
27. Carve nature at its joints プラトン「パイドロス」に由来する哲学的比喩。恣意的な区別を押し付けるのではなく、自然の区分やカテゴリーに沿った方 法で世界を分析・分類すること 脳・心理に対して研究者は Carve nature at its joints できているか 神谷之康 (2023). 脳と心の科学の「ミッドライフクライシス」. https://www.note.kanekoshobo.co.jp/n/nd90894f959b1. ワーキングメモリ。脳トレはなぜ効果がない？ 坪見 博之, 齊藤 智, 苧阪 満里子, 苧阪 直行 (2019). ワーキングメモリトレーニングと流動性知能―展開と制約―. 心理 学研究 90, 308-326. https://doi.org/10.4992/jjpsy.90.18402. Miller, E.K., Lundqvist, M., and Bastos, A.M. (2018). Working memory 2.0. Neuron 100, 463–475. https://doi.org/10.1016/j.neuron.2018.09.023. われわれはV1の15％しか理解していない Olshausen, B.A., and Field, D.J. (2005). How Close Are We to Understanding V1? Neural Computation 17, 1665– 1699. https://doi.org/10.1162/0899766054026639. ドーパミンニューロンの活動は報酬予測誤差？ Engelhard, B., Finkelstein, J., Cox, J., Fleming, W., Jang, H.J., Ornelas, S., Koay, S.A., Thiberge, S.Y., Daw, N.D., Tank, D.W., et al. (2019). Specialized coding of sensory, motor and cognitive variables in VTA dopamine neurons. Nature, 1. https://doi.org/10.1038/s41586-019-1261-9. 27
28. NeuroAIと徹底的行動主義 NeuroAIと徹底的行動主義は、解釈しやすい（直感や自然言語にもとづく）心的構成概念で脳や行動を説明することを避ける 点で共通 方法論的行動主義 vs. 徹底的行動主義 丹野貴行 (2019). 徹底的行動主義について. 哲學 142, 9–42.　https://ci.nii.ac.jp/naid/120006651262/ 方法論的行動主義 心理学が直接扱えるのは2人以上観察可能な公的事象（public event）に限られ、内観のような私的事象（private event）は扱えない。しかし、公的事象から操作的に定義できる限りにおいては、心的な用語、概念、過程であって もそれを認める（Tolman） 認知主義、認知神経科学と地続き 徹底的行動主義 心的な用語、概念、過程を排除するが、「心」を皮膚の内側の私事象として物理的次元に位置づけ、公的事象と同じ ように物理的次元で分析できる対象と見なす 公的（観察者が二人以上） vs. 私的（一人） ≠　物理的 vs. 心的 スキナー「歯の痛みは公的ではないにせよ、タイプライターと全く同様に物理的であると強く主張する」 神経科学研究、とくに、行動薬理学、脳刺激との親和性は高い 脳からデコードすれば思考やイメージも公的事象 28
29. DNNを介してイメージを外在化する Shen, G., Horikawa, T., Majima, K., and Kamitani, Y. (2019). Deep image reconstruction from human brain activity. PLOS Computational Biology 15, e1006633. https://doi.org/10.1371/journal.pcbi.1006633. fMRI脳活動パターンからDNNユニット活動パターンに変換、入力画像の最適化により知覚像を再構成 想起イメージの再構成も可能 動画：https://youtu.be/jsp1KaM-avU?si=aqOq2o7Tq139MTRF 29
30. 錯視イメージの外在化 Cheng, F., Horikawa, T., Majima, K., Tanaka, M., Abdelhack, M., Aoki, S.C., Hirano, J., and Kamitani, Y. (2023). Reconstructing visual illusory experiences from human brain activity. bioRxiv 2023.06.15.545037. https://doi.org/10.1101/2023.06.15.54 5037. to appear in Science Advances 自然画像を見せたときの脳活動で デコーダを訓練 錯視画像を見ているときの脳活動 からデコード・再構成 主観的線・色の画像化・外在化・ 物質化 30
32. 幻視の動きをロボットに外在化 Yanagisawa, T., Fukuma, R., Seymour, B., Hosomi, K., Kishima, H., Shimizu, T., Yokoi, H., Hirata, M., Yoshimine, T., Kamitani, Y., et al. (2016). Induced sensorimotor brain plasticity controls pain in phantom limb patients. Nature Communications 7, 13209. https://doi.org/10.1038/ncomms13209. 注意イメージの再構成 Horikawa, T., and Kamitani, Y. (2022). Attention modulates neural representation to render reconstructions according to subjective appearance. Commun Biol 5, 34. https://doi.org/10.1038/s42003-021-02975-5. 動画: https://youtu.be/iJAF8d7d9dc?si=YWYzMEP2M2_ZWhoJ 音声の再構成 Park, J.-Y., Tsukamoto, M., Tanaka, M., and Kamitani, Y. (2023). Sound reconstruction from human brain activity via a generative model with brain-like auditory features. arXiv:2306.11629 http://arxiv.org/abs/2306.11629 動画: https://youtu.be/c1HsYbyJxIc?si=wW_kazX-SKP8dACP デコーディングとアート活動の紹介 脳をくすぐるアート｜神谷之康（Yukiyasu Kamitani） (2022). note（ノート）. https://note.com/ykamit/n/n0bf7b8517a8d. 32
33. まとめ AI as engineering としてDNNベースのAIが急成長した DNNは脳にインスパイアされたと言われるが、実際の脳との対応関係はそれほど明確でない NeuroAI 一般的アーキテクチャを持つDNNをヒトの行動と同様の入出力データによって訓練し、その内部ユニットの活動パタ ーンを脳の実データと組み合わせて分析 サブシンボリックな名もなきDNNユニットのマッピング、特徴づけ、データ駆動で法則発見 思いつきの構成概念や仮説を投影しない 必ずしも、DNNで忠実な脳のモデルを作ること（Makeism）が目的ではない たいして脳と似ていないDNNが、脳の実データと対応することが面白い Construct-free アプローチとしてのNeuroAI 構成概念を脳領域にマッピングする従来の認知神経科学とは異なる DNNを介したデコーディングにより、皮膚の内側の私的事象を言語や構成概念を介さずに公的事象として外在化 任意の知覚像を外在化する深層イメージ再構成 錯視イメージの外在化 33
34. 深層学習と心理学 脳データを使わない心理学研究に使えるか 訓練済DNNを用いて、非構造データ（写真、音声、ビデオ、テキストなど）の特徴ベクトル化（embedding） 階層的概念表現の自動抽出 研究者の想像力による特徴エンジニアリングよりいいものがデータ駆動的に見つかることが多い 自然主義的実験 質的データの定量化 訓練済DNN（LLM）を被験者のように扱う ヒト被験者の代替 Dillion, D., Tandon, N., Gu, Y., and Gray, K. (2023). Can AI language models replace human participants? Trends in Cognitive Sciences 27, 597–600. https://doi.org/10.1016/j.tics.2023.04.008. AIの心理学 Binz, M., and Schulz, E. (2023). Using cognitive psychology to understand GPT-3. Proceedings of the National Academy of Sciences 120, e2218523120. https://doi.org/10.1073/pnas.2218523120. 既存の心理学理論をどのように位置づけるか DNNは心理学理論を実装する（cf., Marr; 心理学理論＝algorithm、DNN=implementation） DNNは脳のモデル DNNは心理学理論を置き換える（消去主義） DNNは心のモデル 34
35. Blank, I.A. (2023). What are large language models supposed to model? Trends in Cognitive Sciences. https://doi.org/10.1016/j.tics.2023.08.006. Piantadosi, S. (2023). Modern language models refute Chomsky’s approach to language. https://lingbuzz.net/lingbuzz/007180 35