認知科学の一部としてのAI Miller, G.A. (2003). The cognitive revolution: a historical perspective. Trends in Cognitive Sciences 7, 141–144. https://doi.org/10.1016/S1364-6613(03)00029-9. van Rooij, I., Guest, O., Adolfi, F.G., De Haan, R., Kolokolova, A., and Rich, P. (2023). Reclaiming AI as a theoretical tool for cognitive science (PsyArXiv) https://doi.org/10.31234/osf.io/4cbuv. 3
You can't play 20 questions with nature and win Newell, A. (1973). You can't play 20 questions with nature and win: Projective comments on the paprs of this symposium. In Visual Information Processing, W. G. Chase, ed. (Academic Press), pp. 283–308. https://doi.org/10.1016/B978-0-12- 170150-5.50012-3. （認知）心理学では、個々の現象（例：メンタルローテーション、メモリのチャンキングなど）に焦点を当て、２択の問 題（例：自然対自然、意識対無意識、シリアル対並列処理など）を解決する方法で研究されている。 Divide-and-conquer 多くの優れた研究があるが、全体としての進歩に結びつくとは考えられない 行動を予測するために不可欠なもの（人の目標やタスク環境の構造）を十分に制約していないため、心的処理メカニズム の不変な構造に関する最終的な洞察を提供していない 行動方針の提案 分割した要素ではなく、完全な処理モデルを開発する 個々の複雑なタスクを完全に分析する 多くのタスクを実行できる一つのプログラムを構築する 現代のend-to-end学習や汎用AIに通じる指摘だが、認知科学はその後も"play 20 questions"を続けてきた（？） 4
インスパイアとその実態 1: ニューロン素子 McCulloch-Pittsモデル McCulloch, W.S., and Pitts, W. (1943). A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics 5, 115–133. https://doi.org/10.1007/BF02478259. ニューロンを参考にした論理演算のモデル 一定時間内に閾値を超えるシナプスを興奮させたら発火 シナプス荷重〜シナプス数 8
脳インスパイアなモデルの前提条件 i. ニューロンの活動は "all-or-none "プロセス ii. ニューロンを興奮させるためには、加算期間内に一定数のシナプスを興奮させなければならない（入力の重み は、シナプス数と対応） iii. 神経系における唯一の重要な遅延はシナプスの遅延。 iv. どの抑制性シナプスの活動も、その時点でのニューロンの興奮を必ずに妨げる v. ネットの構造は時間とともに変化しない。 これらの前提も、現代の観点からは、正しくなかったり例外があったりする ニューロンが行う演算は単純な積和計算＋閾値ではない シナプスは確率的に変動 など 現代のDNNでは、積和計算・閾値の考え方を継承。バイナリ値だけでなく連続値も扱う 9
インスパイアとその実態 ２: アーキテクチャ Neocognitron Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biol. Cybernetics 36, 193–202. https://doi.org/10.1007/BF00344251. 10
インスパイアとその実態 3: 学習則 ヘッブ学習 Hebb, D.O. (1949). The Organization of Behavior: A Neuropsychological Theory. Fire together, wire together シナプスの重みが記憶と学習を担うというドグマ しかし、シナプス以外の記憶のメカニズムも議論されてきた Abraham, W.C., Jones, O.D., and Glanzman, D.L. (2019). Is plasticity of synapses the mechanism of long-term memory storage? npj Sci. Learn. 4, 1–10. https://doi.org/10.1038/s41539-019-0048-y. Backpropagation DNNで最も広く使われている学習則 誤差を逆向きに伝播させることで、シナプスの重みを調整 しかし、生物学的に実装は難しい（「biological plausibilityが低い」） 誤差を重みに従ってに逆向きに流す、学習時と推論時の切り替え、など Backpropagationの仮定を緩めても、学習はできる Lillicrap, T.P., Santoro, A., Marris, L., Akerman, C.J., and Hinton, G. (2020). Backpropagation and the brain. Nature Reviews Neuroscience 21, 335–346. https://doi.org/10.1038/s41583-020-0277-3. 12
インスパイアとその実態 4: Attention Attention is all you need Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, L., and Polosukhin, I. (2017). Attention Is All You Need. arXiv:1706.03762 [cs]. https://doi.org/10.48550/arXiv.1706.03762. LLMで用いられるTransformerの主要構成要素。Recurrence や Convolution を使わず、効率的な学習が可能に Attentionの起源 AIでは最初、機械翻訳で使われる Bahdanau, D., Cho, K., and Bengio, Y. (2016). Neural Machine Translation by Jointly Learning to Align and Translate. https://doi.org/10.48550/arXiv.1409.0473. 心理学や神経科学のattention（注意）にインスパイアとされるが、対応関係は明確でない Lindsay, G.W. (2020). Attention in Psychology, Neuroscience, and Machine Learning. Front. Comput. Neurosci. 14. https://doi.org/10.3389/fncom.2020.00029. 視覚の空間的注意や眼球運動のモデルを参照？ でも、AIでは自然言語処理 後に視覚AIにも応用されるが（Vision Transformer）、実態は注意というより、グルーピング Mehrani, P., and Tsotsos, J.K. (2023). Self-attention in Vision Transformers Performs Perceptual Grouping, Not Attention. http://arxiv.org/abs/2303.01542 Hopfield Networkとの関連 Ramsauer, H. et al. (2021). Hopfield Networks is All You Need. https://doi.org/10.48550/arXiv.2008.02217. 14
NeuroAIの特徴 脳の実データとDNNの内部信号（活動値）の定量的関係を扱う 大規模データで訓練したDNNを用いて、刺激や課題を特徴ベクトル化（embedding）する 非構造データ（写真、ビデオ、テキスト等）のembedding 自然主義的実験 質的データの定量化 訓練済DNNを生物の脳や被験者のように扱い、リバース・エンジニアリングする Yamins, D.L.K., and DiCarlo, J.J. (2016). Using goal-driven deep learning models to understand sensory cortex. Nature Neuroscience 19, 356–365. 10.https://doi.org/10.1038/nn.4244 Macpherson, T., Churchland, A., Sejnowski, T., DiCarlo, J., Kamitani, Y., Takahashi, H., and Hikida, T. (2021). Natural and Artificial Intelligence: A brief introduction to the interplay between AI and neuroscience research. Neural Networks. https://doi.org/10.1016/j.neunet.2021.09.018. 16
NeuroAI 2：Representational similarity Khaligh-Razavi, S.-M., and Kriegeskorte, N. (2014). Deep Supervised, but Not Unsupervised, Models May Explain IT Cortical Representation. PLoS Computational Biology 10, e1003915. https://doi.org/10.1371/journal.pcbi.1003915. 画像セットに対するfMRI脳活動パターンの類似度を、DNN活動パターンの類似度と比較 V1–V3の類似度行列: DNN中間層の類似度行列と似ている ITの類似度行列: DNN高次層の類似度行列と似ている (ITでは、animate vs. inanimateで脳活動パターンが明確に分離される) 18
NeuroAI 3：Decoding Horikawa, T., and Kamitani, Y. (2015, 2017). Generic decoding of seen and imagined objects using hierarchical visual features. Nature Communications 8, 15037. https://doi.org/10.1038/ncomms15037. DNNユニット活動をfMRI脳活動パターンから予測（デコード） DNN階層が上がると、よく予測できる脳部位は高次野にシフト DNNと脳の情報表現の階層的相同性 19
どのDNNユニットが脳からよく予測できるかは、被験者間で相関。 脳と関係なく訓練されたDNNが、個人間で共通な脳の情報表現を捉えている Horikawa, T., Aoki, S.C., Tsukamoto, M., and Kamitani, Y. (2019). Characterization of deep neural network features by decodability from human brain activity. Scientific Data 6, 190012. https://doi.org/10.1038/sdata.2019.12. 20
Makeism van Rooij, I., Guest, O., Adolfi, F.G., De Haan, R., Kolokolova, A., and Rich, P. (2023). Reclaiming AI as a theoretical tool for cognitive science (PsyArXiv) https://doi.org/10.31234/osf.io/4cbuv. (a) 認知を計算論的に作る(再構築する) ことが可能である。(b)認知を作れば、認知を説明・理解することができる。そし て、（c）認知を説明・理解するためには、認知そのものを作 ることが必要である、という考え方 ファインマン (Feynman, 1988): "What I cannot create, I don't understand" cf., 川人光男: 「脳の機能を、その機能を脳と同じ方法で実現できる計算機のプログラムあるいは人工的な機械を作れ る程度に、深く本質的に理解することを目指すアプローチを計算論的神経科学と呼ぶ」 田中宏和, 宮脇陽一 (2007). ―オータムスクールascone06脳科学への数理的アプローチ―. 日本神経回路学会誌 14, 104–140. https://doi.org/10.3902/jnns.14.104. Make主義者が陥りやすいのは、作られたものが認知である可能性があるという見方によって、map-territory confusion （認知そのものとモデル化した人工物を取り違えること）であること AI as engineering を脳や認知そのものとみなすことの危険性 認知科学におけるAIは、理論構築をサポートする計算ツール（フレームワーク、概念、形式論、モデル、証明、シミ ュレーションなど）の提供するものであった 人間レベルの認知を持つシステムをデータからの学習ベースで作ることは計算論的に不可能（証明） 認知科学の理論的道具としてのAIの考え方に立ち戻ろう 22
NeuroAIへの（自己）批判 脳と階層的に対応するDNNモデルは限られている Nonaka, S., Majima, K., Aoki, S.C., and Kamitani, Y. (2021). Brain hierarchy score: Which deep neural networks are hierarchically brain-like? iScience 24, 103013. https://doi.org/10.1016/j.isci.2021.103013. 最近の高性能DNNほど、ヒトの脳と似ていない 23
エンコード解析（DNNからの脳活動の予測）だと、一部のDNNユニットしか予測に貢献しない。脳活動にもとづくDNN の特徴づけになっていない Nonaka, S., Majima, K., Aoki, S.C., and Kamitani, Y. (2021). Brain hierarchy score: Which deep neural networks are hierarchically brain-like? iScience 24, 103013. https://doi.org/10.1016/j.isci.2021.103013. 脳とDNNの階層的対応関係は、分析の仕方による。脳の低次領野も高次領野も、DNNの特定の層でよく説明できる Sexton, N.J., and Love, B.C. (2022). Reassessing hierarchical correspondences between brain and deep networks through direct interface. Science Advances 8, eabm2219. https://doi.org/10.1126/sciadv.abm2219. DNNによる脳活動の予測はDNNのアーキテクチャより、訓練データに依存する Conwell, C., Prince, J.S., Kay, K.N., Alvarez, G.A., and Konkle, T. (2023). What can 1.8 billion regressions tell us about the pressures shaping high-level visual representation in brains and machines? https://doi.org/2022.03.28.485868. 線形予測は柔軟すぎる？ 元々、脳情報表現の予測モデルに線形回帰を使うのは（linear readout; cf., Kamitani & Tong (2005)）、単純な 変換で見出されるexplicitな情報表現に注目するため。柔軟性を下げていたつもりだが、十分ではなかった？ 24
認知神経科学 vs. NeuroAI 認知神経科学 解釈が容易な構成概念の脳へのマッピング（脳部位、ネットワーク） コントロールされた実験操作による因果推論 帰無仮説検定 NeuroAI 名もなき特徴量（DNNユニット活動値）と脳信号のマッピング 予測モデル データ駆動アプローチ コントロールされた実験操作は重要？ Nastase, S.A., Goldstein, A., and Hasson, U. (2020). Keep it real: rethinking the primacy of experimental control in cognitive neuroscience. NeuroImage, 117254. https://doi.org/10.1016/j.neuroimage.2020.117254. 脳は必ずしも人間が解釈できるような単純な変数に依存するように設計されているわけではなく、変数を信号とノイズ にきれいに分離するわけでもなく、実験計画によって課された理論的境界を必ずしも尊重するわけでもない 26
DNNを介してイメージを外在化する Shen, G., Horikawa, T., Majima, K., and Kamitani, Y. (2019). Deep image reconstruction from human brain activity. PLOS Computational Biology 15, e1006633. https://doi.org/10.1371/journal.pcbi.1006633. fMRI脳活動パターンからDNNユニット活動パターンに変換、入力画像の最適化により知覚像を再構成 想起イメージの再構成も可能 動画：https://youtu.be/jsp1KaM-avU?si=aqOq2o7Tq139MTRF 29
錯視イメージの外在化 Cheng, F., Horikawa, T., Majima, K., Tanaka, M., Abdelhack, M., Aoki, S.C., Hirano, J., and Kamitani, Y. (2023). Reconstructing visual illusory experiences from human brain activity. bioRxiv 2023.06.15.545037. https://doi.org/10.1101/2023.06.15.54 5037. to appear in Science Advances 自然画像を見せたときの脳活動で デコーダを訓練 錯視画像を見ているときの脳活動 からデコード・再構成 主観的線・色の画像化・外在化・ 物質化 30
幻視の動きをロボットに外在化 Yanagisawa, T., Fukuma, R., Seymour, B., Hosomi, K., Kishima, H., Shimizu, T., Yokoi, H., Hirata, M., Yoshimine, T., Kamitani, Y., et al. (2016). Induced sensorimotor brain plasticity controls pain in phantom limb patients. Nature Communications 7, 13209. https://doi.org/10.1038/ncomms13209. 注意イメージの再構成 Horikawa, T., and Kamitani, Y. (2022). Attention modulates neural representation to render reconstructions according to subjective appearance. Commun Biol 5, 34. https://doi.org/10.1038/s42003-021-02975-5. 動画: https://youtu.be/iJAF8d7d9dc?si=YWYzMEP2M2_ZWhoJ 音声の再構成 Park, J.-Y., Tsukamoto, M., Tanaka, M., and Kamitani, Y. (2023). Sound reconstruction from human brain activity via a generative model with brain-like auditory features. arXiv:2306.11629 http://arxiv.org/abs/2306.11629 動画: https://youtu.be/c1HsYbyJxIc?si=wW_kazX-SKP8dACP デコーディングとアート活動の紹介 脳をくすぐるアート｜神谷之康（Yukiyasu Kamitani） (2022). note（ノート）. https://note.com/ykamit/n/n0bf7b8517a8d. 32
深層学習と心理学 脳データを使わない心理学研究に使えるか 訓練済DNNを用いて、非構造データ（写真、音声、ビデオ、テキストなど）の特徴ベクトル化（embedding） 階層的概念表現の自動抽出 研究者の想像力による特徴エンジニアリングよりいいものがデータ駆動的に見つかることが多い 自然主義的実験 質的データの定量化 訓練済DNN（LLM）を被験者のように扱う ヒト被験者の代替 Dillion, D., Tandon, N., Gu, Y., and Gray, K. (2023). Can AI language models replace human participants? Trends in Cognitive Sciences 27, 597–600. https://doi.org/10.1016/j.tics.2023.04.008. AIの心理学 Binz, M., and Schulz, E. (2023). Using cognitive psychology to understand GPT-3. Proceedings of the National Academy of Sciences 120, e2218523120. https://doi.org/10.1073/pnas.2218523120. 既存の心理学理論をどのように位置づけるか DNNは心理学理論を実装する（cf., Marr; 心理学理論＝algorithm、DNN=implementation） DNNは脳のモデル DNNは心理学理論を置き換える（消去主義） DNNは心のモデル 34
Blank, I.A. (2023). What are large language models supposed to model? Trends in Cognitive Sciences. https://doi.org/10.1016/j.tics.2023.08.006. Piantadosi, S. (2023). Modern language models refute Chomsky’s approach to language. https://lingbuzz.net/lingbuzz/007180 35
ykamit
joisino
signer
ssii
s1ok69oo
cardososampaio
ae14watanabe
crunchie84
wakamatsu_takumu
ishiijunpei
usamik26
chriscoyier
lauravandoore
hursman
iamctodd
chrislema
csswizardry
erikaheidi
addyosmani
philhawksworth
reverentgeek
colly