心理言語学の視点から再考する言語モデルの学習過程

2025-05-26@名古屋地区NLPセミナー 発表資料

Transcript

1. ⼼理⾔語学の視点から再考する⾔語モデルの学習過程 三⽥雅⼈（東京⼤学） 2025-05-26@名古屋地区NLPセミナー 1

2. 三田 雅人 | Masato MITA
 • 所属
 ◦ 🎓東京大学大学院総合文化研究科 博士後期課程2年
 ◦ 🏢リクルート データ推進室 R&Dグループ R&Dエンジニア
 ◦ 🏢一橋大学 社会計算言語学研究室 客員研究員
 • 経歴
 ◦ 🏢2016 - 2018 Microsoft Japan, エンジニア
 ◦ 🏢2018 - 2022 理化学研究所AIPセンター, リサーチャー
 ▪ 🎓2018 - 2021 東北大学 博士後期課程 修了
 ▪ 🏢2021 - 2025 東京都立大学 特任助教（兼務）
 ◦ 🏢2022 - 2025 CyberAgent AI Lab, リサーチャー
 ▪ 🎓2024 - 現在 東京大学 博士後期課程 進学
 • 専門
 ◦ 自然言語処理: 教育応用, 言語評価
 ◦ 計算心理言語学: 言語獲得, 認知モデリング
 
 
 2 chemical_tree 00 自己紹介

3. My research
 • 自然言語処理を用いた 言語教育（東北大/理研, 都立大）
 ◦ 文法誤り訂正 [NAACL2019][EMNLP2019][ACL2020][EMNLP2020F][ACL2021F][TACL2024]
 ◦ スペル誤り訂正[LREC2020], 自動採点[ACL-SRW2020], 解説文生成[INLG2023], 穴埋め問題 [EACL2023F, EMNLP2023F], 語彙難易度推定[BEA2023]
 • 信頼性・透明性・解釈性の高い 自動評価（東北大/理研, 都立大, CA）
 ◦ 文法誤り訂正 [TACL2024][ACL2025], 論述リビジョン[BEA2024]
 ◦ 広告生成・理解 [ACL2024][LREC-COLING2024][NLP2025][NAACL2025]
 ◦ 自然言語理解[LREC-COLING2024][TACL2024]
 ◦ 大規模言語モデルの指示追従能力 [NLP2024, arxiv2025]
 • 言語処理×認知科学（東大）
 ◦ 人間らしい認知制約を加えた学習効率の高い言語モデル [ACL2025]
 3 https://chemicaltree.github.io/ 00 自己紹介

4. 臨界期仮説に基づく学習効率の高い言語モデル 
 [三田ら’NLP2025最優秀賞, Mita+’ACL2025]
 4
 計算心理言語学の概観 
 [おまけ] 研究Tips
 Today’s Topic 01
 02
 03

5. 臨界期仮説に基づく学習効率の高い言語モデル 
 [三田ら’NLP2025最優秀賞, Mita+’ACL2025]
 5
 計算心理言語学の概観 
 [おまけ] 研究Tips
 Today’s Topic 01
 02
 03

6. LLMと⼈間の「⾔語獲得効率」における乖離 • LLMは多くの評価指標において⼈間と同等の性能を達するために ⼈間と⽐較して 3~4 桁多いデータ量を必要 [Warstadt+’23] 6 [Warstadt+’23] より ➢ ⼈間の⾔語処理や獲得過程からの「教訓」が存在しうることを⽰唆 01 計算心理言語学の概観 

7. ⼈間とLLMではインプットの質も違う •  ：視覚‧聴覚‧⾝体的接触‧社会的やりとりといったマルチモーダルな体験が伴う ◦ 「発話された⾳」と「それ以外の感覚体験」の経験的共起性（i.e., 間接証拠の「恒常的連接」） ◦ 例: 親が出来⽴ての料理を⼦供に「熱くないよ〜」と渡すが, ⼦供の体験としては「熱い」ので ⼦供は熱いという感覚を「熱くない」と学習してしまう •  ：⼦どもは曖昧で不完全な⼊⼒から, 豊かな⽂法知識を獲得できる ◦ e.g., 関係代名詞を含む複雑な⽂や動詞の活⽤体系を網羅するような例は，⼦どもの⽇常⾔語環境には ほとんど現れない •  ：主に書き⾔葉のテキスト（⼤⼈向け, 形式的な⽂章が多い）に偏っている ◦ 基本的にテキストのみから学習し, ⾝体性‧⽂脈性‧感覚的体験が⽋落 7 01 計算心理言語学の概観 

8. ⼼理⾔語学 8 01 • ⼼理⾔語学：⼈間の⾔語処理‧獲得の仕組みの解明を⽬指す学問 ◦ ⼈間がどのように⽂処理を⾏っているのか, ⾔語学的な観点から知りたい [Kriegeskorte & Douglas’18]
 心理言語学 
 理論言語学 
 計算言語学 
 自然言語処理 
 神経言語学 
 認知神経科学 
 計算心理言語学の概観 

9. 計算⼼理⾔語学 9 01 • 計算⼼理⾔語学: ⼼理⾔語学的問題に対して, 計算論的アプローチで取り組む学問 [Kriegeskorte & Douglas’18]
 心理言語学 
 理論言語学 
 計算言語学 
 自然言語処理 
 神経言語学 
 認知神経科学 
 計算心理言語学 
 計算心理言語学の概観 

10. 計算⼼理⾔語学 • ⾔語獲得（学習） ◦ e.g, カリキュラムラーニング 10 01 • ⾔語処理（推論） ◦ e.g., 読み時間のモデリング [Salhan+24]
 [Kuribayashi+24]
 計算心理言語学の概観 

11. ⾔語モデルによる⾔語獲得の検証可能性 • 従来の限界 ◦ ⼈間という⼀種類の統計的学習者しか観察できず, どの学習特性が⾏動に影響してい るか特定困難 • LMsの進化による転機 ◦ 多くの⺟語話者のような⽂法判断を模倣できる[Warstadt+’20, Zhang+’21] ▪ ⽂法判断が⻑らく⺟語話者知識の主要な⾏動的指標とされてきた [Chomsky’57; Johnson & Newport’89] ことを踏まえると重要 ◦ 否定的証拠を必要とせずに, ⾮構造化された⼊⼒からの学習という点も⼈間に近い 11 01 計算心理言語学の概観 
 • ただし, 学習メカニズムや構造は⼈間と異なるため, ◦ 「⼈間に特有の現象」or 「⼀般的な学習者に共通する現象」かを切り分けて調査可能
12. 検証の⽅法論: リバース‧エンジニアリング • LMを⼈間学習者の代替実験系として⽤いる [Dupoux’18] ◦ ⼈間の認知仮説を制御的に検証できる強⼒な⼿法 • 応⽤⽅法：帰納バイアスのテストベッド ◦ モデルに特定のバイアスを導⼊∕除去し, ⾔語現象の習得可否を⽐較 ▪ 帰納バイアスなし：失敗 ▪ 帰納バイアスあり：成功 → そのバイアスは⼈間にも必要？ 12 01 計算心理言語学の概観 

13. 批判的論点（深層学習は認知モデルとして妥当か？） • Marrの3レベル [Marr’82] に基づく批判： ◦ ニューラルネットは実装レベルに過ぎず, アルゴリズム/計算理論レベルでの説明 ⼒が乏しい ◦ 実装レベルとしても神経科学的‧⽣物学的妥当性にも課題 ▪ ニューラルネットのニューロン数は⽣物の神経系に⽐べ⼤幅に少なく, ⼈よりも遥かに少ない⾍やネズミの 「数‧時間‧場所」に関する記憶メカニズムですら説明できない [Gallistel & King’09] 13 01 1. Computational theory: What is the goal of the computation, why is it appropriate, and what is the logic of the strategy by which it can be carried out?
 2. Representation and Algorithm: How can this computational theory be carried out? In particular, what is the representation for the input and output, and what is the algorithm for the transformation?
 3. Hardware Implementation: How can the representation and algorithm be realized physically?
 [Embick & Poeppel’15]
 Marr’s three levels
 計算心理言語学の概観 

14. 批判的論点（深層学習は認知モデルとして妥当か？） • Marrの3レベル [Marr’82] に基づく批判： ◦ ニューラルネットは実装レベルに過ぎず, アルゴリズム/計算理論レベルでの説明 ⼒が乏しい ◦ 実装レベルとしても神経科学的‧⽣態学的妥当性にも課題 ▪ ニューラルネットのニューロン数は⽣物の神経系に⽐べ⼤幅に少なく, ⼈よりも遥かに少ない⾍やネズミの 「数‧時間‧場所」に関する記憶メカニズムですら説明できない [Gallistel & King’09] 14 01 1. Computational theory: What is the goal of the computation, why is it appropriate, and what is the logic of the strategy by which it can be carried out?
 2. Representation and Algorithm: How can this computational theory be carried out? In particular, what is the representation for the input and output, and what is the algorithm for the transformation?
 3. Hardware Implementation: How can the representation and algorithm be realized physically?
 [Embick & Poeppel’15]
 Marr’s three levels
 ➢ 説明可能性や⽣態学的妥当性を慎重に評価する必要がある 計算心理言語学の概観 

15. 15 参考文献
 • 折田奈甫. “私のブックマーク「第一言語獲得から考える人工知能」 ”. 人工知能学会誌. Vol.38 No.2. 2023.
 • ノバート・ホーンスティン, 岡野原大輔, 瀧川一学, 折田奈甫. “人間の言語能力とは何か ―生成文法からの問い 2: 人 工知能という分野が 謙虚であったことなど一度もない ”. 科学（岩波書店）. 2023.
 • 磯野真之介, 染谷大河, 深津聡世, 山下陽一郎, 山田裕真, 杉本侑嗣. “計算心理言語学と橋渡し仮説 ”. 大関・広瀬ゼ ミ合同合宿ワークショップ. 2022.
 

16. 臨界期仮説に基づく学習効率の高い言語モデル 
 [三田ら’NLP2025最優秀賞, Mita+’ACL2025]
 16
 計算心理言語学の概観 
 [おまけ] 研究Tips
 Today’s Topic 01
 02
 03

17. LLMと⼈間の「⾔語獲得効率」における乖離（再掲） • LLMは多くの評価指標において⼈間と同等の性能を達するために ⼈間と⽐較して 3~4 桁多いデータ量を必要 [Warstadt+’23] 17 [Warstadt+’23] より ➢ ⼈間の⾔語処理や獲得過程からの「教訓」が存在しうることを⽰唆 02 臨界期仮説に基づく学習効率の高い言語モデル 

18. 第⼀⾔語（L1）獲得における臨界期 • ⾔語を効率的に習得できる特定の時期（臨界期; CP）が存在し, この時期を過ぎるとその能⼒が低下するという理論 [Lenneberg’67] ◦ 例：ろう者で幼少期に⼿話に触れなかった場合, 後から学んでも⽂法能⼒が著しく 制限される [Mayberry & Fischer’89, Newport’90] ◦ ⾔語に初めて曝露される時期が遅いと, ⾔語獲得そのものが困難 • 期間 ◦ 脳の側性化が思春期までに完了し，これが⾔語獲得能⼒の低下と関連することか ら臨界期は思春期（約12〜13歳）まで続く[Lenneberg’67] ◦ Krashen (1973) は，このLennebergの仮説を再検討し，臨界期の基盤となる脳の 側性化の発達が約5歳までに完了することを⽰し，臨界期が思春期よりも早い時期 に終了する可能性を指摘 18 02 臨界期仮説に基づく学習効率の高い言語モデル 

19. 第⼆⾔語（L2）との作⽤による臨界期現象 • CP for L2 Acquisition（第⼆⾔語習得における臨界期） ◦ L2を流暢かつ⽂法的に⾃然に習得できる期間は限られている ◦ 臨界期を過ぎると, L2の⾳韻‧⽂法的流暢さが低下しやすい ◦ [Johnson & Newport’89]の事例 ▪ 幼少期にL2に触れた学習者は、成⼈後に始めた学習者より⽂法判断の成績が 良い ▪ ⾳韻（アクセント）に関しては特に顕著 • CP for L1 Attrition（第⼀⾔語喪失における臨界期） ◦ L1への曝露が幼少期に中断されると, その⾔語能⼒を失いやすいという現象 ▪ ⼀⽅で, 臨界期以降にL1曝露が途絶えても能⼒は⽐較的保持される ◦ [Pallier+’03]の事例 ▪ 幼少期に韓国で育ち, その後フランスに養⼦に出された⼦どもは, 成⼈後にL1 （韓国語）を完全に忘れていた 19 02 臨界期仮説に基づく学習効率の高い言語モデル 

20. 臨界期現象における２つの⽴場 • ⽣得主義 [Penfield’65, Chomsky’65, Pinker’94] ◦ 「臨界期の存在は, ⾔語獲得が⽣得的な⾔語能⼒に依存している証拠である」 ◦ 根拠 ▪ 臨界期を過ぎると, 神経可塑性が低下し, 完全な⾔語習得が困難になる • 経験主義 [Elman+’96, Seidenberg & Zevin’06] ◦ 「臨界期後のL1獲得能⼒の低下は, 環境的‧経験的要因によって説明できる」 ▪ 例：基礎的な⾔語構造がすでに内在化されると, 学習の必要性が減るため, 学習能 ⼒も下がる ◦ 根拠 ▪ 可塑性の低下は⽣得的制約ではなく, 学習の⽬的が消失した結果とみなす ▪ CPは「能⼒の限界」ではなく, 環境と動機づけの変化に起因する可能性 20 02 ➢ 臨界期の正確な境界やメカニズムは依然として議論が続いている 臨界期仮説に基づく学習効率の高い言語モデル 

21. Less-is-More仮説 21 • 論拠 ◦ 幼児は処理可能な情報が限られるため，⾔語の基本的なパターンや構造 （例: ⽂法規則）を効率的に抽出できる ◦ ⼀⽅，⼤⼈は認知能⼒が⾼いがゆえに複雑な情報に気を取られ規則の学習 が妨げられる 幼児の認知的な制約（例: 短期記憶の容量や注意の範囲）がむしろ ⾔語学習に有利に働く[Newport’90] Less-is-More仮説
 02 臨界期仮説に基づく学習効率の高い言語モデル 

22. 本研究の概要 • ⽬的 ◦ ✅⼈間の作業記憶の発達特性を⾔語モデルの学習に組み込みことで, 効率的な第⼀⾔語 (L1) 獲得が可能か検証 • 提案⼿法&検証⽅法 ◦ 🔸学習初期では記憶を制限し, その後指数関数的に緩和する機構の導⼊ ◦ 🔸統語評価ベンチマーク上で記憶制限なし/静的制限ありの⼿法と⽐較 • 結果&貢献 ◦ 🚀提案⼿法が最も効率的な⽂法獲得を実現 ◦ 📌NLP: データ効率の良い⾔語モデル設計のための新たな⽅針を提供 ◦ 📌認知科学: 作業記憶の発達特性が臨界期の基盤メカニズムとなる可能性を⽰唆 22 02 臨界期仮説に基づく学習効率の高い言語モデル 

23. 既存研究 ‒ Constantinescu et al. (2025) • ⽬的 ◦ ⾔語獲得におけるCP効果（for L2 Acquisition & L1 Attrition）が ▪ 統計的学習から⾃然に⽣じるものか？ ▪ それとも⽣得的な可塑性低下に基づくのか？ を⾔語モデルを⽤いて検証 • 実験デザイン ◦ L1/L2の習得順序（曝露時期）を操作し, LMを⼀から訓練 ▪ 早期バイリンガル vs L1 → L2 ▪ L1学習後にL2を学んだときのL1保持の有無を⽐較 ◦ 正則化⼿法 EWC [Kirkpatrick+’17]を⽤いて⼈⼯的に可塑性 の時間的低下を導⼊ • 主な結果 ◦ LMは⼈間のようなCP効果を⾃然には⽰さない ▪ → L2の習得は早期でも有利にならず ▪ → L1は容易に忘れる（catastrophic forgetting） ◦ EWCで可塑性を制御すると ▪ L1保持とL2習得困難というCP効果が再現 23 02 臨界期仮説に基づく学習効率の高い言語モデル 

24. ⼈間の作業記憶の発達軌跡 • 幼児期から初期学齢期（2~7 歳）： ◦ 記憶容量と処理能⼒が急速に向上 [Cowan+’91, Gathercole+’04] • 中学齢期から思春期（8~14 歳）： ◦ 成⻑速度が鈍化し, 脳の成熟が進む [Luna+’04, Gathercole+’04] • 思春期後（15 歳以上）： ◦ 成⼈レベルの作業記憶能⼒に到達し, 成⻑がほぼ停⽌ [Sowell+’02, Luna+’04] 24 02 臨界期仮説に基づく学習効率の高い言語モデル 

25. ⼈間の作業記憶の発達軌跡 • 幼児期から初期学齢期（2~7 歳）： ◦ 記憶容量と処理能⼒が急速に向上 [Cowan+’91, Gathercole+’04] • 中学齢期から思春期（8~14 歳）： ◦ 成⻑速度が鈍化し, 脳の成熟が進む [Luna+’04, Gathercole+’04] • 思春期後（15 歳以上）： ◦ 成⼈レベルの作業記憶能⼒に到達し, 成⻑がほぼ停⽌ [Sowell+’02, Luna+’04] 25 言語獲得の臨界期 [Lenneberg’67]
 臨界期における作業記憶の発達的特性を⾔語モデルに組み込む ことで効率的な⾔語獲得が誘発されるか？ RQ
 02 臨界期仮説に基づく学習効率の高い言語モデル 

26. 作業記憶の認知モデリング • 作業記憶の発達は指数関数的に増加する形で モデル化可能: y = b − a x (0 < a < 1) • 指数モデルの妥当性: ◦ 成熟した後の記憶容量の上限（漸近線）を表現可能 ◦ 幼児期の急速な成⻑を適切に表現 ◦ 線形や対数モデルよりも現実の発達パターンに適合 26 言語獲得の臨界期 [Lenneberg’67]
 成人レベルの最大記憶容量
 成長速度
 02 臨界期仮説に基づく学習効率の高い言語モデル 

27. ⾔語モデルにおける「作業記憶」の制限⽅法 • 記憶の制限⼿法として, ⾔語モデルへの「新近性バイアス」を導⼊する ALiBi（Attention with Linear Biases）[Press+’22] を活⽤ ◦ 注意スコアを計算する際, トークン間の距離に応じて負の線形ペナルティを付与 ◦ ⼈間の読解⾏動に近いサプライザルの推定が可能 [Clark+’25] • ALiBiを適⽤するうえでの課題 ◦ ALiBiの勾配 𝓂 は各注意ヘッドで固定のため静的な記憶制限を表現 ◦ ⼈間の作業記憶の発達特性（動的な記憶制限）を⼗分に反映できない 27 [Press+’22] より 02 臨界期仮説に基づく学習効率の高い言語モデル 

28. 提案⼿法: DynamicLimit-Exp • 学習の進⾏に応じて勾配𝓂を指数関数的に減少 • 記憶容量 𝑤 𝘵 は, モデル に基づき 次式で既定 28 （𝓂 𝘵 : 初期勾配, r: 減衰率, 𝘵: エポック数）
 𝓂 𝘵 = 𝓂 0 ·r𝘵 𝑤 𝘵 ≔ 1 − 𝓂 𝘵 ➢ モデルは初期段階では近距離の注意を重視し, 学習が進むにつれて ⻑距離の依存関係に注意を向けられる 02 臨界期仮説に基づく学習効率の高い言語モデル 

29. 実験設定 • ベースモデル ◦ GPT-2[Radford+’19]の⼩規模版（4層, 4注意ヘッド, 256次元） • データセット ◦ AO-CHILDES [Huebner&Willits’21] ▪ 英語圏のおよそ 1 ~ 6歳までの⼦ども向け発話（CDS）が年齢順に収録された 5M単語規模のデータセット ◦ Wikipedia ▪ 50万⽂をランダム抽出 cf. [Huebner+’21] • 評価 ◦ Zorro [Huebner+’21] ▪ ⽂法項⽬ごとに容認可能な⽂と不可能な⽂からなるミニマルペアを⽤いて ⾔語モデルの統語能⼒を評価するBLiMP[Warstadt+’20]のCDS特化版 ▪ seedを変えた3試⾏の平均値を報告 29 P(The lie on the foot is flat.) > P(*The lies on the foot is flat.) 
 臨界期効果は特定の⼊⼒刺激（例: CDS） or 学習メカニズムに起因するかを切り分け 02 臨界期仮説に基づく学習効率の高い言語モデル 

30. ベースラインモデル • NoLimit（GPT-2に相当） ◦ 記憶制限をかけないモデル ◦ 学習初期から作業記憶が⼀定であり，思春期以降 に観察される発達が成熟した作業記憶を模倣 • StaticLimit（GPT-2 w/ ALiBiに相当） ◦ 注意スコア計算時にALiBiを適⽤したモデル ◦ 学習初期から学習後期にかけて⼀定の記憶制限 • DynamicLimit-Linear ◦ ALiBiの勾配𝓂を学習の進⾏に伴い「線形」に減少 させたモデル ◦ 作業記憶の発達特性の粗い近似 30 線形増加と指数関数的増加を公平に⽐較する ために記憶容量の初期値と最終値を統制 02 臨界期仮説に基づく学習効率の高い言語モデル 

31. ⾔語獲得における臨界期現象は再現されるか？ ➢ L1獲得における臨界期現象の再現を確認 ◦ 作業記憶の発達特性が重要な役割を果たしている可能性を⽰唆 31 AO-CHILDES
 
 +5.7
 02 臨界期仮説に基づく学習効率の高い言語モデル 

32. 臨界期効果は特定の⼊⼒刺激（データ）に依存するか？ 32 ➢ 臨界期効果は⼊⼒刺激ではなく（⼦供特有の）学習メカニズムに起因 AO-CHILDES
 Wikipedia
 +5.7
 +4.4
 02 臨界期仮説に基づく学習効率の高い言語モデル 

33. 臨界期効果は “Less-is-More”に起因するか？ 33 性能向上は作業記憶の「変化（ ≠ 成長）」による 副作用（例: 情報量の増加）では？
 02 臨界期仮説に基づく学習効率の高い言語モデル 

34. 臨界期効果は “Less-is-More”に起因するか？ 34 反転した認知制約モデル を用いて検証
 性能向上は作業記憶の「変化（ ≠ 成長）」による 副作用（例: 情報量の増加）では？
 02 臨界期仮説に基づく学習効率の高い言語モデル 

35. 臨界期効果は作業記憶の「成⻑」により誘発される 35 02 臨界期仮説に基づく学習効率の高い言語モデル 

36. 臨界期効果は作業記憶の「成⻑」により誘発される 36 (a) Mark fixed one worn canal, and Roger fixed more (worn canals).
 (b) *Mark fixed one canal, and Roger fixed more worn.
 例: ELLIPSIS（”省略”）
 「more worn」だけでは完全な 意味を成さないため非文
 省略された部分が明確に推測で きる場合のみ許容
 長距離依存関係の維持 が必要 ➢ 学習初期段階から多くの記憶容量が必要な項目は提案手法ではうまくいかない可能性 
 02 臨界期仮説に基づく学習効率の高い言語モデル 

37. 学習中の発達的な改善の追跡 37 02 臨界期仮説に基づく学習効率の高い言語モデル 

38. 記憶容量の発達的拡張が表現学習に与える影響 38 02 • RQ ◦ 記憶容量の発達的拡張（DynamicLimit）が, ⾔語モデルの表現空間（埋め込み）の変化にどのような 影響を与えるか？ • 分析⼿法 ◦ t-SNEによる可視化（例: FILLER.GAP）: 各Epochで得られた中間層の埋め込みをt-SNEで次元圧縮し, 表現空間の多様性と変化を可視化 ▪ NoLimitモデル: Epoch5以降でクラスタの縮⼩‧重複 → 表現学習の停滞 ▪ DynamicLimit-Expモデル: クラスタが⼀貫して分離‧進展 → 継続的な学習と構造化の兆候 臨界期仮説に基づく学習効率の高い言語モデル 

39. 段階的な記憶拡張は表現学習の質を向上させる 39 02 • 分析指標 ◦ Epoch内の多様性（entropy）: 同時点での表現の分散性‧表現⼒（等⽅性） ◦ Epoch間の変化量（Mean Distance）: 時間に伴う学習の進展度 • 結果 ◦ 埋め込みの多様性を維持し過度な圧縮を防ぐ ◦ クラスター間の分離が保たれ学習が停滞しにくい ◦ 異⽅性が抑制されより構造化された表現学習が可能性 ▪ 埋め込み空間の等⽅性が統語的汎化を促進 [Diehl Martinez+'24] 臨界期仮説に基づく学習効率の高い言語モデル 

40. ⼊⼒⽂の⻑さとモデル性能の関係 40 02 • Wikipediaから⻑さ別に4種のデータセット（各50万⽂）を作成： [5‒10], [11‒50], [51‒100], [101‒150] 臨界期仮説に基づく学習効率の高い言語モデル 

41. 認知科学への貢献とその限界 • 本研究の主張は 「発達的制約が有効かもしれない」という仮説⽣成的証拠に留まる ◦ Marrの分類で⾔うところの「計算論レベル」での整合性を⽰したにすぎない ◦ ⼈間の脳内で同様のプロセスが起きているかは未検証 41 02 1. Computational theory: What is the goal of the computation, why is it appropriate, and what is the logic of the strategy by which it can be carried out?
 2. Representation and Algorithm: How can this computational theory be carried out? In particular, what is the representation for the input and output, and what is the algorithm for the transformation?
 3. Hardware Implementation: How can the representation and algorithm be realized physically?
 [Embick & Poeppel’15]
 Marr’s three levels
 臨界期仮説に基づく学習効率の高い言語モデル 

42. 発達的制約の導⼊がモデルにもたらしうる理論的意義 • ⾔語は⼈間に最適化された構造物 ◦ ⾔語は⼈間によって, ⼈間に向けて伝達されてきた⽂化的産物 ◦ 特に「⼩さな⼈間（⼦ども）」に向けた伝達を通じて進化 ◦ → ⾔語そのものが「制約された学習者」を前提に最適化されている • モデルにも「制約を⼊れる」理論的正当性 ◦ 制約（発達的‧認知的）= 帰納バイアス ◦ ターゲット（=⾔語）が制約を持つ学習者向けに最適化されているなら, 制約を持つモデルの⽅が「⾔語の構造」に適合しやすい ◦ → 単に⼈間らしさを模倣するのではなく，⾔語という対象の本質に即した設計指針 となりうる 42 02 臨界期仮説に基づく学習効率の高い言語モデル 

43. ⼈間の⾔語処理メカニズムとの接続 • ACT-R理論 [Anderson & Milson’89] ◦ “⾔語処理”において, 成⼈の作業記憶はべき乗関数的 （指数関数的コンポーネントを含む）に減衰 • 論点 ◦ ⾔語獲得（発達）と⾔語処理（運⽤）の共通的な制約 原理が存在する可能性？ 43 02 臨界期仮説に基づく学習効率の高い言語モデル 

44. まとめ • 作業記憶の発達特性を⾔語モデルに組み込む⼿法を提案 ◦ 学習初期では記憶を制限し, 学習の進⾏に伴い指数関数的に緩和する機構の導⼊ • 統語評価ベンチマークにおいて, 記憶制限なし/静的制限ありのモデル よりも優れた性能を確認 → L1獲得における臨界期現象の再現 ◦ 段階的な記憶拡張により ▪ 初期に基本的なパターン抽出を優先し, 後に複雑な規則をブートストラップ的に 学習させることで規則の汎化を促進するとともに, ▪ 異⽅性が抑制されより構造化された表現学習の促進に寄与した可能性 • 発達的制約の導⼊がモデルにもたらしうる理論的意義を議論 ◦ 単なる⼈間の模倣ではなく⾔語という対象の本質に即した設計指針となりうる 44 02 臨界期仮説に基づく学習効率の高い言語モデル 

45. 臨界期仮説に基づく学習効率の高い言語モデル 
 [三田ら’NLP2025最優秀賞, Mita+’ACL2025]
 45
 計算心理言語学の概観 
 [おまけ] 研究Tips
 Today’s Topic 01
 02
 03

46. 学⽣時代（博⼠課程）で意識してたこと • 守破離を意識する ◦ とにかく打席に⽴つ ▪ cf. 成功の⽅程式 [賀沢’12] ◦ いいなと思ったやり⽅を真似る ▪ My favorite paperを作ってた ◦ ⾃分の今の研究‧執筆スタイルがある程度確⽴し 始めたのはD3頃（3本⽬くらいから..？） • 学外含め幅広いコラボレーション ◦ 永⽥さん（甲南⼤）, ⾦⼦さん（現MBZUAI）, 萩原 さん（Earth Species Project）, 坂⼝さん（現東北 ⼤）, ⾕中さん（東⼤）...etc. ◦ いろいろな研究スタイルがあることを学べた 46 03 研究Tips
 https://chemicaltree.github.io/
47. 研究は最良のOJT • 実践の中で鍛えられる⼒ ◦ ⼤変すぎる作業をどう効率よく進めるか（タスク処理⼒） ◦ ⼩さな仮説検証の積み重ねで鍛えられる論理的思考（問題解決⼒） ◦ 複数プロジェクトを⾒通して並⾏処理（マルチタスク管理能⼒） • 思考の構造化と⾔語化 ◦ 問題の全体構造を捉え, 必要な⼿段を選び取る⼒（「全体像 → 部品」思考） ◦ 論⽂執筆‧発表を通じた表現と説得の訓練（ドキュメント‧プレゼン能⼒） • …etc. 47 03 研究Tips

48. 研究で⼤事にしていること • とにかくトップダウンに • ロジックとの闘い • 全てにwhyがある 48 03 研究Tips

49. 研究で⼤事にしていること • とにかくトップダウンに ◦ いわゆるプランニング ◦ 何かを考えるときは，⽬的（Goal）のことをいつも忘れない ◦ 何がmust-haveで何がnice-to-haveか • ロジックとの闘い ◦ 論⽂ではロジックをしっかり書くことを最優先にせよ ▪ 必ず伝わって欲しいロジックを書く ◦ ロジックを⼈に説明できないなら，執筆には取り組むな ▪ ⾔いたいこと書く→ ツリー → リニアライズ（ここでロジックをチェック） → 論⽂ • 全てにwhyがある ◦ 何のために, 何をやっているのか ◦ ひとつひとつの⽂には, そこにある理由があるべき 49 03 研究Tips

50. 研究で⼤事にしていること • とにかくトップダウンに ◦ プランツリー ◦ 何かを考えるときは，⽬的のことをいつも忘れない ◦ ⼿段と⽬的の関係を常に意識せよ。 • ロジックとの闘い ◦ 論⽂ではロジックをしっかり書くことを最優先にする ▪ 必ず伝わって欲しいロジックを書く ◦ ロジックを⼈に説明できないなら，執筆には取り組まない ▪ ⽇本語でいいから, ⾔いたいことをとにかく書く→ ツリー → リニアライズ （ここでロジックを確認）→ 論⽂ • 全てにwhyがある ◦ なんのために, 何をやっているのか ◦ ひとつひとつの⽂には, そこにある理由があるべき 50 03 研究Tips

51. 研究で⼤事にしていること • とにかくトップダウンに ◦ プランツリー ◦ 何かを考えるときは，⽬的のことをいつも忘れない ◦ ⼿段と⽬的の関係を常に意識せよ。 • ロジックとの闘い ◦ 論⽂ではロジックをしっかり書くことを最優先にする ▪ 必ず伝わって欲しいロジックを書く ◦ ロジックを⼈に説明できないなら，執筆には取り組まない ▪ ⽇本語でいいから, ⾔いたいことをとにかく書く→ ツリー → リニアライズ （ここでロジックを確認）→ 論⽂ • 全てにwhyがある ◦ なんのために, 何をやっているのか ◦ ひとつひとつの⽂には, そこにある理由があるべき 51 03 研究Tips

52. 分野を超えて学際領域に臆せず⾶び込もう • 本研究から得た気づき cf.「素⼈発想, ⽞⼈実⾏ [⾦出’12]」 ◦ 進学当初は認知科学‧⾔語学に関する専⾨知識はほぼない（今もたいしてないが..） ▪ むしろその「素⼈⽬線」が独創性を⽣む原動⼒になった（かも） ◦ ⼀⽅, 研究に必要となる思考⼒‧分析⼒‧設計⼒ といった能⼒基盤や実験設計‧論⽂ 執筆のノウハウなどは分野を超えて共通する部分も多かった ▪ 専⾨的な⽔準での「実⾏」に移すことができた 52 03 ➢ ⾃⾝の専⾨との接点を⾜がかりに学際的な研究へと踏み出すことは⼗分に 可能であり, またそれが新たな独⾃性や視野の広がりに繋がる 研究Tips

53. 53
 付録
54. [付録1] Word distribution 54
55. [付録2] Grammatical categories in Zorro 55
56. [付録3] Hyperparameters 56