大規模言語モデルは誰を覚えているか / Who Do Large Language Models Memorize?

https://pub.confit.atlas.jp/ja/event/jsai2026/presentation/1H4-OS-5a-05

Transcript

1. 大規模言語モデルは 誰を覚えているか 石原祥太郎 (日本経済新聞社) JSAI 2026 1
2. • LLM は新たな情報との接点となりつつあるが， 既存の検索エンジンとの差異はあまり議論され ていない • 本研究では集合的記憶に着目し，Wikipedia の 訃報記録から，複数の LLM に人物情報の想起を 求め，想起成功率を比較した． • LLM は訃報記録の人物を完全には想起できず， 閲覧数・職業・性別による偏りもあった．日本 語は英語より想起成功率が大幅に低かった． 2
3. • 背景と研究課題 • 訃報記録データセット • LLM の暗記の分析方法 • 実験結果 • 考察 目次 3
4. • 社会の価値観・権力構造・文化的規 範などを反映しながら，絶えず形成 ・維持される [Halbwachs 92] • 社会集団が特定の歴史的出来事や経 験を共有することで、アイデンティ ティを形成し，社会的な結束を強化 社会の集合的記憶 (Collective Memory) 4
5. 集合的記憶の記憶機関 • 紙媒体 (新聞含む)，検索エンジン， LLM へと推移...... • 研究課題：LLM は集合的記憶の観点 で，検索エンジンとどのような違い があるのか？ 5
6. 集合的記憶の記憶機関 • 紙媒体 => 選択者の意向が存在 • 検索エンジン => 文字列の二値的な 処理 (アルゴリズム的記憶) [Esposito 17] 6
7. “勾配的記憶” と言える性質がある？ • 紙媒体 => 選択者の意向が存在 • 検索エンジン => 文字列の二値的な 処理 (アルゴリズム的記憶) [Esposito 17] • LLM => 訓練データに含むもの全て を暗記して出力するわけではない 7
8. LLM の暗記の研究 • 著作権・プライバシ・評価の健全性 などの観点で発展 [石原 26] • LLM による集合的記憶の変化につい て理論・概念的議論はある [Tutuncuoglu 25] が，定量的な実証研究は存在しない 8
9. 1. 継承の程度：社会が記憶に値すると判断した 人物を，LLM はどの程度想起できるか 2. 継承の選択性：LLM の人物想起には，どの ような構造的規則性が存在するか 研究課題：LLM は集合的記憶の観点で， 検索エンジンとどのような違いがあるかを 定量的に調査 9
10. 本研究の手法 両者の合流点として Wikipedia の訃報 記録に着目 • LLM の訓練データ • 集合的記憶のリストの一種 10
11. 日英の Wikipedia 訃報記録を API で取得 11
12. • 閲覧数 (5 群，API で取得) • 性別 (2 群，辞書による判定) => 英語では 10 群から 100 人ずつ， 日本語では性別判定が難しかったため 閲覧数の 5 群から 200 人ずつ 分析用の層化抽出 (各言語 1000 人) 12
13. LLM に人物の説明を問うプロンプトを 投げ，Wikipedia 内の説明と文字列の 類似度を比較 (一定以上で「想起」) • Jaccard 係数：単語集合の重なり • ROUGE-L：最長共通部分列に基づく類似度 • TF-IDF スコア上位 10 語の一致率 暗記の定量化手法 13
14. RQ1：全てが想起されるわけではない 14
15. RQ2：閲覧数との強い相関 15
16. RQ2：テキスト親和性 の高い職業ほど想起さ れやすい • 低 => アスリート・ 軍人など • 高 => 実業家・作家 ・俳優など 16
17. RQ2：女性の想起率の方がわずかに高い • ああああ • • 17 訃報記録では 71.6%が男 性，14.3%が女性と判定
18. 考察：勾配的記憶がもたらすもの？ • 紙媒体では編集者による社会的な判断，検索 エンジンでは全文検索により担保されてきた 集合的記憶に，欠落や偏りが生じる懸念 • 特に言語や閲覧数・テキスト親和性などの観 点で，周縁的な情報が漏れてしまう恐れ • 本来は各コミュニティの社会的交渉を通じて 決定すべきものが，LLM に依存してしまう 18
19. まとめ • LLM が集合的記憶に与える影響を議論するため Wikipedia の訃報記録から，複数の LLM に人物 情報の想起を求め，想起成功率を比較した． • LLM は訃報記録の人物を完全には想起できず， 閲覧数・職業・性別による偏りもあった．日本 語は英語より想起成功率が大幅に低かった． • 今後はより多角的な分析や実践的含意を展開． 19
20. • [Halbwachs 92] Halbwachs, M.: On Collective Memory, University of Chicago Press (1992). • [Esposito 17] Esposito, E.: Algorithmic Memory and the Right to be Forgotten on the Web, Big Data & Society, Vol. 4, No. 1, pp. 1–11 (2017). • [石原 26] 石原祥太郎, 高橋寛武: 大規模言語モデルの訓練データ暗記の 研究動向. 人工知能学会論文誌, 41巻, 4号 (2026). • Tutuncuoglu 25] Tutuncuoglu, B. T.: Algorithmic memory: How AI is rewriting what societies choose to remember or forget, Social Science Research Network (2025). 参考文献 20