日本語新聞記事を用いた大規模言語モデルの暗記定量化 / LLMC2025

第 22 回 LLM 勉強会での登壇資料 https://llm-jp.nii.ac.jp/news/post-1034/

Transcript

1. 日本語新聞記事を用いた 大規模言語モデルの暗記定量化 石原祥太郎 shotaro.ishihara@nex.nikkei.com 日本経済新聞社 日経イノベーション・ラボ 上級研究員 第 22 回 LLM 勉強会，2025 年 8 月 26 日 謝辞：高橋寛武さん，白井穂乃さん，大村和正さん
2. 研究開発部署・事業部門・編集部門などが連携 • 事業応用 (「日経電子版」などへの実装や業務効率化) ◦ 新聞記事を用いた質問応答，記事推薦，記事へのラ ベル付け，編集支援 (叩き台作り，校正など)…… • 中長的的な視点での研究 ◦ 独自の事前学習済みモデルの構築と評価 ◦ 読みやすさ推定や校閲 (内容誤りの指摘・修正) など 難易度が高い課題の探究 日経での自然言語処理の研究開発 2
3. 事前学習済みモデルによる訓練データの暗記 (memorization) に関する研究が盛んになっている． • The First Workshop on Large Language Model Memorization – L2M2 (ACL 2025 workshop) • The Impact of Memorization on Trustworthy Foundation Models – MemFM (ICML 2025 workshop) 暗記 (memorization) への注目 3
4. • 大規模な事前学習済みモデルの研究開発や実用化が進む中 訓練データが暗記・出力される現象が注目されている． • 暗記性質の解明は著作権・セキュリティ・健全な性能評価 などの観点で重要だが，特に英語以外の言語では実態や課 題が十分に議論されていない． • 本研究では日本語の新聞記事を用いた事前学習済みモデル を構築し，暗記がもたらす可能性や実運用上の課題を，実 証的実験で明らかにする． 日経での取り組みの概要：日本語の事前学習済み モデルによる訓練データの暗記を実証的に調査 4
5. • 訓練データの文体の模倣：(プロンプトに書ききれない) 日 経電子版の表記規定に従った文の生成． • 識別タスクの性能改善：ドメイン適応による日経電子版に 関する識別性能の向上． 暗記がもたらす可能性 5
6. • 著作権：生成テキストが訓練データに一致もしくは類似． 意図しない訓練データへの利用． • 健全な性能評価：評価データが訓練データに含まれるかで 性能が変化． • セキュリティ：誤情報の生産．訓練データを通じた挙動の 操作． 暗記にまつわる課題 6
7. ニューヨークタイムズが OpenAI を提訴 7 https://nytco-assets.nytimes .com/2023/12/NYT_Complain t_Dec2023.pdf
8. 日経電子版などの記事を用いた事前学習済みモデル開発 • 訓練データの文体の模倣：日経電子版 T5 での要約の生成 [自然言語処理a] • 識別タスクの性能改善：日経電子版 BERT での記事カテゴ リの予測 [自然言語処理a] • より大規模なモデルの構築：フルスクラッチ事前学習や継 続事前学習，事後学習 [記事] これまでの取り組み (可能性) 8
9. サーベイ論文の執筆 [TrustNLP 2023] • 著作権：続きの生成やメンバーシップ推論 [INLG 2024] [L2M2 2025] • 健全な性能評価：訓練データの違いによる時系列性能劣化 の分析と監査 [AACL 2022] [自然言語処理b] • セキュリティ：暗記の観点での生成的推薦システムの人気 バイアスの解釈 [人工知能学会全国大会2025] これまでの取り組み (課題) 9
10. 大規模言語モデルの暗記に関する課題のうち，生成の類似性 や訓練データのメンバーシップ推論に焦点を当て事例を紹介 • 著作権：続きの生成やメンバーシップ推論 [INLG 2024] [L2M2 2025] • 健全な性能評価：訓練データの違いによる時系列性能劣化 の分析と監査 [AACL 2022] [自然言語処理b] • セキュリティ：暗記の観点での生成的推薦システムの人気 バイアスの解釈 [人工知能学会全国大会2025] 本日の話題 10
11. いくつかの論点や議論が存在 • 生成結果が，特定の記事と一致もしくは類似しているか => 続きの生成 • 訓練データに，特定の記事が使われているか => メンバーシップ推論 大規模言語モデルと著作権 11
12. 手法: LOSS, PPL/zlib, Min-K% Prob, Min-K%++, ReCaLL 指標: AUC Pre-trained Model Prompt Generation Reference Similarity ▪▪▪▪▪▪▪▪ ▪▪▪▪▪▪▪▪ ▪▪▪▪▪ …… ▪▪▪▪▪▪▪▪ ▪▪▪▪▪▪▪▪ ▪▪▪▪▪▪▪▪ ▪▪▪▪▪▪▪▪ ▪▪▪▪▪ …… Pre-trained Model Generation Inference メンバーシップ推論 続きの生成 Text 12 逐語暗記: 前方一致の文字数 近似暗記: 1 - (編集距離 / 文字数) 暗記定量化の手法
13. 対象のコーパス 検証している実験設定 13 構築方法 一般的な日本語 ドメイン特化の日本語 フルスクラッチ 継続事前学習 ✅ ✅ ✅ 先行研究あり※ • Hirokazu Kiyomaru, et al. A comprehensive analysis of memorization in large language models. In Proc. of the INLG 2024. • 小柳響子ら. LLM の事前学習データ検知法の日英比較. 人工知能学会全国大会論文集 2024.
14. 14 日経電子版 事前学習 GPT-2 (0.17 B) フルスクラッチ事前学習
15. 15 Meta-Llama-3-8B-Instruct 追加コーパス 一般的なコーパス 事前学習 継続事前学習 日経電子版　 日本語 Wikipedia (industry-specific) (general) 継続事前学習
16. 1. 英語での実証的知見は，多くの場合に日本語でも再現 ◦ 英語での実証的知見：暗記は①コーパス内の重複②モデ ルサイズ③プロンプト長ーーと関連 ◦ 特にドメイン特化のコーパスで顕著な傾向 2. 日本語に特異な事象もあり，さらなる分析が必要 ◦ 英語で有効なメンバーシップ推論のヒューリスティック (トークンの絞り込み) が，日本語では機能せず 見えてきたこと 16
17. 入力：「（前略…）年明け以降の新型コロナウイルス の新規感染者数が大幅に増加するとの懸念が一定の重 荷になっている。」 出力： 17 実際に 日経電子版 GPT-2 で試してみる
18. 大規模な暗記 の発生 18 フルスクラッチ 事前学習では， 最大で 48 文字 の暗記が発生 [INLG 2024]
19. エポック (重複) の増加で，暗記が増加 19 日経電子版を用 いた，フルスク ラッチ事前学習 の設定 [INLG 2024]
20. モデルサイズが大きいほど，暗記が増加 20 フルスクラッチ 事前学習された 一般的なモデル を比較 [INLG 2024]
21. 日経電子版を用いた，フルスクラッチ事前学習の設定での メンバーシップ推論の性能 (AUC) [INLG 2024] エポック数やプロンプト長に沿って，暗記が増加 21
22. ドメイン特化のコーパスほど，急速に暗記される 22 日経電子版を用 いた，継続事前 学習の設定 [L2M2 2025] Wikipedia では ほぼ変化なし
23. 継続事前学習の設定 [L2M2 2025] ドメイン特化のコーパスほど，検知されやすい 23
24. 継続事前学習の設定 [L2M2 2025] トークンを絞る Min-K% Prob より LOSS が機能 24
25. 継続事前学習の設定 [L2M2 2025] エポック数やプロンプト長と必ずしも相関せず 25
26. 言語ならではの特徴を精査する必要性を示唆 • 英語では Min-K% (K=20) が最良と報告されているが， 我々の検証ではかなりブレる印象 • テキストを書き換える ReCaLL は高い性能を発揮 • 継続事前学習の設定による影響も調査する必要あり 日本語でのメンバーシップ推論結果の特徴 26 • Weijia Shi, et al. Detecting Pretraining Data from Large Language Models. In Proc. of the ICLR 2024. • Roy Xie, et al. ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods. In Proc. of the EMNLP 2024.
27. • 大規模な事前学習済みモデルの研究開発や実用化が進む中 訓練データが暗記・出力される現象が注目されている． • 暗記性質の解明は著作権・セキュリティ・健全な性能評価 などの観点で重要だが，特に英語以外の言語では実態や課 題が十分に議論されていない． • 本研究では日本語の新聞記事を用いた事前学習済みモデル を構築し，暗記がもたらす可能性や実運用上の課題を，実 証的実験で明らかにする． まとめ：日本語の事前学習済みモデルによる訓練 データの暗記を実証的に調査 27
28. 大規模言語モデルの暗記に関する課題のうち，生成の類似性 や訓練データのメンバーシップ推論に焦点を当て事例を紹介 • 著作権：続きの生成やメンバーシップ推論 [INLG 2024] [L2M2 2025] • 健全な性能評価：訓練データの違いによる時系列性能劣化 の分析と監査 [AACL 2022] [自然言語処理b] • セキュリティ：暗記の観点での生成的推薦システムの人気 バイアスの解釈 [人工知能学会全国大会2025] まとめ：本日の話題 28
29. • [TrustNLP 2023] Shotaro Ishihara (2023). Training Data Extraction From Pre-trained Language Models: A Survey. In Proc. of TrustNLP 2023. • [自然言語処理a] 石原祥太郎ら (2024). 日本語ニュース記事要約支援に向けたドメイン特化事前学習済みモデルの構築 と活用. 自然言語処理, 31巻, 4号. • [記事] 経済情報特化の生成AI、日経が開発　40年分の記事学習 (2024). 日経電子版. • [INLG 2024] Shotaro Ishihara, et al. (2024). Quantifying Memorization and Detecting Training Data of Pre-trained Language Models using Japanese Newspaper. In Proc. of the INLG 2024. • [L2M2 2025] Hiromu Takahashi, et al. (2025). Quantifying Memorization in Continual Pre-training with Japanese General or Industry-Specific Corpora. In Proc. of the L2M2. • [AACL 2022] Shotaro Ishihara, et al. (2022). Semantic Shift Stability: Efficient Way to Detect Performance Degradation of Word Embeddings and Pre-trained Language Models. In Proc. of the AACL-IJCNLP 2022. • [自然言語処理b] 石原祥太郎ら (2024). Semantic Shift Stability: 学習コーパス内の単語の意味変化を用いた事前学習 済みモデルの時系列性能劣化の監査. 自然言語処理, 31巻, 4号. • [人工知能学会全国大会2025] 石原祥太郎 (2025). 生成的推薦の人気バイアスの分析：暗記の観点から. 2025年度人工 知能学会全国大会（第39回）論文集. 紹介した発表文献 29
30. 付録：その他の研究の概要 30 • 訓練データの文体の模倣：日経電子版 T5 での要約の生成 [自然言語処理a] • 健全な性能評価：訓練データの違いによる時系列性能劣化 の分析と監査 [AACL 2022] [自然言語処理b] • セキュリティ：暗記の観点での生成的推薦システムの人気 バイアスの解釈 [人工知能学会全国大会2025]
31. 日経電子版 T5 は編集者の見出し・3 行まとめとの一致度合い で，GPT 3.5 などと比較して高い性能 [自然言語処理a] 訓練データの文体の模倣 31
32. • 訓練データの文体の模倣：日経電子版 T5 での要約の生成 [自然言語処理a] • 健全な性能評価：訓練データの違いによる時系列性能劣化 の分析と監査 [AACL 2022] [自然言語処理b] • セキュリティ：暗記の観点での生成的推薦システムの人気 バイアスの解釈 [人工知能学会全国大会2025] 付録：その他の研究の概要 32
33. 2010〜2021 年まで，1 年ずつ学習コーパスを増やしながら 12 の RoBERTa を構築 [AACL 2022] [自然言語処理b] • 穴埋め問題の予測の正確さ (Pseudo-perplexity; PPPL) で 暗記を定量化 (時系列性能劣化を計測) • 例：2010〜2015 年のデータで事前学習した RoBERTa は 2015 年のデータは暗記し，2016 年のデータは暗記して いない 訓練データの違いによる時系列性能劣化の分析 33
34. 前年からの性能の差分を数値化 • 訓練データに含まれない年の PPPL は悪化 34
35. 付録：その他の研究の概要 35 • 訓練データの文体の模倣：日経電子版 T5 での要約の生成 [自然言語処理a] • 健全な性能評価：訓練データの違いによる時系列性能劣化 の分析と監査 [AACL 2022] [自然言語処理b] • セキュリティ：暗記の観点での生成的推薦システムの人気 バイアスの解釈 [人工知能学会全国大会2025]
36. 暗記の研究の応用可能性 [人工知能学会全国大会2025] • Llama 3 をニュース閲覧履歴でファインチューニングした モデルの生成結果を用い，訓練データ内の文字列の重複数 ・暗記・人気バイアスの関係性を分析した． • 文字列の重複数の偏りがある場合，暗記を介して生成数も 偏り人気バイアスが発生すると示唆された． • 解釈を用い，暗記の対応策の重複排除が人気バイアスの軽 減に活用できると実証した． 生成的推薦の人気バイアスは暗記で解釈できる？ 36