ニュースメディアにおける事前学習済みモデルの可能性と課題 / IBIS2024

第27回情報論的学習理論ワークショップ (IBIS2024)
企画セッション 3 ビジネスと機械学習
https://ibisml.org/ibis2024/os/#os3

Transcript

1. 石原祥太郎 shotaro.ishihara@nex.nikkei.com 日本経済新聞社 日経イノベーション・ラボ 上席研究員 IBIS2024 企画セッション「ビジネスと機械学習」 2024 年 11 月 7 日 ニュースメディアにおけ る事前学習済みモデルの 可能性と課題
2. • 2013〜2017 年：大学時代 ◦ 大学新聞で記者・編集長・データ分析など ◦ 工学部でデータ分析 • 2017 年〜：日本経済新聞社 ◦ 事業部門：データ分析やサービス企画・開発 ◦ 研究開発部門：事前学習済みモデルの開発 自己紹介：新聞社✖情報技術 2
3. 1. ニュースメディアの昔と今 ◦ 何が変わったのか？ ◦ 何をしているのか？ 2. 事前学習済みモデルの可能性 3. 事前学習済みモデルの課題 本発表の概要 3
4. 質の高い報道とサービスで 読者・顧客の判断を助け 世界で最も公正で信頼される メディアになる 日本経済新聞社：バリュー・パーパス・ ミッション 4
5. 紙の新聞だけだった時代 5
6. 1. 収集：記者の取材、プレスリリース など 2. 編集：記事執筆、校正、見出し生成 など 3. 提供：紙面編成 など 日々大量の情報を処理 6
7. インターネットが普及した時代 7
8. 1. 収集：インターネット上の大量の情報も対象に 2. 編集：情報技術を駆使した効率化も可能に 3. 提供：推薦の需要の増加、記事データベース化、 ウェブ・スマホ向けアプリ開発 など 4. 計測：顧客の反響が即座に得られるように コンテンツやユーザ行動が「データ」に 8
9. 情報技術を武器に、コンテンツとユーザ行動を主な 分析対象として、事業価値を高める • 新機能開発：推薦、要約、質問応答 など • 業務効率化：情報抽出、編集支援 など ※ 約 100 人のソフトウェアエンジニア・データサイ エンティスト・研究者・デザイナーが在籍 新時代のニュースメディアを創る 9
10. • 衛星データの解析 (日経ビジュアルデータ) • 決算短信からの業績要因文の抽出 [大村ら23] • 政治資金収支報告書からの情報抽出 [山田&青田24] 事例：収集 10
11. • 日経電子版に特化した事前学習済みモデルの構築 [石原ら24a] => 後ほど詳しく • クリック率や滞在時間の予測 [Ishihara+22a, 22b] • ニュース記事に由来する用語を数多く含むクロス ワードパズルの自動生成 [Majima&Ishihara23] 事例：編集 11
12. • 企業名の抽出と曖昧性解消 [澤田ら24] • 記事推薦と多様性の関連性 [Sonoda+24] • ユーザ入力画像からの記事推薦 [田邉ら24] 事例：提供 12
13. • 記事のエンゲージメント指標の開発 • 閲覧頻度・量に基づく解約予測 [山田ら22] 事例：計測 13
14. • [石原ら24a] 石原祥太郎, 村田栄樹, 中間康文, 高橋寛武 (2024). 日本語ニュース記事要約支援に向けたドメイン 特化事前学習済みモデルの構築と活用. 自然言語処理, 2024, 31巻, 4号. • [石原ら24b] 石原祥太郎, 高橋寛武, 白井穂乃 (2024). Semantic Shift Stability: 学習コーパス内の単語の意味変 化を用いた事前学習済みモデルの時系列性能劣化の監査. 自然言語処理, 2024, 31巻, 4号. • [Ishihara+24] Shotaro Ishihara and Hiromu Takahashi (2024). Quantifying Memorization and Detecting Training Data of Pre-trained Language Models using Japanese Newspaper. Proceedings of INLG 2024. • [Ishihara23] Shotaro Ishihara (2023). Training Data Extraction From Pre-trained Language Models: A Survey. Proceedings of TrustNLP 2023. • [Ishihara+22a] Shotaro Ishihara and Yasufumi Nakama (2022). Generating a Pairwise Dataset for Click-through Rate Prediction of News Articles Considering Positions and Contents. Proceedings of C+J 2022. • [Ishihara+22b] Shotaro Ishihara and Yasufumi Nakama (2022). Analysis and Estimation of News Article Reading Time with Multimodal Machine Learning. Proceedings of BigData 2022. • [Ishihara+21] Shotaro Ishihara, Yuta Matsuda, and Norihiko Sawa (2021). Editors-in-the-loop News Article Summarization Framework with Sentence Selection and Compression. Proceedings of HMData 2021. 参考文献 https://hack.nikkei.com/publications/ 14
15. • [大村ら23] 大村和正, 白井穂乃, 石原祥太郎, 澤紀彦 (2023). 極性と重要度を考慮した決算短信からの業績要因 文の抽出. 言語処理学会第29回年次大会発表論文集. • [澤田ら24] 澤田悠冶, 安井雄一郎, 大内啓樹, 渡辺太郎, 石井昌之, 石原祥太郎, 山田剛, 進藤裕之 (2024). 企業 名の類似度に基づく日経企業IDリンキングシステムの構築と分析. 自然言語処理, 2024, 31巻, 3号. • [Sonoda+24] Atom Sonoda, Fujio Toriumi, and Hiroto Nakajima (2024). User Experiments on the Effect of the Diversity of Consumption on News Services. IEEE Access, vol. 12, pp. 31841-31852. • [高橋ら22] 高橋寛武, 石原祥太郎, 白井穂乃 (2022). 単語分散表現を用いた新型コロナウイルスによる意味変 化検出. 言語処理学会第28回年次大会発表論文集. • [田邉ら24] 田邉耕太, 石原祥太郎, 山田健太, 青田雅輝, 又吉康綱 (2024). ニュースを身近に：日常風景からの ニュース推薦. 第210回情報処理学会ヒューマンコンピュータインタラクション研究会. • [Majima&Ishihara23] Kaito Majima* and Shotaro Ishihara* (2023). Generating News-Centric Crossword Puzzles As A Constraint Satisfaction and Optimization Problem. Proceedings of CIKM 2023. (*equal contribution) • [山田ら22] 山田健太, 山本真吾, 石原祥太郎, 澤紀彦 (2022). F√V:オンラインニュースメディアにおける解約 予測指標の開発と活用. 第14回データ工学と情報マネジメントに関するフォーラム. • [山田&青田24] 山田健太, 青田雅輝 (2024). マルチモーダルな深層学習手法を用いた政治資金収支報告書の判 読の試み. 2024年度日本選挙学会総会・研究会. 15
16. • コンテンツやユーザ行動が「データ」に • 情報技術を武器に、事業価値を高める仕事が登場 ◦ 収集・編集・提供・計測 ◦ 新機能開発：推薦、要約、質問応答 など ◦ 業務効率化：情報抽出、編集支援 など • 日経でも研究開発を推進中 第 1 章のまとめ 16
17. 1. ニュースメディアの昔と今 2. 事前学習済みモデルの可能性 ◦ 事前学習済みモデルの構築 ◦ 事例：日経電子版 T5 による編集支援 3. 事前学習済みモデルの課題 本発表の概要 17
18. プロジェクト変遷と世界の研究動向 2019 2021 2023 日経電子版 BERT BERT Google の先駆的な取り組み 多様なモデルの開発 や検証、デモや論文 ChatGPT 一般への急速な認知拡大 BloombergGPT 金融情報特化モデル (50B) より大規模な開発や 商用 API の活用 第 0 期 第 1 期 第 2 期 18
19. • 開発： ◦ 経済情報特化の生成 AI、日経が開発　40 年分の記事学習, 日経 電子版 ◦ 実践：日本語文章生成　Transformersライブラリで学ぶ実装の 守破離, PyCon JP 2022 ◦ [石原ら24a] 石原祥太郎, 村田栄樹, 中間康文, 高橋寛武 (2024). 日本語ニュース記事要約支援に向けたドメイン特化事前学習済 みモデルの構築と活用. 自然言語処理, 2024, 31巻, 4号 • 活用： ◦ AI 編集支援ツール NIKKEI Tailor について　日経イノベーショ ン・ラボが Minutes 向けに開発, Minutes by NIKKEI 19
20. 単語列の生成確率をモデル化したもの 言語モデルとは？ 吾輩 は 猫 で ある P(吾輩は猫である): 単語列の生成確率 P(吾輩) * P(は | 吾輩) * P(猫 | 吾輩は) * P(で | 吾 輩は猫) * P(ある | 吾輩は猫で) 20
21. 大量の文から、入力と出力の対を自動生成して、 単語列の生成確率を推定する 欧州 連合 （ EU は 13 日 ） 欧州 連合 （ ? 欧州 連合 （ ? EU … 事前学習 (自己教師あり学習) 21
22. 学習に使ったテキストの言い回しに近づく可能性 => 記事の下書きや校正など、業務効率化に繋がる 日経電子版での学習 22 欧州 連合 （ EU は 13 日 ） 欧州 連合 （ ? 欧州 連合 （ ? EU …
23. • 独自の表記規則を、全てプロンプトに記述するの は現実的でない • 事前学習済み言語モデルの生成結果を、編集者が 逐一修正していくのも手間 => 研究課題：日経電子版の記事を用いた事前学習済 みモデルで、表記規則を模倣できないか？ 日経電子版特有の言語表現を獲得したい 23
24. • 日経電子版など、日経グループの記事の収集 • HTML タグの除去や重複排除などの前処理 • 計算資源の確保 • Transformers ライブラリを駆使したモデルの 事前学習 事前学習済みモデルの構築 24
25. 編集者の見出し・3 行まとめとの一致度合いで評価 日経電子版 T5 で ROUGE が最良に 25 [石原ら24a] 表 7：3 行まとめの性能評価
26. • 複数候補を提示し ユーザが選択・編 集する (文字数や 含める・含めない 単語などを調整可 能) [Ishihara21] • 予測 CTR も提示 編集支援ツール 26 [石原ら24a] 図 2：スクリー ンショット
27. • 2018 年末の BERT の登場以来、事前学習済みモ デルの可能性を感じて技術検証を進めてきた • 日経電子版 T5 を用いて、一般的なモデルを比べ 編集者の文体を摸した生成を実現 • より大規模なモデルについても研究開発を推進中 第 2 章のまとめ 27
28. 1. ニュースメディアの昔と今 2. 事前学習済みモデルの可能性 3. 事前学習済みモデルの課題 ◦ 幻覚の分析 ◦ 時系列性能劣化 ◦ 訓練データの暗記や抽出 本発表の概要 28
29. • 事前学習済みモデルの開発や活用を進めるだけで なく、同時に課題に関しても検証 • ライブラリやツールが充実している時代だからこ そ、新技術に付随する可能性がある課題を認識し ておくことが大切 • 幻覚の分析 / 時系列性能劣化 / 訓練データの暗記 や抽出 について紹介 事前学習済みモデルの課題の検証 29
30. • ニュースメディアとして、発信する情報の誤りは 致命的 • 事前学習済みモデルでどのような幻覚 (入力に対 して不適切な生成) が発生するかを調査し、対策 を模索しておくのは重要 幻覚の分析 30
31. 幻覚を含む場合、平均情報量が多い 31 [石原ら24a] 表 4：事前学習済み T5 での幻覚の有無の分析
32. 事前学習コーパスに多い表現に引きずられる傾向 特徴的な幻覚の例 32 [石原ら24a] 表 8：事前学習済み T5 での幻覚の例
33. カテゴリ別の詳細分析 33 [石原ら24a] 図 5：カテゴリ別のデータセットを使った分析
34. カテゴリが一致するほど、幻覚が少ない 34 [石原ら24a] 表 9：カテゴリ別のデータセットを使った分析
35. • 幻覚の原因の一つは、事前学習と評価でのコーパ スの変化と推察される (時系列やカテゴリ) • 事前学習コーパスを分析することで、事前学習済 みモデルの性能劣化を検知できるのでは？ ◦ 特に、単語の意味変化の度合いに着目 ◦ モデルの再学習に関する意思決定に繋がる 時系列性能劣化 35
36. 大規模な事前学習は費用がかかる • 「GPT-3 の学習には 460 万ドル（約 4 億 9000 万 円）かかり、1 台の GPU を使用した場合は計算に 355 年かかる」との試算も • 現状は GPT-3 を超える規模のモデルも提案されて いる状況 • 日経電子版の独自モデルは規模が小さいが、当然 無視できないコストがかかる 36
37. • 時期の異なる日経電子版 記事で構築した 2 つの 単語分散表現のベクトル 空間を比較 • 「コロナ」の周辺単語が コロナ前と以後で変化 言葉は日々変化 [高橋ら22] 図 1 を改変 37
38. skip-gram: 中心のある単語から周辺 の単語を予測し，単語の埋め込み表現 を獲得 • コロナ ビール で 乾杯 • コロナ で 療養 中 単語分散表現（本研究では word2vec） Corpus 2019 単語分散表現 38 [石原ら24b] 図 2 を解説用に改変
39. Twitter コーパスを用いて、新型コロナ ウイルス感染症による単語の意味変化 を 分析した Guo ら の手法 Guo らの手法：単語の意味変化の安定性 Corpus 2019 Corpus 2020 単語分散表現 頻出単語 両方向へのマッピング 39
40. 提案：平均を変化の代表値として採用 「Semantic Shift Stability」と呼ぶ Corpus 2019 Corpus 2020 単語分散表現 頻出単語 両方向へのマッピング ※コサイン類似度の 平均値なので、小さ いほど変化が大きい 実装： https://github.com /Nikkei/semantic-s hift-stability 40
41. 日本語 (Nikkei) でも英語 (NOW) でも 2019-2020 年の値が最も小さい => 意味変化が最も大きい Semantic Shift Stability の変遷 41 [石原ら24b] 図 5 を解説用に改変
42. stab の頻度分布から、要因を分析 Nikkei NOW 42 [石原ら24b] 図 6 を解説用に改変
43. 2019-2020 年の違いの分析 43
44. [石原ら24b] 表 6：Nikkei の「コロナ」の類語上位 3 件の変遷 2020 年から「コロナ」の意味が変化 44
45. 2015-2016 年の値も小さい Semantic Shift Stability が Nikkei で 3 番目 ，NOW で 2 番目に小さい 45
46. 2015-2016 年の違いの分析 46
47. 2016 年から「トランプ」の意味が変化 47 [石原ら24b] 表 9：Nikkei の「トランプ」の類語上位 3 件の変遷
48. 12 の日経電子版 RoBERTa を構築 48 1 年ずつ学習コーパス を増やしながら 12 の RoBERTa を構築 [石原ら24b] 表 2：構築した RoBERTa モデ ルごとの学習コーパス
49. 12 の日経電子版 RoBERTa を評価 49 新しいコーパスに対し Pseudo-perplexity (PPPL) で 時系列性能劣化を計測 • 新しいコーパス：学習コーパスから 1 年ごとに 100,000 記事ずつを抽出 • PPPL：穴埋め問題の予測がどれくらい正確かと いう指標 欧州 連合 （ は 13 日 ） ?
50. 前年からの性能の差分を数値化 12 の日経電子版 RoBERTa の性能劣化 2016 と 2020 でモデルは大きく劣化 50 [石原ら24b] 表 4：評価セットの年ごとの性能劣化幅
51. • 事前学習済みモデルは、時に訓練データを暗記 し、そのまま出力する => 著作権やプライバシー の観点で懸念あり ◦ NYT は OpenAI や Microsoft を提訴 • 英語の一般的なコーパスでの議論だけでなく、日 本語でも事前学習済みモデルの暗記を検証してお く意義は大きい 訓練データの暗記や抽出 51
52. 日経電子版で GPT-2 を事前学習（複数エポックで保 存）し、記憶の度合いを検証 日経電子版記事を用いた検証 52 [Ishihara+24] Figure 2
53. 入力：「（前略…）年明け以降の新型コロナウイルス の新規感染者数が大幅に増加するとの懸念が一定の重 荷になっている。」 実際にやってみると…… 出力： 53
54. 文字列が記憶されており、抽出できる 54 [Ishihara+24] Table 3 を解説用に改変
55. エポック数が増えるほど、記憶が進む 55 [Ishihara+24] Table 1 を解説用に改変
56. メンバーシップ推論の性能を調査 56 [Ishihara+24] Table 4 を解説用に改変
57. コーパスの前処理、事前学習時の工夫、モデルの後処 理などで対応 => サーベイ論文 [Ishihara23] どう対策するべき？ Defense: Training Defense: Pre-processing Defense: Post-processing data deduplication data sanitization regularization differential privacy filterling confidence masking knowledge distillation 57 [Ishihara23] Figure 2 を解説用に改変
58. 対策の難しさ 記憶は必ずしも悪ではない • ある一般市民の逮捕を永遠に記憶するのは望まし くない（「忘れられる権利」） • しかし、田中角栄元首相が逮捕された「ロッキー ド事件」などは、歴史的な知識として記憶が許容 される場合もある 58
59. • ニュースメディアの特徴とも関連する、事前学習 済みモデルの課題を検証中 ◦ 幻覚の分析 ◦ 時系列性能劣化 ◦ 訓練データの暗記や抽出 第 3 章のまとめ 59
60. 1. ニュースメディアの昔と今 ◦ コンテンツやユーザ行動が「データ」に 2. 事前学習済みモデルの可能性 ◦ 一般的なモデルと比べた応用を模索中 3. 事前学習済みモデルの課題 ◦ 幻覚 / 時系列性能劣化 / 訓練データの暗記 本発表の振り返り 60
61. • 事前学習済みモデルの可能性の模索 ◦ 日経電子版特化 /自社ならではのメタデータの 活用 (記事公開日やユーザ行動 など) • 事前学習済みモデルの課題への対応 ◦ 幻覚の制御 / 知識編集 / 再学習 など 今後の展望 61