DEIM2024 / 大規模言語モデルを用いたカテゴリ説明文付与によるニュース推薦の性能向上

DEIM2024 / 学生プレゼンテーション賞

Transcript

1. 大規模言語モデルを用いた カテゴリ説明文付与によるニュース推薦の性能向上 矢田宙生†, 山名早人† †早稲田大学院 基幹理工学研究科
2. Executive Summary • ニュースコンテンツの理解に重要な情報源 →カテゴリ名単体(e.g. ”tv-golden-glove” )は情報量が不十分 ニュースカテゴリ情報 • 閲覧履歴やプロフィールからユーザが好みそうなニュース記事を推薦 • 言語モデルを活用した手法が高い性能を示す [1] ニュース推薦 • 大規模言語モデル (GPT-4)によりニュースカテゴリの説明文 を生成 → 生成した説明文を追加情報として推薦モデルに入力 提案手法 “The TV-Golden Globes category focuses on news related to the Golden Globe Awards …..” GPT-4 • ベースライン: title only: 記事タイトル文のみ template-based: テンプレートにカテゴリ名を当てはめた文章 • NRMS-BERT[1]をMIND(Microsoft News Dataset)[2]で訓練することで 検証. 結果, 全ての指標において提案手法が 最も高い性能を示した 評価実験 “The news category is tv-golden-glove” ニュース記事カテゴリ情報を入力 記事カテゴリの詳細な説明文を生成 BERT Additional Layer "Pierce Brosnan's Sons Paris and Dylan Named 2020 (ニュース記事タイトル ) "The TV-Golden Globes category focuses on news …” (生成した記事カテゴリの説明文) w 1 w 2 w n-1 w n SEP w 1 w 2 w m-1 w m ・・・ ・・・ w 1 + ニュースベクトル 図 1.1. 記事カテゴリの説明文生成 図 1.2. カテゴリ説明文の推薦モデルへの入力 [1] C. Wu, F. Wu, T. Qi, and Y. Huang, “Empowering News Recommendation with Pre-Trained Language Models,” in Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval, Virtual, 2021, pp. 1652–1656. [2] F. Wu et al., “MIND: A Large-scale Dataset for News Recommendation,” in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Virtual, 2020, pp. 3597–3606. 2
3. 目次 1. はじめに 2. 関連研究 3. 大規模言語モデルを用いたニュースカテゴリ説明文付与 4. 評価実験 5. まとめ 3
4. 目次 1. はじめに 2. 関連研究 3. 大規模言語モデルを用いたニュースカテゴリ説明文付与 4. 評価実験 5. まとめ 4
5. • ニュース推薦: 各ユーザの閲覧履歴やプロフィール等に基づき, ユーザが好みそうな ニュース記事を推薦 • 深層学習を用いたニュース推薦手法[1]: ◦ 「ニュース記事」と「ユーザの嗜好情報」を同じ次元のベクトルに変換→ ベクト ル間の類似度が記事の興味度合い. • 記事ベクトルの獲得に言語モデル(BERT[3], LLaMa[4])を用いた手法[1,5] → 特に高い性能を示す. ニュース推薦 [3] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Minneapolis, Minnesota, 2019, pp. 4171–4186. [4] H. Touvron et al., “LLaMA: Open and Efficient Foundation Language Models,” arXiv preprint arXiv:2302.13971, 2023 [5] Q. Liu, N. Chen, T. Sakai, and X.-M. Wu, “ONCE: Boosting Content-based Recommendation with Both Open- and Closed-source Large Language Models,” arXiv preprint arXiv:2305.06566, 2023. 5
6. 深層学習を用いたニュース推薦モデルの構造 News Encoder h T D T News Encoder ニュースベクトル : h c ユーザが直近でクリックした T本のニュース記事 : D 1 ~ T User Encoder Similarity Calculator News Encoder h 1 D 1 News Encoder h 2 D 2 ・・・ ・・・ ユーザベクトル : u 推薦候補となる記事データ : D c ニュース記事のクリック率 :y 図 1.3. 深層学習を用いたニュース推薦モデル 6
7. [6]C. Wu et al., “NPA: Neural News Recommendation with Personalized Attention,” in Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, Anchorage, AK, USA, 2019, pp. 2576– 2584. [7]M. An et al., “Neural News Recommendation with Long and Short-term User Representations,” in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, Florence, Italy, 2019, pp. 336–345. 深層学習を用いたニュース推薦モデルの構造: News Encoder • ニュースの記事データD c から記事内容を 表現したニュースベクトル h c を算出 • 推薦候補となる記事データ D c : タイトル文, カテゴリ, サムネイル画像 • News Encoderの例: ◦ GloVe + CNN (NPA[6], LSTUR[7]) ◦ BERT + Multihead Attention (NRMS-BERT[1]) ◦ LLaMa(ONCE[5]) News Encoder h T D T News Encoder ニュースベクトル : h c ユーザが直近でクリックした T本のニュース記事 : D 1 ~ T User Encoder Similarity Calculator News Encoder h 1 D 1 News Encoder h 2 D 2 ・・・ ・・・ ユーザベクトル : u 推薦候補となる記事データ : D c News Encoder ニュース記事のクリック率 :y 図 1.3. 深層学習を用いたニュース推薦モデル 7
8. 深層学習を用いたニュース推薦モデルの構造: User Encoder News Encoder h T D T News Encoder ニュースベクトル : h c ユーザが直近でクリックした T本のニュース記事 : D 1 ~ T User Encoder Similarity Calculator News Encoder h 1 D 1 News Encoder h 2 D 2 ・・・ ・・・ ユーザベクトル : u 推薦候補となる記事データ : D c User Encoder ニュース記事のクリック率 :y 図 1.3. 深層学習を用いたニュース推薦モデル 8 • 直近でクリックしたニュース記事リスト からユーザの 好みを表現したユーザベクトルuを 算出. • 算出手順: 1. ユーザが直近でクリックした T本の記事D 1 ~ T をNews Encoderに入力 → T個のニュースベクトルh 1 ~ T を算出
9. 深層学習を用いたニュース推薦モデルの構造: User Encoder News Encoder h T D T News Encoder ニュースベクトル : h c ユーザが直近でクリックした T本のニュース記事 : D 1 ~ T User Encoder Similarity Calculator News Encoder h 1 D 1 News Encoder h 2 D 2 ・・・ ・・・ ユーザベクトル : u 推薦候補となる記事データ : D c User Encoder • 直近でクリックしたニュース記事リスト からユーザの 好みを表現したユーザベクトルuを 算出. • 算出手順: 1. ユーザが直近でクリックした T本の記事D 1 ~ T をNews Encoderに入力 → T個のニュースベクトルh 1 ~ T を算出 2. T個のニュースベクトルh 1 ~ T を, User Encoder に入力し, ユーザベクトルuを算出. ニュース記事のクリック率 :y 図 1.3. 深層学習を用いたニュース推薦モデル 9
10. 深層学習を用いたニュース推薦モデルの構造: User Encoder News Encoder h T D T News Encoder ニュースベクトル : h c ユーザが直近でクリックした T本のニュース記事 : D 1 ~ T User Encoder Similarity Calculator News Encoder h 1 D 1 News Encoder h 2 D 2 ・・・ ・・・ ユーザベクトル : u 推薦候補となる記事データ : D c User Encoder • 直近でクリックしたニュース記事リスト からユーザの 好みを表現したユーザベクトルuを 算出 • 算出手順: 1. ユーザが直近でクリックした T本の記事D 1 ~ T をNews Encoderに入力 → T個のニュースベクトルh 1 ~ T を算出 2. T個のニュースベクトルh 1 ~ T を, User Encoder に入力し, ユーザベクトルuを算出 • User Encoderの例: ◦ Multihead Attentioon(NRMS[8]) ◦ GRU(LSTUR[7]) ニュース記事のクリック率 :y [8] C. Wu et al., “Neural News Recommendation with MultiHead Self-Attention,” in Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, 2019, pp. 6389–6394. 図 1.3. 深層学習を用いたニュース推薦モデル 10
11. 深層学習を用いたニュース推薦モデルの構造: Similarity Calculator News Encoder h T D T News Encoder ニュースベクトル : h c ユーザが直近でクリックした T本のニュース記事 : D 1 ~ T User Encoder Similarity Calculator News Encoder h 1 D 1 News Encoder h 2 D 2 ・・・ ・・・ ユーザベクトル : u 推薦候補となる記事データ : D c Similarity Calculator • ニュースベクトルhとユーザベクトルuの 類似度からニュース記事のクリック率 yを算出 • ニュースベクトルhとユーザベクトルuの 類似度が高い → 予測クリック率yが高い • Similarity Calculator の類似度算出方法: ニュースベクトルhとユーザベクトルuの内積 ニュース記事のクリック率 :y 図 1.3. 深層学習を用いたニュース推薦モデル 11
12. • ニュース記事の内容や扱っているトピックに応じて決定される記事の分類 • MIND[2]データセットにおけるニュースカテゴリの具体例: finance-real-estate, tv-golden-globes, newspolitics, … etc ニュースの記事カテゴリ情報とその課題 ニュース記事カテゴリ • ニュースの記事カテゴリは単一の単語で表される 記事カテゴリ情報の課題 12
13. • ニュース記事の内容や扱っているトピックに応じて決定される記事の分類 • MIND[2]データセットにおけるニュースカテゴリの具体例: finance-real-estate, tv-golden-globes, newspolitics, … etc ニュースの記事カテゴリ情報とその課題 ニュース記事カテゴリ • ニュースの記事カテゴリは単一の単語で表される → カテゴリ名単体は情報量が不十分 記事カテゴリ情報の課題 13
14. 本研究の貢献 14 • 「ニュース記事カテゴリ名の情報不足」を 各ニュース記事カテゴリの詳細な説明文を構築することで解決 • 手作業での構築: 「拡張性が低い」, 「コストが高い」 → 大規模言語モデル(GPT-4)によりカテゴリ説明文を自動生成 • カテゴリ名のみを入力した手法と比較し, 自動生成したカテゴリ説明文を入力した本手法は高い性能を示した
15. 目次 1. はじめに 2. 関連研究 3. 大規模言語モデルを用いたニュースカテゴリ説明文付与 4. 評価実験 5. まとめ 15
16. 関連研究: ニュース推薦 16 • News Encoder/User Encoderに異なるニューラルネットを用いた手法が提案されている 深層学習を用いたニュース推薦 NAML[6] NPA[9] LSTUR[7] NRMS[8] News Encoder CNN, Multi-view Attention CNN, Personalized Attention CNN Multihead Attention User Encoder Multi-view Attention Personalized Attention GRU Multihead Attention [9] C. Wu et al., “Neural news recommendation with attentive multi-view learning,” in Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, Macao, China, 2019, pp. 3863–3869
17. 関連研究: ニュース推薦 17 • News Encoder/User Encoderに異なるニューラルネットを用いた手法が提案されている 深層学習を用いたニュース推薦 NAML[6] NPA[9] LSTUR[7] NRMS[8] News Encoder CNN, Multi-view Attention CNN, Personalized Attention CNN Multihead Attention User Encoder Multi-view Attention Personalized Attention GRU Multihead Attention 事前学習済み言語モデルを用いたニュース推薦 PLM-NR[1] ONCE[5] News Encoderに 用いた言語モデル BERT/RoBERTa/UniLM LLaMa [9] C. Wu et al., “Neural news recommendation with attentive multi-view learning,” in Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, Macao, China, 2019, pp. 3863–3869
18. 関連研究: 大規模言語モデルによる生成文の応用 18
19. [10] K. M. Yoo et al., “GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation,” in Findings of the Association for Computational Linguistics: EMNLP 2021, Punta Cana, Dominican Republic, 2021, pp. 2225–2239. [11] T. B. Brown et al., “Language models are few-shot learners,” in Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver, BC, Canada: Curran Associates Inc., 2020, pp. 1877–1901. 関連研究: 大規模言語モデルによる生成文の応用 19 • 2021年, Yooら[10]は, GPT-3[11]によりテキスト拡張を 文書分類に応用するGPT3Mixを提案. GPT-3で 訓練データの拡張を行い , BERTによる文書分類器を学習 . 未拡張のデータセットによる学習と比較し , 高い性能を示した.
20. [10] K. M. Yoo et al., “GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation,” in Findings of the Association for Computational Linguistics: EMNLP 2021, Punta Cana, Dominican Republic, 2021, pp. 2225–2239. [11] T. B. Brown et al., “Language models are few-shot learners,” in Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver, BC, Canada: Curran Associates Inc., 2020, pp. 1877–1901. [12] J. Liu et al., “Generated knowledge prompting for commonsense reasoning,” in Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Dublin, Ireland, 2022, pp. 3154–3169. 関連研究: 大規模言語モデルによる生成文の応用 20 • 2021年, Yooら[10]は, GPT-3[11]によりテキスト拡張を 文書分類に応用するGPT3Mixを提案. GPT-3で 訓練データの拡張を行い , BERTによる文書分類器を学習 . 未拡張のデータセットによる学習と比較し , 高い性能を示した. • 2022年, Liuら[12]は, GPT-3によるテキスト拡張を 質問応答に応用. 質問文とGPT-3により生成した関連 知識をモデルへと入力 . 質問文のみを入力するベースラインと比較し , 高い性能を示した
21. 関連研究: 大規模言語モデルによる生成文の応用 21 • 2021年, Yooら[10]は, GPT-3[11]によりテキスト拡張を 文書分類に応用するGPT3Mixを提案. GPT-3で 訓練データの拡張を行い , BERTによる文書分類器を学習 . 未拡張のデータセットによる学習と比較し , 高い性能を示した. • 2022年, Liuら[12]は, GPT-3によるテキスト拡張を 質問応答に応用. 質問文とGPT-3により生成した関連 知識をモデルへと入力 . 質問文のみを入力するベースラインと比較し , 高い性能を示した • 2023年, Pratt ら[13]は, CLIPによるゼロショット画像分類 に,大規模言語モデルによる テキスト拡張を応用した CuPLを提案. 画像キャプションのテキストを GPT-3により生成し, モデルに入力. テンプレート「a photo of a {}」ベースのキャプションを用いた手法と比較し ,高い性能を示した [10] K. M. Yoo et al., “GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation,” in Findings of the Association for Computational Linguistics: EMNLP 2021, Punta Cana, Dominican Republic, 2021, pp. 2225–2239. [11] T. B. Brown et al., “Language models are few-shot learners,” in Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver, BC, Canada: Curran Associates Inc., 2020, pp. 1877–1901. [12] J. Liu et al., “Generated knowledge prompting for commonsense reasoning,” in Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Dublin, Ireland, 2022, pp. 3154–3169. [13] S. Pratt, I. Covert, R. Liu, and A. Farhadi, “What does a platypus look like? Generating customized prompts for zero-shot image classification,” in 2023 IEEE/CVF International Conference on Computer Vision (ICCV), Paris, France, 2023, pp. 15 645–15 655.
22. 関連研究のまとめ • ニュース推薦は, 事前学習済みの言語モデルをNews Encoderに 活用した手法が高い性能を示している. • 「ニュース記事カテゴリの情報不足」という課題は未解決 • 大規模言語モデルにより生成されたテキストの活用 → 画像分類, テキスト分類, 質問応答等, 多様なタスクに有効 22
23. 目次 1. はじめに 2. 関連研究 3. 大規模言語モデルを用いたニュースカテゴリ説明文付与 4. 評価実験 5. まとめ 23
24. 提案手法の概要 y News Encoder h T D T News Encoder h c User Encoder Similarity Calculator News Encoder h 1 D 1 News Encoder h 2 D 2 ・・・ ・・・ u D c LLM (GPT-4) "Pierce Brosnan's Sons Paris and Dylan Named 2020 (ニュース記事タイトル ) + "The TV-Golden Globes category focuses on news related to the Golden Globe … (自動生成したニュースカテゴリの説明文 ) カテゴリの 説明文を生成 “tv-golden-glove” • ニュースカテゴリの説明文を 大規模言語モデル(GPT-4[9])で自動生成 → ニュースカテゴリの情報不足 を解決. • 以下の情報を結合し , 推薦モデルに入力: ◦ ニュース記事のタイトル ◦ 生成したニュースカテゴリの説明文 • 提案手法の手順: (1) GPT-4によるカテゴリ説明文の生成 (2) 生成した説明文の推薦モデルへの入力 カテゴリ情報を 入力 [10] OpenAI, “GPT-4 Technical Report,” arXiv preprint arXiv:2303.08774, 2023. 図 2.1. 提案手法の概要 24
25. “The TV-Golden Globes category focuses on news related to the Golden Globe Awards specifically within the television industry．This includes nominations…..” • GPT-4を用いてMIND(Microsoft News Dataset)の 全てニュースカテゴリ(N=270)に対し説明文を ゼロショット生成 (1) GPT-4によるカテゴリ説明文の生成 GPT-4 入力したプロンプト • システムメッセージの内容: ◦ 「あなたは素晴らしい報道記者です」(役割) ◦ 「入力されるニュースカテゴリの詳細な 　説明文 を出力すること」(タスクの概要) ◦ 「出力単語数の目安」(タスクの制約) • ユーザメッセージ: ◦ テンプレート(「The news category is {category}」)にカ テゴリ名を当てはめる “The news category is tv-golden-glove” ユーザメッセージ “You are a wonderful news writer. You assist readers by providing more detailed and useful information …” システムメッセージ 図 2.2. GPT-4によるニュースカテゴリ説明文の生成 25
26. (2) 生成した説明文の推薦モデルへの入力 BERT • 2つテキストをBERTの「SEP」トークンで結合 ◦ ニュースのタイトル文 : D title ◦ 生成したカテゴリの説明文 : D desc Additional Layer CLS w 1 w 2 w n-1 w n SEP w 1 w 2 w m-1 w m e cls e 1 e 2 e n-1 e n e SEP e 1 e 2 e m-1 e m ・・・ ・・・ ・・・ ・・・ ニュースベクトル: h ニュースのタイトル文: D title 生成したカテゴリ説明文: D desc News Encoderへの入力方法 図 2.3. ニュースタイトルと生成した説明文の News Encoderへの入力 26
27. 目次 1. はじめに 2. 関連研究 3. 大規模言語モデルを用いたニュースカテゴリ説明文付与 4. 評価実験 5. まとめ 27
28. 検証のための推薦モデル: NRMS(NRMS-BERT)[1,8] BERT Encoder Multihead Attention Multihead Attention Additive Attention Additive Attention CLS w 1 w 2 (a) News Encoder w 2 w 2 (b) User Encoder News Encoder ・・・ ・・・ ・・・ ニュース記事テキスト : D ユーザが直近でクリックした T本のニュース記事 : D 1 ~ T ユーザベクトル : u • NRMS[8]を用いて提案手法を検証. • NRMS: News Encoder/User Encoderに Multihead Attentionを適用. • NRMS-BERT: NRMSで記事テキストの単語埋め込みの 獲得にBERTを使用. ニュース推薦のSoTA. • ニュースベクトル獲得に用いた言語モデ ル:BERT-base/DistilBERT-base ニュースベクトル : h 検証に用いたニュース推薦モデル D 1 News Encoder D 2 News Encoder D T 図 3.1. NRMS-BERTにおけるNews EncoderおよびUser Encoder 28
29. • MIND(Microsoft News Dataset)[2]: Microsoft Newsの実際の行動ログ・ニュースデータから構築されたデータセット • 収録内容 ◦ 約6.5万件の英文ニュース記事データ ◦ 約9.4万人のユーザから収集された約23万件の行動ログ • 主な格納項目 ◦ ニュース記事データ: ニュースID, 記事タイトル, 記事カテゴリ, 記事の要約 ◦ 行動ログ: ユーザID, ニュース記事に対するクリック有無, 過去に閲覧したニュース記事 データセット 29
30. ベースライン手法・評価指標 • title only: 記事タイトル文のみを推薦モデルに入力 • title + template-based: 記事タイトル文およびテンプレート (「The news category is {category}」)に カテゴリ名を当てはめた文を「SEP」トークンで結合した文章を推薦モデルに入力 ベースライン 評価指標 • 先行研究[1,5-8]に倣い, 推薦分野で頻繁に用いられる指標を採用 : ◦ AUC ◦ MRR ◦ nDCG@k (k=5，10) 30
31. 評価結果 推薦モデル 手法 AUC MRR nDCG@5 nDCG@10 NRMS + DistilBERT Title only 0.674 0.297 0.322 0.387 Title + Template based 0.675 0.311 0.341 0.400 Title + Generated Description(Ours) 0.707 0.324 0.359 0.422 NRMS + BERT Title only 0.689 0.306 0.336 0.400 Title + Template based 0.667 0.301 0.329 0.389 Title + Generated Description(Ours) 0.706 0.320 0.355 0.418 表 3.1. 評価結果 31
32. 評価結果 推薦モデル 手法 AUC MRR nDCG@5 nDCG@10 NRMS + DistilBERT Title only 0.674 0.297 0.322 0.387 Title + Template based 0.675 0.311 0.341 0.400 Title + Generated Description(Ours) 0.707 0.324 0.359 0.422 NRMS + BERT Title only 0.689 0.306 0.336 0.400 Title + Template based 0.667 0.301 0.329 0.389 Title + Generated Description(Ours) 0.706 0.320 0.355 0.418 表 3.1. 評価結果 32 • NRMS + DistilBERTを用いたモデルのAUC: - Title only と比較し, +4.8% - Title + Template based と比較し, +4.7%
33. 評価結果 推薦モデル 手法 AUC MRR nDCG@5 nDCG@10 NRMS + DistilBERT Title only 0.674 0.297 0.322 0.387 Title + Template based 0.675 0.311 0.341 0.400 Title + Generated Description(Ours) 0.707 0.324 0.359 0.422 NRMS + BERT Title only 0.689 0.306 0.336 0.400 Title + Template based 0.667 0.301 0.329 0.389 Title + Generated Description(Ours) 0.706 0.320 0.355 0.418 表 3.1. 評価結果 33 • NRMS + BERTを用いたモデルのAUC: - Title only と比較し, +2.4% - Title + Template based と比較し, +5.8%
34. 目次 34 1. はじめに 2. 関連研究 3. 大規模言語モデルを用いたニュースカテゴリ説明文付与 4. 評価実験 5. まとめ
35. まとめ • 本研究では, ニュース記事カテゴリの情報不足を解決するために, 大規模言語モデル(GPT-4)により, ニュース記事カテゴリの説明文を自動生成 • 生成したニュースカテゴリの説明文を追加情報として推薦モデルに入力 • ニュース推薦分野で高い性能を出すこと(SoTA)で知られるNRMS-BERTを MINDで訓練し, 提案手法を検証. • 検証の結果, 全ての評価指標(AUC, MRR, nDCG@k)に対し, ベースライン手法と 比較し, 提案手法は最も高い性能を得た 35
36. Appendix
37. MINDにおけるユーザログ (behavior.tsv) カラム名 説明 具体例 Impression ID インプレッションのID 123 User ID ユーザーの匿名ID U131 Time インプレッションの時間。形式は “MM/DD/YYYY HH:MM:SS AM/PM” 11/13/2019 8:36:57 AM History このインプレッションの前のユーザーの ニュースクリック履歴（クリックされたニュー スのIDリスト） N11 N21 N103 Impressions このインプレッションで表示されたニュース のリストと, それらのニュースに対するユー ザーのクリック行動（1はクリック, 0は非ク リック） N4-1 N34-1 N156-0 N207-0 N198-0 表.A.1. MIND におけるユーザ閲覧履歴データ 37
38. MINDにおけるニュース記事 (news.tsv) カラム名 説明 具体例 News ID ニュースのID N37378 Category カテゴリ sports Subcategory サブカテゴリ golf Title タイトル PGA Tour winners Abstract 要約 A gallery of recent winners on the PGA Tour. URL URL - 表.A.2. MIND におけるニュースデータ 38
39. データセットの統計情報 項目 総数 ユーザ 94,057 ニュース 65,238 インプレッション 230,117 クリック 347,727 項目 値 カテゴリ数 270 説明文の平均単語数 57.7 説明文の最小単語数 48 説明文の最大単語数 74 表.A.4. 生成したニュースカテゴリ説明文の統計 表.A.3. MINDデータセットの統計 39
40. システムメッセージ全文および生成した説明文の全文 40 You are a wonderful news writer．You assist readers by providing more detailed and useful information about the articles．User inputs the specific category for a news article using the format ’The news category is **{category}**’． Please provide a detailed explanation，in about 50 words， **in English**，on the category of the articles entered (such as politics，economics，sports，etc．)．Please avoid using symbols such as double quotes (”) and single quotes (’)，asterisks (*)，and similar for emphasis as much as possible． 図A.1. システムメッセージ全文 The TV-Golden Globes category focuses on news related to the Golden Globe Awards specifically within the television industry．This includes nominations，winners，notable moments from the ceremony，reactions，and any controversies or highlights surrounding the event，which honors excellence in TV． 図A.2. 生成文した説明文の全文