読者の関心拡張を目的とした、大規模言語モデルによる記事タイトル生成と評価

ニュース記事から、それが我々の日常生活とどう関連するかを示すような記事タイトルを大規模言語モデルにより自動生成することで、ユーザがより考えながら記事を読めるようにする。
ユーザが煽情的な記事タイトルにつられて深く考えずに読んだりシェアしたりすることを減らし、フィルターバブルの軽減を目標とする。

情報処理学会　自然言語処理研究会（2025.7.6）発表スライド

Transcript

1. フィルターバブル緩和に向けた ニュース記事タイトル生成手法の提案 須藤亘、神場知成 東洋大学 情報連携学部 INIAD 情報処理学会 第264回 自然言語処理研究会 2025年7月6日
2. 背景①：パーソナライズとフィルターバブル ◼SNSやウェブ検索エンジンなどで情報のパーソナライズ →フィルターバブルやエコーチェンバー →社会的な分断や偏見の固定化のリスク E. Pariser (2011): The Filter Bubble: What the Internet is hiding from you. Penguin UK.
3. 先行研究：フィルターバブルの軽減 ◼推薦システムを調整するアルゴリズムの提案 [2021,Grossettiら ] ◼フィルターバブルの影響を緩和するために、偶然の情報 との出会いである「セレンディピティ」を促す研究 [2022, Jasimら] Grossetti, Q., du Mouza, C., Travers, N. and Constantin, C. (2021): Reducing the filter bubble effect on Twitter by considering communities for recommendations, International Journal of Web Information Systems, Vol. 17 No. 6, pp. 728-752, https://doi.org/10.1108/IJWIS-06-2021-0065 M. Jasim, C. Collins, A. Sarvghad, N. Mahyar (2022): Supporting Serendipitous Discovery and Balanced Analysis of Online Product Reviews with Interaction-Driven Metrics and Bias-Mitigating Suggestions, CHI'22 Proceedings, Article No. 9, pp. 1-24, https://doi.org/10.1145/3491102.3517649
4. 背景②：ニュース記事のタイトル ◼読者は本文に目を通さず、タイトルのみで内容や重要 性を判断 ◼読者の注意を惹くために「釣りタイトル」が使われる →特定の価値観や関心を強化し、フィルターバブルを さらに加速 特定のエディターの偏りなく記事タイトルを生成する にはLLMが有効な可能性
5. 先行研究：タイトル記事生成 ◼機械学習の手法で、人間が作成した記事タイトルの特徴を学習 し、記事タイトルを作成する研究 [2019,Vasilyevら] ◼タイトルとクリック率の関係性に関する研究 [2024,Guoら] ネガティブな言葉や数字を用いると、クリック率が向上 ◼ChatGPTなどを用いて、記事タイトルから感情を予測・分類す る手法の提案[2024,Gaoら] O. Vasilyev et al. (2019): Headline Generation: Learning from Decomposable Document Titles, arXiv: 1904.08455, https://doi.org/10.48550/arXiv.1904.08455 Guo, L., Wang, Y., Li, P., Wang, Y., & Li, Y. (2024): The Impact of Headline Characteristics on Clicks: A Case Study of a Chinese Local Medium. Journalism Practice, 1–29, https://doi.org/10.1080/17512786.2024.2411624 G. Gao et al.(2024): Enhancing Emotion Prediction in News Headlines: Insights from ChatGPT and Seq2Seq Models for Free-Text Generation, Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024) 5944-5955, https://doi.org/10.48550/arXiv.2407.10091
6. 本研究の目的 ◼記事タイトルを通じて、読者が記事内容に対して 問題意識を持ち、自らの興味・関心の幅を広げる こと ◼クリック率だけでなく関心拡張が重要 (ex) 「国会で予算審議が混乱」 →「国会の結論次第で来年度からの消費税増減も」
7. 提案手法の概要 ◼日常生活に関連づけた視点で捉えたタイトルを 生成するプロンプトをLLMに与え、タイトルを 自動生成 ◼従来の手法(テンプレートやルールベース)と比 較し、同一の記事から多様な視点・表現のタイ トルを瞬時に生成できる ◼人間の作成するタイトルよりも余計なバイアス がかかりにくい
8. タイトル生成に使用したプロンプト 以下の条件を満たすように，記事タイトルをつけてください． ・学生にとって身近に感じられる ・興味をひきだす ・記事本文の内容と一貫性を保つ ・文字数は 35 字程度 ・以下に示すオリジナルタイトルと記事本文を参考にする ・オリジナルタイトル: ......... ・記事本文: ...........
9. タイトル生成例 オリジナル LLM生成 日本学術会議の特殊法人化法案の 廃案求め，歴代６会長が声明「科学 の独立性を軽視」 「科学の自由が奪われる？」元会長 らが法案に異議 経団連・十倉会長「高水準の賃上げ で一定の成果」 退任会見 社会と経済に“公平”を 経団連会長 が語った4年 トヨタ，新型RAV4 独自OS採用で初 の本格SDV クルマも“スマホ化”？トヨタ新型 RAV4が変える未来 トランプ氏，ロシアとウクライナは「直 ちに」停戦交渉すると 両国首脳と電 話協議の後 世界は本当に停戦に向かう？トラン プ氏が仲介か 英加仏，イスラエルに「具体的行動」 警告 ガザでの軍事作戦停止を要求 世界の指導者が警告 ガザ攻撃に 「具体的行動も」
10. 実験概要 ① 既存ニュース記事のタイトルと、LLM生成タ イトルとを混ぜた記事リストを表示 ② 作成方法の相違によるクリック率を比較 LLMを利用した際、クリック率が低下しないかの確認 ③ 実験後に、タイトルと記事内容の整合性、理 解しやすさなどをアンケート
11. ↑タイトル一覧 ↑記事閲覧画面
12. 実験概要 ◼被験者：大学生16名（当研究室） ◼全１６記事のうち8記事はLLM生成、8記事はオリジ ナル記事のタイトル ＜指示した操作手順（約10分）＞ ① タイトル一覧を閲覧 ② 興味のある記事を5つクリック ③ 記事本文閲覧 終了後にアンケート記入
13. クリック率比較①（全体） 興味順位 オリジナル(%) LLM生成(%) 1位 43.75 56.25 1～3位 47.92 52.08 1～5位 50.00 50.00 クリック率に大きな差はない
14. クリック率比較②（上位5位） オリジナル LLM生成 トランプ大統領 “次世代防衛 システム 任期中に運用開始 を”(0.75) クルマも“スマホ化”？ トヨタ新型 RAV4が変える未来(0.63) 全国各地で真夏日，東京都心は 今年初 山梨・大月で 34.2 度 (0.67) 歴史の教科書が変わる？ 七支刀の文字がCTで判明 (0.63) 万博でユスリカ大量発生，大屋根 リングにもびっしり 防虫対策に 躍起(0.57) 宇宙で迎撃へ トランプ氏が次世 代防衛構想表明 (0.5) 「母親に数万円を振り込み 頼ん だが断られた」…東大前駅切りつ けの４３歳容疑者 (0.56) ユスリカ大発生！万博会場で虫と の戦いが勃発(0.44) トヨタ，新型RAV4 独自OS採用 で初の本格SDV(0.38) 「仕送り断られ…」東大前駅切り つけ事件の背景とは(0.43) ◼ 順位の相違はあるが4つは同一記事 ◼ 一部の記事で、オリジナルとLLM生成で相違（赤字）
15. アンケート評価（読者認知） 理解しやすさ 整合性 オリジナル 3.6 3.9 LLM生成 4.1 3.6 「（タイトルの）理解のしやすさ」ではLLM生成が上回るが、 「（タイトルと記事内容の）整合性」の面では下回る
16. アンケート評価（自由記述例） ⚫「びっしり」のような擬態語や「～？」など、フッ クとなるフレーズが入っていると印象的に感じた。 ⚫簡潔で分かりやすいものや、！や「」が使われてい る記事が気になることが多かった。 ⚫企業の名前や大統領などの国に関するタイトルが印 象的に感じた。 擬態語や擬音語、符号、固有名詞などの要素を含む ことが効果的な可能性
17. 考察 ◼クリック率で、差はほとんど出なかった → LLMによる生成は、興味を惹くために一定の効果あり ◼誇張した表現を使用することがあり、本文とのずれが生じる → プロンプトの調整が必要 ただし、 ✓タイトルの役割は、情報伝達 + 思考喚起 ✓視野を広げる“きっかけ”としての機能を持たせる 必要がある
18. 追加検証 プロンプトの一部を変更し、生成されるタイトルが どのように変化するかを検証した ◼手法➀：「元記事タイトル＋本文」→「本文のみ」 ◼手法➁：「35字程度」→「17字程度」 Yahoo!トップページは通常17字 ◼手法➂：「学生にとって身近に感じられる」 →「自分の生活との関係性が感じられる」 汎用性を考慮
19. タイトル生成に使用したプロンプト 以下の条件を満たすように，記事タイトルをつけてください． ・学生にとって身近に感じられる ・興味をひきだす ・記事本文の内容と一貫性を保つ ・文字数は 35 字程度 ・以下に示すオリジナルタイトルと記事本文を参考にする ・オリジナルタイトル: ......... ・記事本文: ...........
20. 元のプロンプトの場合 「安い米ほしい」でも届かない 現実 小さな米屋が備蓄米を売 れない理由 イラン×イスラエル衝突…もし 戦争が広がったら？ 大谷翔平が投打で大活躍！復帰 登板で魅せた二刀流のすごさ ③ 自分の生活との関係性が感じられる 買いたいのに売れない現実 備蓄米が届か ぬ町の米屋 中東危機が生活直撃？イラン・イスラエル 衝突の行方 大谷翔平の快進撃！二刀流復活にワクワク する日常 ② 17字程度 米屋が困る“お米の山”の理由 中東衝突、私たちに何が起きる？ 大谷翔平、大活躍！投打で魅せた二刀流 ヒーロー ➀ 本文のみ 安くて助かる！でも届かない…備蓄米販売 の舞台裏 もし戦争が広がったら？ 中東危機と世界へ の影響 大谷翔平、投打で大暴れ！学生も胸熱の大 活躍
21. 検証結果 ◼本文のみではなく、元記事のタイトルも加えた方が、本文の 趣旨に近いタイトルになる。 ※元記事タイトルは、LLMを利用した要約文でも代用可 ◼字数を短縮した場合でも、内容や視点に違いはほとんどない。 記事に必要な字数に合わせて調整することも考えられる。 ◼「生活との関係性」という言葉の効果によるものと見られる が、「生活」や「日常」といった言葉が使われやすくなる。
22. 結論 ◼LLMにより生活と関連づけた記事タイトル生成をすることで、 関心拡張の可能性あり（タイトル理解しやすさの向上など） ◼ただし、記事内容とのずれが生じることもあるなど、プロン プトの調整や作成プロセスの追加検討が必要 ◼LLM生成タイトルは、既存記事タイトルとクリック率には大 きな相違なし。タイトル字数の変更などにも柔軟に対応可能
23. 今後の課題 ◼学生以外に、さまざまな属性の人を対象とした検証 ◼関心拡張に対する長期的な影響の評価 ◼パーソナライズ記事タイトル生成の可能性