LLM × 機械学習で実現するプッシュ通知のパーソナライズ/nikkei-tech-talk-38

by 日本経済新聞社エンジニア採用事務局

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. ● 概要 : お昼の注目記事プッシュをパーソナライズして開封率約+8%改善した話  ● 本日お話しする内容  ○ LLMを用いた記事選択作業の自動化  ○ 機械学習モデルを使用したパーソナライズ記事配信  ○ 技術的工夫点と苦労した点  ○ MLOps（開発基盤・運用・実験管理）    イントロダクション   3

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. ● 概要 : 平日のお昼（12:40〜）に配信されている注目記事プッシュを個人ごとにパーソナライズする  ● 従来の状況  ○ 有料会員40万人に配信しているが、開封率は0.5%〜1%未満   ○ セグメント毎の人気記事配信を行なっているが、いくつかのセグメントは最適化されているとは言えない雑多なセグメントになっている  ○ 人手での配信記事選択作業が発生  → 記事選択作業を自動化 + 配信記事のパーソナライズ   7 プロジェクトについて  

Slide 8

Slide 8 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. 1. ルールベースでは完全に除外できない配信に適さない記事が存在  ○ 連載記事・小説（例：岡田武史　私の履歴書（10）アジア制覇）  ○ トピック名の変更（例：NY特急便 → ウォール街ラウンドアップ）  ○ 状況変化により不適切になる記事（例：市況概況や予告、金融政策など）  ■ 例 : SMBC日興操縦事件、動機や組織性は？　きょう初公判  2. 平日10:30頃に担当者が手作業で確認・除外作業を実施  従来の運用における課題：人手での記事選択作業   8

Slide 9

Slide 9 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. ● 従来のアプローチ  ○ 13のユーザーセグメント毎に相互情報量が高いTop1の記事を配信  ○ 各セグメントの特色に合った記事を配信することで開封率向上を狙う  ● 従来の相互情報量ベースの課題  ○ 同じセグメント内でもユーザーごとに興味のあるトピックは異なる  ○ 既読の有無に関わらず配信するため、既読記事が配信される可能性がある  従来の運用における課題 : パーソナライゼーション   9

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. LLMによる記事フィルタリング   ロジック概要  ● モデル：GPT-4o mini  ● プロンプト : 除外ルール + Few-Shot（実際に人手で除外された例）  フィルタリング対象  ● 連載記事（小説、企画等）  ● 特定の日時に関連した速報的な記事  ● 重要イベント予告記事  評価データセット : 過去の配信記事の変更履歴から200件程度手動作成  11

Slide 12

Slide 12 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. データセット  ● 作成方法 : 当日の記事データからユーザ×記事のペアを作成し、午後閲覧記事を正例、未閲覧記事を負例として作成  ● 特徴量 : ユーザー情報・セグメント情報・相互情報量・閲覧トピック履歴など  ロジック概要  ● 学習方法 : LightGBMでユーザ×記事の午後クリック確率を予測  ● 学習設定：目的関数はLambdaRank、評価指標NDCGを使用    パーソナライズモデル：LightGBMによるクリック予測   12

Slide 13

Slide 13 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. パーソナライズモデル：上手くいかなかった検証内容   ● 過去のプッシュ通知開封履歴を用いた開封予測  ○ 学習時は上位1件、推論時は上位N件を対象とするため、Training-Serving Skewが発生し、有意に悪化   ● テキスト特徴量  ○ 学習データにoverfitは可能だが、テストデータでの汎化性能が低い  ■ 記事の傾向が短期間で変わるのが主要因  ● クリック予測の学習で休日データも入れてしまったこと  ○ 休日データを除外することでスコアが顕著に向上した  13

Slide 14

Slide 14 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. 効率的にA/Bテストを行う環境を構築し、期間内に計6回実施することができた  ● 専用のA/Bテストパイプラインの実装  ○ 複数バケットへの対応 : 2群だけではなく、3群以上にも対応  ○ テストコード・期間・割り当て比率を設定ファイルで柔軟に変更可能  ● NotionでのA/Bテスト結果の管理  A/Bテスト   14

Slide 15

Slide 15 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. ● 実験設定  ○ 期間 : 2025年5月16日〜現在  ○ 介入群 : パーソナライズモデル  ○ 比較群 : セグメントランキング  ● 実験結果  ○ 開封率：+8%の改善  ○ 特にミドルユーザー層で顕著な効果  ● アラート : 7日移動平均で1%以上開封率低下時に通知  A/Bテスト : 長期監視   15

Slide 16

Slide 16 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. ● 実行環境 : Kedro PipelineをAWS Batchで分散実行  ○ 依存関係のないノードの分散実行 + ノード単位のリソース管理    ● 実験環境 : GitHub Actions経由のアドホックなパイプライン実行  ● データ品質管理 : Panderaによるデータフレームバリデーション導入  MLOps : 開発基盤   16

Slide 17

Slide 17 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. ● デプロイ : 推薦記事を閲読したかどうかの数値（HR@1）を基準に可否を判断  ● 実験管理 : WandBを用いた評価結果や損失関数、メモリ使用量などの記録  ● 結果確認 : 推薦記事のタイトル・件数を日次でSlackに送信  ○ 意図しない記事が含まれる場合は編集側から連絡・記事候補から除外  MLOps : 運用・監視   17

Slide 18

Slide 18 text

Copyright ⓒ 2025 Nikkei Inc. All rights reserved. ● お昼プッシュの開封率が0.5〜1%未満、人手での記事選択作業が発生  ● 従来人手で行われていた記事選択作業をLLMを用いて自動化  ● パーソナライズモデルで配信記事を最適化  ● 従来と比較して+8%の開封率改善を達成  ● Kedro + AWS Batch + WandBで効率的な開発・運用環境を構築  18 まとめ 