広告文生成タスクの規定とベンチマーク構築（NLP2023）

言語処理学会第29回年次大会(NLP2023) の発表資料

Transcript

1. 言語処理学会第29回年次大会（NLP2023） 広告文生成タスクの規定とベンチマーク構築 三田 雅人, 村上 聡一朗, 張 培楠（サイバーエージェント） H11-4
2. 2 言語処理学会第29回年次大会（NLP2023） インターネット広告の種類 検索連動型広告 ディスプレイ広告 その他に SNS 広告, インフィード広告, 動画広告, キャッチコピーなど色々ある
3. 3 言語処理学会第29回年次大会（NLP2023） インターネット広告市場 ➢ 広告制作の自動化が喫緊の課題となっている 2018年のインターネット広告媒体費は 1兆4480億円に。モバイル +動画広告の 伸びに注目 市場は10年で約3倍もの規模に成長 Google Search Statistics and Facts 2023 (You Must Know) 検索クエリは前年比 約8%前後で増加
4. 4 言語処理学会第29回年次大会（NLP2023） 自然言語処理技術を用いた広告文の自動生成 • ニューラル言語生成に基づく手法（例. EncDec）が主流 CTRが高い文への”翻訳” [Mishra+, 2020] 広告文 商材説明文書 CTR高い文 CTR低い文 広告文 キーワード 商材説明文書を”要約” [Hughes+, 2019; Kamigaito+, 2021] キーワードからの生成 [福田, 2019; 脇本+, 2020] クリック率 (CTR)
 = クリック数 ÷ 表示回数

5. 5 言語処理学会第29回年次大会（NLP2023） 課題①: 問題設定として十分に規定されていない • ニューラル言語生成に基づく手法（例. EncDec）が主流 CTRが高い文への”翻訳” [Mishra+, 2020] 広告文 商材説明文書 CTR高い文 CTR低い文 広告文 キーワード 商材説明文書を”要約” [Hughes+, 2019; Kamigaito+, 2021] キーワードからの生成 [福田, 2019; 脇本+, 2020] タスクの入出力設定は？ 既存タスク（例. 要約）との本質的な違いは？ 満たすべき要件は？ 研究題材としての学術的な意義は？
6. 6 言語処理学会第29回年次大会（NLP2023） 課題② 共通データセット（ベンチマーク）がない • 既存研究は独自データを用いた個々の検証に留まっている ◦ 包括的な手法間の比較ができない ◦ データを持たない新規プレイヤーが参入できない
7. 7 言語処理学会第29回年次大会（NLP2023） ベンチマークは問題を規定する • 問題の具体的な取り決めはベンチマークの設計者が行う（① ’ 問題の設定） ◦ 例. 何を入出力とするか • 本質的に重要な部分が明らかになり , 技術の一般化が進む（②’ 比較・参入障壁）
 ▪ 研究の参入コストが下がる 共通のデータセット （ベンチマーク）
8. 8 言語処理学会第29回年次大会（NLP2023） 本研究の概要 トップゴール: 広告文生成の学術分野としての発展 • 分野の参入障壁を下げてプレイヤー増 • 広告生成技術の一般化を促進 本研究の貢献: • 広告文生成（Ad Text Generation）を応用横断的なタスクとして規定 • 初のベンチマークデータセットを構築 ◦ CAMERA📷: CA Multimodal Evaluation for Ad Text GeneRAtion • 広告文生成タスクの現状と今後の課題を報告 本発表では詳細は割愛
9. 9 言語処理学会第29回年次大会（NLP2023） 広告文生成（Ad Text Generation）タスク • 入力: 商材に関する説明文書（x）, ユーザ信号（a） • 出力: 広告文（y） • 目的: p (y|x,a) のモデル化 —---- 広告文生成モデル 説明文書 (x) 例: LPテキスト 広告文 (y) ユーザ信号 (a) 例: 検索キーワード, 購買履歴 広告の形態によって変動
10. 10 言語処理学会第29回年次大会（NLP2023） 設計方針① マルチモーダル情報が活用できる • 多くの広告形態では視覚情報が併せて用いられている • LPのレイアウト情報を考慮することで生成品質向上 [村上ら, 22] ランディングページ（ LP） エンジニア 転職 キーワード ITエンジニアの転職 - ITエンジニア必見 ITエンジニアのための転職サービス。年収と仕事 内容付きで、企業があなたを競争入札 … 広告文
11. 11 言語処理学会第29回年次大会（NLP2023） 設計方針② 業種別に評価できる • 効果的な広告文を作るためには具体的な訴求を入れることが重要 • 効果的な訴求表現は業種ごとに異なる [Murakami+, 22] 出典: https://www.cyberagent.co.jp/news/detail/id=27559

12. 12 言語処理学会第29回年次大会（NLP2023） データセット構築手順 データセット全体 • 元データは運用実績のある検索連動型広告 • LP視覚情報の抽出（① ’ マルチモーダル情報の活用） ◦ LP画像（フルビュー）のスクリーンショット ◦ LP OCR処理済みテキスト 評価データセット • 広告アノテーションの専門家に追加で 3つの参照広告文を作成 • 業種ラベルの人手付与（② ’ 業種別評価） ◦ 人材, EC, 金融, 教育の4業種
13. 13 言語処理学会第29回年次大会（NLP2023） CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA) ✔ 業種毎に評価可能 ✔ マルチモーダル情報が活用可能 ✔ マルチリファレンス評価が可能 https://github.com/CyberAgentAILab/camera 修明は“本当に行きたい学校 ”で高い合格 率を達成している塾です。勉強がうまく いっていない子を、“幸せな中学受験”で 「逆転合格」へ。... (省略) 1. 中学受験のための個別指導塾 2. 新規生徒募集キャンペーン実施中 3. 個人に合った指導・宿題でを提供 4. 今なら入塾金50%オフ 学習塾 中学 LPテキスト 検索キーワード LP画像（※） （参照）広告文 ※ 実際にはLPフルビュー画像および OCR処理済みテキストが含まれる
14. 14 言語処理学会第29回年次大会（NLP2023） 実験の目的 • 提案ベンチマーク（CAMERA）の有用性を確認 ◦ 設計方針1: マルチモーダル情報が活用できる ◦ 設計方針2: 業種別に評価できる • 広告文生成タスクの現状と今後の課題を調査 ◦ 事前学習済みモデルの種類の影響は？ ◦ 視覚情報は一貫して生成品質を向上させる？ ◦ 業種別に結果にばらつきは？ 有用な設計か？
15. 15 言語処理学会第29回年次大会（NLP2023） 実験設定 • ベースラインモデル ◦ BART ◦ T5 ◦ T5 + OCR ◦ T5 + OCR + Layout ◦ T5 + OCR + Layout + Visual • 評価尺度 ◦ BLUE-4 (B-4) ◦ ROUGE-1 (R-1) ◦ キーワード挿入率 (Kwd) [村上ら, 22] から引用 ※ 実験設定の詳細は予稿をご参照ください [村上ら, 22]の設定に準拠
16. 16 言語処理学会第29回年次大会（NLP2023） 実験設定 • ベースラインモデル ◦ BART ◦ T5 ◦ T5 + OCR ◦ T5 + OCR + Layout ◦ T5 + OCR + Layout + Visual • 評価尺度 ◦ BLUE-4 (B-4) ◦ ROUGE-1 (R-1) ◦ キーワード挿入率 (Kwd) [村上ら, 22] から引用 事前学習済みモデルの種類の影響を調査 マルチモーダル情報の有用性を調査 ※ 実験設定の詳細は予稿をご参照ください LPと広告文の関連性を表す
17. 17 言語処理学会第29回年次大会（NLP2023） • BART > T5 (B-4) • T5 > BART (R-1, Kwd) 事前学習済みモデルの種類の影響（全体）
18. 18 言語処理学会第29回年次大会（NLP2023） • 結果にばらつきが生じている • 人材: BART > T5 （B-4, R-1） 事前学習済みモデルの種類の影響（業種別） ➢ 評価の目的に応じて適切に選択する必要あり
19. 19 言語処理学会第29回年次大会（NLP2023） • OCR処理済みテキスト (+{o}) やレイアウト情報 (+{0,l})を入れると生成品 質（B-4, R-1）が向上 • LPとの関連性（Kwd）は下がる マルチモーダル情報の有用性（全体）
20. 20 言語処理学会第29回年次大会（NLP2023） • LPの画像特徴量（+{o,l,v}）を加えるとR-1が低下（例: EC, 金融） • Kwdに関しては全体と同じ傾向 マルチモーダル情報の有用性（業種別） ➢ 画像情報の一部がノイズとして機能した可能性あり cf. [村上ら, 22]
21. 21 言語処理学会第29回年次大会（NLP2023） まとめ • 広告文生成を応用横断的なタスクとして規定 • 初のベンチマークデータ「CAMERA」を構築&一般公開 ◦ ✔ 業種毎に評価可能 ◦ ✔ マルチモーダル情報が活用可能 ◦ ✔ マルチリファレンス評価が可能 • 本タスクの現状と今後の課題を報告 ◦ 広告文生成の性能は業種毎に大きく変動する ◦ マルチモーダル情報の効果的な活用が今後の課題 https://github.com/CyberAgentAILab/camera
22. 22 補足資料
23. 23 言語処理学会第29回年次大会（NLP2023） 広告文の要件 • 商材内容と整合がとれている（情報整合性） ◦ 入力に含意されている（忠実性） ◦ 入力に含意されていない情報を含むが外部知識に基づいている（事実 性） • 商材内容からユーザの潜在的なニーズに応じて情報が取捨選択されている （情報圧縮性） ◦ 商材に関する特徴や魅力を短い文で表し即座にユーザの関心を惹き付 けることが同時に要求 ◦ 訴求できる情報を取捨選択（情報圧縮）されている必要
24. 24 言語処理学会第29回年次大会（NLP2023） 従来タスクとの違い • クエリ指向要約（要約の一種） ◦ 目的: ユーザの明示的なクエリを確実に反映させた要約の提示 ◦ ユーザ信号: 顕在化されたニーズ • 広告文生成 ◦ 目的: ユーザの態度や行動に影響を与える要約の提示 ◦ ユーザ信号: 潜在的なニーズ ユーザ信号の曖昧性 
 評価観点
 クエリ指向要約
 選好の世界
 合意形成がとれる世界 
 広告文生成

25. 25 言語処理学会第29回年次大会（NLP2023） LPフルビューを考慮しないと難しい例