Upgrade to Pro — share decks privately, control downloads, hide ads and more …

広告文生成タスクの規定とベンチマーク構築(NLP2023)

 広告文生成タスクの規定とベンチマーク構築(NLP2023)

言語処理学会第29回年次大会(NLP2023) の発表資料

Masato Mita

March 17, 2023
Tweet

More Decks by Masato Mita

Other Decks in Research

Transcript

  1. 4 言語処理学会第29回年次大会(NLP2023) 自然言語処理技術を用いた広告文の自動生成 • ニューラル言語生成に基づく手法(例. EncDec)が主流 CTRが高い文への”翻訳” [Mishra+, 2020] 広告文

    商材説明文書 CTR高い文 CTR低い文 広告文 キーワード 商材説明文書を”要約” [Hughes+, 2019; Kamigaito+, 2021] キーワードからの生成 [福田, 2019; 脇本+, 2020] クリック率 (CTR)
 = クリック数 ÷ 表示回数

  2. 5 言語処理学会第29回年次大会(NLP2023) 課題①: 問題設定として十分に規定されていない • ニューラル言語生成に基づく手法(例. EncDec)が主流 CTRが高い文への”翻訳” [Mishra+, 2020]

    広告文 商材説明文書 CTR高い文 CTR低い文 広告文 キーワード 商材説明文書を”要約” [Hughes+, 2019; Kamigaito+, 2021] キーワードからの生成 [福田, 2019; 脇本+, 2020] タスクの入出力設定は? 既存タスク(例. 要約)との本質的な違いは? 満たすべき要件は? 研究題材としての学術的な意義は?
  3. 7 言語処理学会第29回年次大会(NLP2023) ベンチマークは問題を規定する • 問題の具体的な取り決めはベンチマークの設計者が行う(① ’ 問題の設定) ◦ 例. 何を入出力とするか

    • 本質的に重要な部分が明らかになり , 技術の一般化が進む(②’ 比較・参入障壁)
 ▪ 研究の参入コストが下がる 共通のデータセット (ベンチマーク)
  4. 8 言語処理学会第29回年次大会(NLP2023) 本研究の概要 トップゴール: 広告文生成の学術分野としての発展 • 分野の参入障壁を下げてプレイヤー増 • 広告生成技術の一般化を促進 本研究の貢献:

    • 広告文生成(Ad Text Generation)を応用横断的なタスクとして規定 • 初のベンチマークデータセットを構築 ◦ CAMERA📷: CA Multimodal Evaluation for Ad Text GeneRAtion • 広告文生成タスクの現状と今後の課題を報告 本発表では詳細は割愛
  5. 9 言語処理学会第29回年次大会(NLP2023) 広告文生成(Ad Text Generation)タスク • 入力: 商材に関する説明文書(x), ユーザ信号(a) •

    出力: 広告文(y) • 目的: p (y|x,a) のモデル化 —---- 広告文生成モデル 説明文書 (x) 例: LPテキスト 広告文 (y) ユーザ信号 (a) 例: 検索キーワード, 購買履歴 広告の形態によって変動
  6. 10 言語処理学会第29回年次大会(NLP2023) 設計方針① マルチモーダル情報が活用できる • 多くの広告形態では視覚情報が併せて用いられている • LPのレイアウト情報を考慮することで生成品質向上 [村上ら, 22]

    ランディングページ( LP) エンジニア 転職 キーワード ITエンジニアの転職 - ITエンジニア必見 ITエンジニアのための転職サービス。年収と仕事 内容付きで、企業があなたを競争入札 … 広告文
  7. 12 言語処理学会第29回年次大会(NLP2023) データセット構築手順 データセット全体 • 元データは運用実績のある検索連動型広告 • LP視覚情報の抽出(① ’ マルチモーダル情報の活用)

    ◦ LP画像(フルビュー)のスクリーンショット ◦ LP OCR処理済みテキスト 評価データセット • 広告アノテーションの専門家に追加で 3つの参照広告文を作成 • 業種ラベルの人手付与(② ’ 業種別評価) ◦ 人材, EC, 金融, 教育の4業種
  8. 13 言語処理学会第29回年次大会(NLP2023) CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA)

    ✔ 業種毎に評価可能 ✔ マルチモーダル情報が活用可能 ✔ マルチリファレンス評価が可能 https://github.com/CyberAgentAILab/camera 修明は“本当に行きたい学校 ”で高い合格 率を達成している塾です。勉強がうまく いっていない子を、“幸せな中学受験”で 「逆転合格」へ。... (省略) 1. 中学受験のための個別指導塾 2. 新規生徒募集キャンペーン実施中 3. 個人に合った指導・宿題でを提供 4. 今なら入塾金50%オフ 学習塾 中学 LPテキスト 検索キーワード LP画像(※) (参照)広告文 ※ 実際にはLPフルビュー画像および OCR処理済みテキストが含まれる
  9. 14 言語処理学会第29回年次大会(NLP2023) 実験の目的 • 提案ベンチマーク(CAMERA)の有用性を確認 ◦ 設計方針1: マルチモーダル情報が活用できる ◦ 設計方針2:

    業種別に評価できる • 広告文生成タスクの現状と今後の課題を調査 ◦ 事前学習済みモデルの種類の影響は? ◦ 視覚情報は一貫して生成品質を向上させる? ◦ 業種別に結果にばらつきは? 有用な設計か?
  10. 15 言語処理学会第29回年次大会(NLP2023) 実験設定 • ベースラインモデル ◦ BART ◦ T5 ◦

    T5 + OCR ◦ T5 + OCR + Layout ◦ T5 + OCR + Layout + Visual • 評価尺度 ◦ BLUE-4 (B-4) ◦ ROUGE-1 (R-1) ◦ キーワード挿入率 (Kwd) [村上ら, 22] から引用 ※ 実験設定の詳細は予稿をご参照ください [村上ら, 22]の設定に準拠
  11. 16 言語処理学会第29回年次大会(NLP2023) 実験設定 • ベースラインモデル ◦ BART ◦ T5 ◦

    T5 + OCR ◦ T5 + OCR + Layout ◦ T5 + OCR + Layout + Visual • 評価尺度 ◦ BLUE-4 (B-4) ◦ ROUGE-1 (R-1) ◦ キーワード挿入率 (Kwd) [村上ら, 22] から引用 事前学習済みモデルの種類の影響を調査 マルチモーダル情報の有用性を調査 ※ 実験設定の詳細は予稿をご参照ください LPと広告文の関連性を表す
  12. 17 言語処理学会第29回年次大会(NLP2023) • BART > T5 (B-4) • T5 >

    BART (R-1, Kwd) 事前学習済みモデルの種類の影響(全体)
  13. 18 言語処理学会第29回年次大会(NLP2023) • 結果にばらつきが生じている • 人材: BART > T5 (B-4,

    R-1) 事前学習済みモデルの種類の影響(業種別) ➢ 評価の目的に応じて適切に選択する必要あり
  14. 21 言語処理学会第29回年次大会(NLP2023) まとめ • 広告文生成を応用横断的なタスクとして規定 • 初のベンチマークデータ「CAMERA」を構築&一般公開 ◦ ✔ 業種毎に評価可能

    ◦ ✔ マルチモーダル情報が活用可能 ◦ ✔ マルチリファレンス評価が可能 • 本タスクの現状と今後の課題を報告 ◦ 広告文生成の性能は業種毎に大きく変動する ◦ マルチモーダル情報の効果的な活用が今後の課題 https://github.com/CyberAgentAILab/camera
  15. 23 言語処理学会第29回年次大会(NLP2023) 広告文の要件 • 商材内容と整合がとれている(情報整合性) ◦ 入力に含意されている(忠実性) ◦ 入力に含意されていない情報を含むが外部知識に基づいている(事実 性)

    • 商材内容からユーザの潜在的なニーズに応じて情報が取捨選択されている (情報圧縮性) ◦ 商材に関する特徴や魅力を短い文で表し即座にユーザの関心を惹き付 けることが同時に要求 ◦ 訴求できる情報を取捨選択(情報圧縮)されている必要
  16. 24 言語処理学会第29回年次大会(NLP2023) 従来タスクとの違い • クエリ指向要約(要約の一種) ◦ 目的: ユーザの明示的なクエリを確実に反映させた要約の提示 ◦ ユーザ信号:

    顕在化されたニーズ • 広告文生成 ◦ 目的: ユーザの態度や行動に影響を与える要約の提示 ◦ ユーザ信号: 潜在的なニーズ ユーザ信号の曖昧性 
 評価観点
 クエリ指向要約
 選好の世界
 合意形成がとれる世界 
 広告文生成