$30 off During Our Annual Pro Sale. View Details »

広告文生成タスクの規定とベンチマーク構築(NLP2023)

 広告文生成タスクの規定とベンチマーク構築(NLP2023)

言語処理学会第29回年次大会(NLP2023) の発表資料

Masato Mita

March 17, 2023
Tweet

More Decks by Masato Mita

Other Decks in Research

Transcript

  1. 言語処理学会第29回年次大会(NLP2023)
    広告文生成タスクの規定とベンチマーク構築
    三田 雅人, 村上 聡一朗, 張 培楠(サイバーエージェント)
    H11-4

    View Slide

  2. 2
    言語処理学会第29回年次大会(NLP2023)
    インターネット広告の種類
    検索連動型広告 ディスプレイ広告
    その他に SNS 広告, インフィード広告, 動画広告, キャッチコピーなど色々ある

    View Slide

  3. 3
    言語処理学会第29回年次大会(NLP2023)
    インターネット広告市場
    ➢ 広告制作の自動化が喫緊の課題となっている
    2018年のインターネット広告媒体費は
    1兆4480億円に。モバイル
    +動画広告の
    伸びに注目
    市場は10年で約3倍もの規模に成長
    Google Search Statistics and Facts 2023
    (You Must Know)
    検索クエリは前年比
    約8%前後で増加

    View Slide

  4. 4
    言語処理学会第29回年次大会(NLP2023)
    自然言語処理技術を用いた広告文の自動生成
    ● ニューラル言語生成に基づく手法(例. EncDec)が主流
    CTRが高い文への”翻訳”
    [Mishra+, 2020]
    広告文
    商材説明文書 CTR高い文
    CTR低い文 広告文
    キーワード
    商材説明文書を”要約”
    [Hughes+, 2019; Kamigaito+, 2021]
    キーワードからの生成
    [福田, 2019; 脇本+, 2020]
    クリック率 (CTR)

    = クリック数 ÷ 表示回数


    View Slide

  5. 5
    言語処理学会第29回年次大会(NLP2023)
    課題①: 問題設定として十分に規定されていない
    ● ニューラル言語生成に基づく手法(例. EncDec)が主流
    CTRが高い文への”翻訳”
    [Mishra+, 2020]
    広告文
    商材説明文書 CTR高い文
    CTR低い文 広告文
    キーワード
    商材説明文書を”要約”
    [Hughes+, 2019; Kamigaito+, 2021]
    キーワードからの生成
    [福田, 2019; 脇本+, 2020]
    タスクの入出力設定は? 既存タスク(例. 要約)との本質的な違いは?
    満たすべき要件は? 研究題材としての学術的な意義は?

    View Slide

  6. 6
    言語処理学会第29回年次大会(NLP2023)
    課題② 共通データセット(ベンチマーク)がない
    ● 既存研究は独自データを用いた個々の検証に留まっている
    ○ 包括的な手法間の比較ができない
    ○ データを持たない新規プレイヤーが参入できない

    View Slide

  7. 7
    言語処理学会第29回年次大会(NLP2023)
    ベンチマークは問題を規定する
    ● 問題の具体的な取り決めはベンチマークの設計者が行う(①
    ’ 問題の設定)
    ○ 例. 何を入出力とするか
    ● 本質的に重要な部分が明らかになり
    , 技術の一般化が進む(②’ 比較・参入障壁)

    ■ 研究の参入コストが下がる
    共通のデータセット
    (ベンチマーク)

    View Slide

  8. 8
    言語処理学会第29回年次大会(NLP2023)
    本研究の概要
    トップゴール: 広告文生成の学術分野としての発展
    ● 分野の参入障壁を下げてプレイヤー増
    ● 広告生成技術の一般化を促進
    本研究の貢献:
    ● 広告文生成(Ad Text Generation)を応用横断的なタスクとして規定
    ● 初のベンチマークデータセットを構築
    ○ CAMERA📷: CA Multimodal Evaluation for Ad Text GeneRAtion
    ● 広告文生成タスクの現状と今後の課題を報告
    本発表では詳細は割愛

    View Slide

  9. 9
    言語処理学会第29回年次大会(NLP2023)
    広告文生成(Ad Text Generation)タスク
    ● 入力: 商材に関する説明文書(x), ユーザ信号(a)
    ● 出力: 広告文(y)
    ● 目的: p (y|x,a) のモデル化
    —----
    広告文生成モデル
    説明文書 (x)
    例: LPテキスト
    広告文 (y)
    ユーザ信号 (a)
    例: 検索キーワード, 購買履歴
    広告の形態によって変動

    View Slide

  10. 10
    言語処理学会第29回年次大会(NLP2023)
    設計方針① マルチモーダル情報が活用できる
    ● 多くの広告形態では視覚情報が併せて用いられている
    ● LPのレイアウト情報を考慮することで生成品質向上 [村上ら, 22]
    ランディングページ( LP)
    エンジニア 転職
    キーワード
    ITエンジニアの転職 - ITエンジニア必見
    ITエンジニアのための転職サービス。年収と仕事
    内容付きで、企業があなたを競争入札 …
    広告文

    View Slide

  11. 11
    言語処理学会第29回年次大会(NLP2023)
    設計方針② 業種別に評価できる
    ● 効果的な広告文を作るためには具体的な訴求を入れることが重要
    ● 効果的な訴求表現は業種ごとに異なる [Murakami+, 22]
    出典: https://www.cyberagent.co.jp/news/detail/id=27559


    View Slide

  12. 12
    言語処理学会第29回年次大会(NLP2023)
    データセット構築手順
    データセット全体
    ● 元データは運用実績のある検索連動型広告
    ● LP視覚情報の抽出(① ’ マルチモーダル情報の活用)
    ○ LP画像(フルビュー)のスクリーンショット
    ○ LP OCR処理済みテキスト
    評価データセット
    ● 広告アノテーションの専門家に追加で 3つの参照広告文を作成
    ● 業種ラベルの人手付与(② ’ 業種別評価)
    ○ 人材, EC, 金融, 教育の4業種

    View Slide

  13. 13
    言語処理学会第29回年次大会(NLP2023)
    CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA)
    ✔ 業種毎に評価可能
    ✔ マルチモーダル情報が活用可能
    ✔ マルチリファレンス評価が可能
    https://github.com/CyberAgentAILab/camera
    修明は“本当に行きたい学校
    ”で高い合格
    率を達成している塾です。勉強がうまく
    いっていない子を、“幸せな中学受験”で
    「逆転合格」へ。... (省略)
    1. 中学受験のための個別指導塾
    2. 新規生徒募集キャンペーン実施中
    3. 個人に合った指導・宿題でを提供
    4. 今なら入塾金50%オフ
    学習塾 中学
    LPテキスト
    検索キーワード
    LP画像(※)
    (参照)広告文
    ※ 実際にはLPフルビュー画像および OCR処理済みテキストが含まれる

    View Slide

  14. 14
    言語処理学会第29回年次大会(NLP2023)
    実験の目的
    ● 提案ベンチマーク(CAMERA)の有用性を確認
    ○ 設計方針1: マルチモーダル情報が活用できる
    ○ 設計方針2: 業種別に評価できる
    ● 広告文生成タスクの現状と今後の課題を調査
    ○ 事前学習済みモデルの種類の影響は?
    ○ 視覚情報は一貫して生成品質を向上させる?
    ○ 業種別に結果にばらつきは?
    有用な設計か?

    View Slide

  15. 15
    言語処理学会第29回年次大会(NLP2023)
    実験設定
    ● ベースラインモデル
    ○ BART
    ○ T5
    ○ T5 + OCR
    ○ T5 + OCR + Layout
    ○ T5 + OCR + Layout + Visual
    ● 評価尺度
    ○ BLUE-4 (B-4)
    ○ ROUGE-1 (R-1)
    ○ キーワード挿入率 (Kwd)
    [村上ら, 22] から引用
    ※ 実験設定の詳細は予稿をご参照ください
    [村上ら, 22]の設定に準拠

    View Slide

  16. 16
    言語処理学会第29回年次大会(NLP2023)
    実験設定
    ● ベースラインモデル
    ○ BART
    ○ T5
    ○ T5 + OCR
    ○ T5 + OCR + Layout
    ○ T5 + OCR + Layout + Visual
    ● 評価尺度
    ○ BLUE-4 (B-4)
    ○ ROUGE-1 (R-1)
    ○ キーワード挿入率 (Kwd)
    [村上ら, 22] から引用
    事前学習済みモデルの種類の影響を調査
    マルチモーダル情報の有用性を調査
    ※ 実験設定の詳細は予稿をご参照ください
    LPと広告文の関連性を表す

    View Slide

  17. 17
    言語処理学会第29回年次大会(NLP2023)
    ● BART > T5 (B-4)
    ● T5 > BART (R-1, Kwd)
    事前学習済みモデルの種類の影響(全体)

    View Slide

  18. 18
    言語処理学会第29回年次大会(NLP2023)
    ● 結果にばらつきが生じている
    ● 人材: BART > T5 (B-4, R-1)
    事前学習済みモデルの種類の影響(業種別)
    ➢ 評価の目的に応じて適切に選択する必要あり

    View Slide

  19. 19
    言語処理学会第29回年次大会(NLP2023)
    ● OCR処理済みテキスト (+{o}) やレイアウト情報 (+{0,l})を入れると生成品
    質(B-4, R-1)が向上
    ● LPとの関連性(Kwd)は下がる
    マルチモーダル情報の有用性(全体)

    View Slide

  20. 20
    言語処理学会第29回年次大会(NLP2023)
    ● LPの画像特徴量(+{o,l,v})を加えるとR-1が低下(例: EC, 金融)
    ● Kwdに関しては全体と同じ傾向
    マルチモーダル情報の有用性(業種別)
    ➢ 画像情報の一部がノイズとして機能した可能性あり cf. [村上ら, 22]

    View Slide

  21. 21
    言語処理学会第29回年次大会(NLP2023)
    まとめ
    ● 広告文生成を応用横断的なタスクとして規定
    ● 初のベンチマークデータ「CAMERA」を構築&一般公開
    ○ ✔ 業種毎に評価可能
    ○ ✔ マルチモーダル情報が活用可能
    ○ ✔ マルチリファレンス評価が可能
    ● 本タスクの現状と今後の課題を報告
    ○ 広告文生成の性能は業種毎に大きく変動する
    ○ マルチモーダル情報の効果的な活用が今後の課題
    https://github.com/CyberAgentAILab/camera

    View Slide

  22. 22
    補足資料

    View Slide

  23. 23
    言語処理学会第29回年次大会(NLP2023)
    広告文の要件
    ● 商材内容と整合がとれている(情報整合性)
    ○ 入力に含意されている(忠実性)
    ○ 入力に含意されていない情報を含むが外部知識に基づいている(事実
    性)
    ● 商材内容からユーザの潜在的なニーズに応じて情報が取捨選択されている
    (情報圧縮性)
    ○ 商材に関する特徴や魅力を短い文で表し即座にユーザの関心を惹き付
    けることが同時に要求
    ○ 訴求できる情報を取捨選択(情報圧縮)されている必要

    View Slide

  24. 24
    言語処理学会第29回年次大会(NLP2023)
    従来タスクとの違い
    ● クエリ指向要約(要約の一種)
    ○ 目的: ユーザの明示的なクエリを確実に反映させた要約の提示
    ○ ユーザ信号: 顕在化されたニーズ
    ● 広告文生成
    ○ 目的: ユーザの態度や行動に影響を与える要約の提示
    ○ ユーザ信号: 潜在的なニーズ
    ユーザ信号の曖昧性

    評価観点

    クエリ指向要約

    選好の世界

    合意形成がとれる世界

    広告文生成


    View Slide

  25. 25
    言語処理学会第29回年次大会(NLP2023)
    LPフルビューを考慮しないと難しい例

    View Slide