言語処理学会第29回年次大会(NLP2023) の発表資料
言語処理学会第29回年次大会（NLP2023）広告文生成タスクの規定とベンチマーク構築三田 雅人, 村上 聡一朗, 張 培楠（サイバーエージェント）H11-4
View Slide
2言語処理学会第29回年次大会（NLP2023）インターネット広告の種類検索連動型広告 ディスプレイ広告その他に SNS 広告, インフィード広告, 動画広告, キャッチコピーなど色々ある
3言語処理学会第29回年次大会（NLP2023）インターネット広告市場➢ 広告制作の自動化が喫緊の課題となっている2018年のインターネット広告媒体費は1兆4480億円に。モバイル+動画広告の伸びに注目市場は10年で約3倍もの規模に成長Google Search Statistics and Facts 2023(You Must Know)検索クエリは前年比約8%前後で増加
4言語処理学会第29回年次大会（NLP2023）自然言語処理技術を用いた広告文の自動生成● ニューラル言語生成に基づく手法（例. EncDec）が主流CTRが高い文への”翻訳”[Mishra+, 2020]広告文商材説明文書 CTR高い文CTR低い文 広告文キーワード商材説明文書を”要約”[Hughes+, 2019; Kamigaito+, 2021]キーワードからの生成[福田, 2019; 脇本+, 2020]クリック率 (CTR) = クリック数 ÷ 表示回数
5言語処理学会第29回年次大会（NLP2023）課題①: 問題設定として十分に規定されていない● ニューラル言語生成に基づく手法（例. EncDec）が主流CTRが高い文への”翻訳”[Mishra+, 2020]広告文商材説明文書 CTR高い文CTR低い文 広告文キーワード商材説明文書を”要約”[Hughes+, 2019; Kamigaito+, 2021]キーワードからの生成[福田, 2019; 脇本+, 2020]タスクの入出力設定は？ 既存タスク（例. 要約）との本質的な違いは？満たすべき要件は？ 研究題材としての学術的な意義は？
6言語処理学会第29回年次大会（NLP2023）課題② 共通データセット（ベンチマーク）がない● 既存研究は独自データを用いた個々の検証に留まっている○ 包括的な手法間の比較ができない○ データを持たない新規プレイヤーが参入できない
7言語処理学会第29回年次大会（NLP2023）ベンチマークは問題を規定する● 問題の具体的な取り決めはベンチマークの設計者が行う（①’ 問題の設定）○ 例. 何を入出力とするか● 本質的に重要な部分が明らかになり, 技術の一般化が進む（②’ 比較・参入障壁） ■ 研究の参入コストが下がる共通のデータセット（ベンチマーク）
8言語処理学会第29回年次大会（NLP2023）本研究の概要トップゴール: 広告文生成の学術分野としての発展● 分野の参入障壁を下げてプレイヤー増● 広告生成技術の一般化を促進本研究の貢献:● 広告文生成（Ad Text Generation）を応用横断的なタスクとして規定● 初のベンチマークデータセットを構築○ CAMERA📷: CA Multimodal Evaluation for Ad Text GeneRAtion● 広告文生成タスクの現状と今後の課題を報告本発表では詳細は割愛
9言語処理学会第29回年次大会（NLP2023）広告文生成（Ad Text Generation）タスク● 入力: 商材に関する説明文書（x）, ユーザ信号（a）● 出力: 広告文（y）● 目的: p (y|x,a) のモデル化—----広告文生成モデル説明文書 (x)例: LPテキスト広告文 (y)ユーザ信号 (a)例: 検索キーワード, 購買履歴広告の形態によって変動
10言語処理学会第29回年次大会（NLP2023）設計方針① マルチモーダル情報が活用できる● 多くの広告形態では視覚情報が併せて用いられている● LPのレイアウト情報を考慮することで生成品質向上 [村上ら, 22]ランディングページ（ LP）エンジニア 転職キーワードITエンジニアの転職 - ITエンジニア必見ITエンジニアのための転職サービス。年収と仕事内容付きで、企業があなたを競争入札 …広告文
11言語処理学会第29回年次大会（NLP2023）設計方針② 業種別に評価できる● 効果的な広告文を作るためには具体的な訴求を入れることが重要● 効果的な訴求表現は業種ごとに異なる [Murakami+, 22]出典: https://www.cyberagent.co.jp/news/detail/id=27559
12言語処理学会第29回年次大会（NLP2023）データセット構築手順データセット全体● 元データは運用実績のある検索連動型広告● LP視覚情報の抽出（① ’ マルチモーダル情報の活用）○ LP画像（フルビュー）のスクリーンショット○ LP OCR処理済みテキスト評価データセット● 広告アノテーションの専門家に追加で 3つの参照広告文を作成● 業種ラベルの人手付与（② ’ 業種別評価）○ 人材, EC, 金融, 教育の4業種
13言語処理学会第29回年次大会（NLP2023）CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA)✔ 業種毎に評価可能✔ マルチモーダル情報が活用可能✔ マルチリファレンス評価が可能https://github.com/CyberAgentAILab/camera修明は“本当に行きたい学校”で高い合格率を達成している塾です。勉強がうまくいっていない子を、“幸せな中学受験”で「逆転合格」へ。... (省略)1. 中学受験のための個別指導塾2. 新規生徒募集キャンペーン実施中3. 個人に合った指導・宿題でを提供4. 今なら入塾金50%オフ学習塾 中学LPテキスト検索キーワードLP画像（※）（参照）広告文※ 実際にはLPフルビュー画像および OCR処理済みテキストが含まれる
14言語処理学会第29回年次大会（NLP2023）実験の目的● 提案ベンチマーク（CAMERA）の有用性を確認○ 設計方針1: マルチモーダル情報が活用できる○ 設計方針2: 業種別に評価できる● 広告文生成タスクの現状と今後の課題を調査○ 事前学習済みモデルの種類の影響は？○ 視覚情報は一貫して生成品質を向上させる？○ 業種別に結果にばらつきは？有用な設計か？
15言語処理学会第29回年次大会（NLP2023）実験設定● ベースラインモデル○ BART○ T5○ T5 + OCR○ T5 + OCR + Layout○ T5 + OCR + Layout + Visual● 評価尺度○ BLUE-4 (B-4)○ ROUGE-1 (R-1)○ キーワード挿入率 (Kwd)[村上ら, 22] から引用※ 実験設定の詳細は予稿をご参照ください[村上ら, 22]の設定に準拠
16言語処理学会第29回年次大会（NLP2023）実験設定● ベースラインモデル○ BART○ T5○ T5 + OCR○ T5 + OCR + Layout○ T5 + OCR + Layout + Visual● 評価尺度○ BLUE-4 (B-4)○ ROUGE-1 (R-1)○ キーワード挿入率 (Kwd)[村上ら, 22] から引用事前学習済みモデルの種類の影響を調査マルチモーダル情報の有用性を調査※ 実験設定の詳細は予稿をご参照くださいLPと広告文の関連性を表す
17言語処理学会第29回年次大会（NLP2023）● BART > T5 (B-4)● T5 > BART (R-1, Kwd)事前学習済みモデルの種類の影響（全体）
18言語処理学会第29回年次大会（NLP2023）● 結果にばらつきが生じている● 人材: BART > T5 （B-4, R-1）事前学習済みモデルの種類の影響（業種別）➢ 評価の目的に応じて適切に選択する必要あり
19言語処理学会第29回年次大会（NLP2023）● OCR処理済みテキスト (+{o}) やレイアウト情報 (+{0,l})を入れると生成品質（B-4, R-1）が向上● LPとの関連性（Kwd）は下がるマルチモーダル情報の有用性（全体）
20言語処理学会第29回年次大会（NLP2023）● LPの画像特徴量（+{o,l,v}）を加えるとR-1が低下（例: EC, 金融）● Kwdに関しては全体と同じ傾向マルチモーダル情報の有用性（業種別）➢ 画像情報の一部がノイズとして機能した可能性あり cf. [村上ら, 22]
21言語処理学会第29回年次大会（NLP2023）まとめ● 広告文生成を応用横断的なタスクとして規定● 初のベンチマークデータ「CAMERA」を構築&一般公開○ ✔ 業種毎に評価可能○ ✔ マルチモーダル情報が活用可能○ ✔ マルチリファレンス評価が可能● 本タスクの現状と今後の課題を報告○ 広告文生成の性能は業種毎に大きく変動する○ マルチモーダル情報の効果的な活用が今後の課題https://github.com/CyberAgentAILab/camera
22補足資料
23言語処理学会第29回年次大会（NLP2023）広告文の要件● 商材内容と整合がとれている（情報整合性）○ 入力に含意されている（忠実性）○ 入力に含意されていない情報を含むが外部知識に基づいている（事実性）● 商材内容からユーザの潜在的なニーズに応じて情報が取捨選択されている（情報圧縮性）○ 商材に関する特徴や魅力を短い文で表し即座にユーザの関心を惹き付けることが同時に要求○ 訴求できる情報を取捨選択（情報圧縮）されている必要
24言語処理学会第29回年次大会（NLP2023）従来タスクとの違い● クエリ指向要約（要約の一種）○ 目的: ユーザの明示的なクエリを確実に反映させた要約の提示○ ユーザ信号: 顕在化されたニーズ● 広告文生成○ 目的: ユーザの態度や行動に影響を与える要約の提示○ ユーザ信号: 潜在的なニーズユーザ信号の曖昧性 評価観点 クエリ指向要約 選好の世界 合意形成がとれる世界 広告文生成
25言語処理学会第29回年次大会（NLP2023）LPフルビューを考慮しないと難しい例
chemical_tree
upura
kuribayashi4
yamdan
kanojikajino
.png){kind=avatar}
noteinc
kuri8ive
koheishinden
shurain
wide_vsix
shuntaros
hide2kano
gaelvaroquaux
chrislema
panda_program
ammeep
pauljervisheath
garrettdimon
aarron
kastner
jlugia
akmur
bermonpainter
searls
kneath