Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
広告文生成タスクの規定とベンチマーク構築(NLP2023)
Search
Masato Mita
March 17, 2023
Research
0
490
広告文生成タスクの規定とベンチマーク構築(NLP2023)
言語処理学会第29回年次大会(NLP2023) の発表資料
Masato Mita
March 17, 2023
Tweet
Share
More Decks by Masato Mita
See All by Masato Mita
国際会議ACL2024参加報告
chemical_tree
1
430
論文紹介/Expectations over Unspoken Alternatives Predict Pragmatic Inferences
chemical_tree
1
320
論述リビジョンのためのメタ評価基盤
chemical_tree
0
350
ライティング支援のための文法誤り訂正
chemical_tree
2
1.8k
Other Decks in Research
See All in Research
チュートリアル:Mamba, Vision Mamba (Vim)
hf149
6
2.2k
IM2024
mamoruk
0
230
メタヒューリスティクスに基づく汎用線形整数計画ソルバーの開発
snowberryfield
3
770
研究を支える拡張性の高い ワークフローツールの提案 / Proposal of highly expandable workflow tools to support research
linyows
0
300
移動ビッグデータに基づく地理情報の埋め込みベクトル化
tam1110
0
240
Retrieval of Hurricane Rain Rate From SAR Images Based on Artificial Neural Network
satai
3
140
LLM 시대의 Compliance: Safety & Security
huffon
0
600
地理空間情報と自然言語処理:「地球の歩き方旅行記データセット」の高付加価値化を通じて
hiroki13
1
190
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
haraduka
0
450
大規模言語モデルを用いたニュースデータのセンチメント判定モデルの開発および実体経済センチメントインデックスの構成
nomamist
0
110
AWS 音声基盤モデル トーク解析AI MiiTelの音声処理について
ken57
0
130
アプリケーションから知るモデルマージ
maguro27
0
260
Featured
See All Featured
Faster Mobile Websites
deanohume
306
31k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
240
Unsuck your backbone
ammeep
669
57k
Building Your Own Lightsaber
phodgson
104
6.2k
Code Review Best Practice
trishagee
67
18k
How to Think Like a Performance Engineer
csswizardry
22
1.4k
Building Applications with DynamoDB
mza
93
6.2k
Adopting Sorbet at Scale
ufuk
74
9.2k
Transcript
言語処理学会第29回年次大会(NLP2023) 広告文生成タスクの規定とベンチマーク構築 三田 雅人, 村上 聡一朗, 張 培楠(サイバーエージェント) H11-4
2 言語処理学会第29回年次大会(NLP2023) インターネット広告の種類 検索連動型広告 ディスプレイ広告 その他に SNS 広告, インフィード広告, 動画広告,
キャッチコピーなど色々ある
3 言語処理学会第29回年次大会(NLP2023) インターネット広告市場 ➢ 広告制作の自動化が喫緊の課題となっている 2018年のインターネット広告媒体費は 1兆4480億円に。モバイル +動画広告の 伸びに注目 市場は10年で約3倍もの規模に成長
Google Search Statistics and Facts 2023 (You Must Know) 検索クエリは前年比 約8%前後で増加
4 言語処理学会第29回年次大会(NLP2023) 自然言語処理技術を用いた広告文の自動生成 • ニューラル言語生成に基づく手法(例. EncDec)が主流 CTRが高い文への”翻訳” [Mishra+, 2020] 広告文
商材説明文書 CTR高い文 CTR低い文 広告文 キーワード 商材説明文書を”要約” [Hughes+, 2019; Kamigaito+, 2021] キーワードからの生成 [福田, 2019; 脇本+, 2020] クリック率 (CTR) = クリック数 ÷ 表示回数
5 言語処理学会第29回年次大会(NLP2023) 課題①: 問題設定として十分に規定されていない • ニューラル言語生成に基づく手法(例. EncDec)が主流 CTRが高い文への”翻訳” [Mishra+, 2020]
広告文 商材説明文書 CTR高い文 CTR低い文 広告文 キーワード 商材説明文書を”要約” [Hughes+, 2019; Kamigaito+, 2021] キーワードからの生成 [福田, 2019; 脇本+, 2020] タスクの入出力設定は? 既存タスク(例. 要約)との本質的な違いは? 満たすべき要件は? 研究題材としての学術的な意義は?
6 言語処理学会第29回年次大会(NLP2023) 課題② 共通データセット(ベンチマーク)がない • 既存研究は独自データを用いた個々の検証に留まっている ◦ 包括的な手法間の比較ができない ◦ データを持たない新規プレイヤーが参入できない
7 言語処理学会第29回年次大会(NLP2023) ベンチマークは問題を規定する • 問題の具体的な取り決めはベンチマークの設計者が行う(① ’ 問題の設定) ◦ 例. 何を入出力とするか
• 本質的に重要な部分が明らかになり , 技術の一般化が進む(②’ 比較・参入障壁) ▪ 研究の参入コストが下がる 共通のデータセット (ベンチマーク)
8 言語処理学会第29回年次大会(NLP2023) 本研究の概要 トップゴール: 広告文生成の学術分野としての発展 • 分野の参入障壁を下げてプレイヤー増 • 広告生成技術の一般化を促進 本研究の貢献:
• 広告文生成(Ad Text Generation)を応用横断的なタスクとして規定 • 初のベンチマークデータセットを構築 ◦ CAMERA📷: CA Multimodal Evaluation for Ad Text GeneRAtion • 広告文生成タスクの現状と今後の課題を報告 本発表では詳細は割愛
9 言語処理学会第29回年次大会(NLP2023) 広告文生成(Ad Text Generation)タスク • 入力: 商材に関する説明文書(x), ユーザ信号(a) •
出力: 広告文(y) • 目的: p (y|x,a) のモデル化 —---- 広告文生成モデル 説明文書 (x) 例: LPテキスト 広告文 (y) ユーザ信号 (a) 例: 検索キーワード, 購買履歴 広告の形態によって変動
10 言語処理学会第29回年次大会(NLP2023) 設計方針① マルチモーダル情報が活用できる • 多くの広告形態では視覚情報が併せて用いられている • LPのレイアウト情報を考慮することで生成品質向上 [村上ら, 22]
ランディングページ( LP) エンジニア 転職 キーワード ITエンジニアの転職 - ITエンジニア必見 ITエンジニアのための転職サービス。年収と仕事 内容付きで、企業があなたを競争入札 … 広告文
11 言語処理学会第29回年次大会(NLP2023) 設計方針② 業種別に評価できる • 効果的な広告文を作るためには具体的な訴求を入れることが重要 • 効果的な訴求表現は業種ごとに異なる [Murakami+, 22]
出典: https://www.cyberagent.co.jp/news/detail/id=27559
12 言語処理学会第29回年次大会(NLP2023) データセット構築手順 データセット全体 • 元データは運用実績のある検索連動型広告 • LP視覚情報の抽出(① ’ マルチモーダル情報の活用)
◦ LP画像(フルビュー)のスクリーンショット ◦ LP OCR処理済みテキスト 評価データセット • 広告アノテーションの専門家に追加で 3つの参照広告文を作成 • 業種ラベルの人手付与(② ’ 業種別評価) ◦ 人材, EC, 金融, 教育の4業種
13 言語処理学会第29回年次大会(NLP2023) CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA)
✔ 業種毎に評価可能 ✔ マルチモーダル情報が活用可能 ✔ マルチリファレンス評価が可能 https://github.com/CyberAgentAILab/camera 修明は“本当に行きたい学校 ”で高い合格 率を達成している塾です。勉強がうまく いっていない子を、“幸せな中学受験”で 「逆転合格」へ。... (省略) 1. 中学受験のための個別指導塾 2. 新規生徒募集キャンペーン実施中 3. 個人に合った指導・宿題でを提供 4. 今なら入塾金50%オフ 学習塾 中学 LPテキスト 検索キーワード LP画像(※) (参照)広告文 ※ 実際にはLPフルビュー画像および OCR処理済みテキストが含まれる
14 言語処理学会第29回年次大会(NLP2023) 実験の目的 • 提案ベンチマーク(CAMERA)の有用性を確認 ◦ 設計方針1: マルチモーダル情報が活用できる ◦ 設計方針2:
業種別に評価できる • 広告文生成タスクの現状と今後の課題を調査 ◦ 事前学習済みモデルの種類の影響は? ◦ 視覚情報は一貫して生成品質を向上させる? ◦ 業種別に結果にばらつきは? 有用な設計か?
15 言語処理学会第29回年次大会(NLP2023) 実験設定 • ベースラインモデル ◦ BART ◦ T5 ◦
T5 + OCR ◦ T5 + OCR + Layout ◦ T5 + OCR + Layout + Visual • 評価尺度 ◦ BLUE-4 (B-4) ◦ ROUGE-1 (R-1) ◦ キーワード挿入率 (Kwd) [村上ら, 22] から引用 ※ 実験設定の詳細は予稿をご参照ください [村上ら, 22]の設定に準拠
16 言語処理学会第29回年次大会(NLP2023) 実験設定 • ベースラインモデル ◦ BART ◦ T5 ◦
T5 + OCR ◦ T5 + OCR + Layout ◦ T5 + OCR + Layout + Visual • 評価尺度 ◦ BLUE-4 (B-4) ◦ ROUGE-1 (R-1) ◦ キーワード挿入率 (Kwd) [村上ら, 22] から引用 事前学習済みモデルの種類の影響を調査 マルチモーダル情報の有用性を調査 ※ 実験設定の詳細は予稿をご参照ください LPと広告文の関連性を表す
17 言語処理学会第29回年次大会(NLP2023) • BART > T5 (B-4) • T5 >
BART (R-1, Kwd) 事前学習済みモデルの種類の影響(全体)
18 言語処理学会第29回年次大会(NLP2023) • 結果にばらつきが生じている • 人材: BART > T5 (B-4,
R-1) 事前学習済みモデルの種類の影響(業種別) ➢ 評価の目的に応じて適切に選択する必要あり
19 言語処理学会第29回年次大会(NLP2023) • OCR処理済みテキスト (+{o}) やレイアウト情報 (+{0,l})を入れると生成品 質(B-4, R-1)が向上 •
LPとの関連性(Kwd)は下がる マルチモーダル情報の有用性(全体)
20 言語処理学会第29回年次大会(NLP2023) • LPの画像特徴量(+{o,l,v})を加えるとR-1が低下(例: EC, 金融) • Kwdに関しては全体と同じ傾向 マルチモーダル情報の有用性(業種別) ➢
画像情報の一部がノイズとして機能した可能性あり cf. [村上ら, 22]
21 言語処理学会第29回年次大会(NLP2023) まとめ • 広告文生成を応用横断的なタスクとして規定 • 初のベンチマークデータ「CAMERA」を構築&一般公開 ◦ ✔ 業種毎に評価可能
◦ ✔ マルチモーダル情報が活用可能 ◦ ✔ マルチリファレンス評価が可能 • 本タスクの現状と今後の課題を報告 ◦ 広告文生成の性能は業種毎に大きく変動する ◦ マルチモーダル情報の効果的な活用が今後の課題 https://github.com/CyberAgentAILab/camera
22 補足資料
23 言語処理学会第29回年次大会(NLP2023) 広告文の要件 • 商材内容と整合がとれている(情報整合性) ◦ 入力に含意されている(忠実性) ◦ 入力に含意されていない情報を含むが外部知識に基づいている(事実 性)
• 商材内容からユーザの潜在的なニーズに応じて情報が取捨選択されている (情報圧縮性) ◦ 商材に関する特徴や魅力を短い文で表し即座にユーザの関心を惹き付 けることが同時に要求 ◦ 訴求できる情報を取捨選択(情報圧縮)されている必要
24 言語処理学会第29回年次大会(NLP2023) 従来タスクとの違い • クエリ指向要約(要約の一種) ◦ 目的: ユーザの明示的なクエリを確実に反映させた要約の提示 ◦ ユーザ信号:
顕在化されたニーズ • 広告文生成 ◦ 目的: ユーザの態度や行動に影響を与える要約の提示 ◦ ユーザ信号: 潜在的なニーズ ユーザ信号の曖昧性 評価観点 クエリ指向要約 選好の世界 合意形成がとれる世界 広告文生成
25 言語処理学会第29回年次大会(NLP2023) LPフルビューを考慮しないと難しい例