Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
オプトにおける自然言語生成の応用事例
Search
fhiyo
December 16, 2019
Research
6
570
オプトにおける自然言語生成の応用事例
https://opt.connpass.com/event/156040/
で登壇した内容です
fhiyo
December 16, 2019
Tweet
Share
More Decks by fhiyo
See All by fhiyo
Git再入門
fhiyo
0
72
効果検証入門1章
fhiyo
0
310
言語処理のための機械学習入門 1.1〜1.4
fhiyo
0
67
【論文紹介】Forecasting at Scale
fhiyo
1
530
統計的因果探索に入門してみた
fhiyo
0
280
【論文紹介】Deep Inside Convolutional Networks Visualising Image Classification Models and Saliency Maps -- Simonyan Vedaldi Zisserman 2013 in ArXiv.pdf
fhiyo
0
1.3k
Other Decks in Research
See All in Research
How to Perform Manual Classification for Deep Learning Using CloudCompare
kentaitakura
0
600
サウナでのプロジェクションマッピングの可能性の検討 / EC71koizumi
yumulab
0
150
[Human-AI Decision Making勉強会] 説明の更新はユーザにどのような影響をもたらすか
okoso
1
150
CSC590 Lecture 01
javiergs
PRO
0
130
Deep State Space Models 101 / Mamba
kurita
9
3.4k
[KDD2023論文読み会] BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model with Non-textual Features for CTR Prediction / KDD2023 LY Tech Reading
shunk031
0
430
200名の育児中男性の声 「僕たちは、キャリアとライフをトレードオフにしたくない」共働き3.0世代の男性が 本当に求める働き方とは【ワーキングペアレンツの転職意識調査2023|XTalent株式会社】
xtalent
0
460
LLMマルチエージェントを俯瞰する
masatoto
26
15k
近似最近傍探索とVector DBの理論的背景
matsui_528
4
1.3k
音場再現技術の統一的枠組みと知覚的精度向上
skoyamalab
1
220
2024-01-23-az
sofievl
1
730
Trezor Safe 3 ファーストインプレッション
toshihr
0
180
Featured
See All Featured
Infographics Made Easy
chrislema
237
18k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
39
4.4k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
The Pragmatic Product Professional
lauravandoore
24
5.8k
How STYLIGHT went responsive
nonsquared
92
4.8k
Making the Leap to Tech Lead
cromwellryan
123
8.5k
Being A Developer After 40
akosma
56
580k
Building Flexible Design Systems
yeseniaperezcruz
318
37k
WebSockets: Embracing the real-time Web
robhawkes
59
7k
Done Done
chrislema
178
15k
Six Lessons from altMBA
skipperchong
20
3k
Statistics for Hackers
jakevdp
789
220k
Transcript
オプトにおける 自然言語生成の応用事例 株式会社オプト 兵頭 沖 1
はじめに • 発表者 ◦ 兵頭 沖 (Twitter: @fhiyo_) ◦ 略歴
▪ 情報学修士 (アルゴリズム) ▪ 株式会社オプト (2018〜) • データインテリジェンスチーム所属 • 広告文の評価・生成のR&D • 内容 ◦ ニューラルネットワークを用いたテキストクリエイティブ生成のオプト内の応用 事例の紹介 ▪ ※ ルールベースでのアプローチも取り組んでいるが、今回は NNベースの紹介 ▪ ※ 途中経過の報告になります 2
アウトライン • オプトにおける自然言語生成の課題 • 要約タスクとしてみたクリエイティブ生成 • 現時点の出力サンプル • 今後の課題 3
オプトにおける自然言語生成の課題 4 入稿・運用 広告 1.2% B 0.7% C CTR 0.3%
A 制作 実績報告 ?
オプトにおける自然言語生成の課題 テキストクリエイティブ作成の自動支援 • 広告の入れ替え頻度の向上による利益率UP 生成システムに求められる条件 • 文として正しい出力 • 商材情報の反映 (嘘がない、重要な情報の漏れがない)
• ctrなど広告効果が高い • 既存の出力と被らない 5
テキストクリエイティブ作成の自動支援 • 広告の入れ替え頻度の向上による利益率UP 生成システムに求められる条件 • 文として正しい出力 • 商材情報の反映 (嘘がない、重要な情報の漏れがない) •
ctrなど広告効果が高い • 既存の出力と被らない オプトにおける自然言語生成の課題 6 要約タスクで解 いている問題 媒体最適化、取得が難しい情 報に依存した変数 対話文生成などで研究?
テキストクリエイティブ作成の自動支援 • 広告の入れ替え頻度の向上による利益率UP 生成システムに求められる条件 • 文として正しい出力 • 商材情報の反映 (嘘がない、重要な情報の漏れがない) •
ctrなど広告効果が高い • 既存の出力と被らない オプトにおける自然言語生成の課題 7 要約タスクで解 いている問題 媒体最適化、取得が難しい情 報に依存した変数 対話文生成などで研究 まずは上2つにフォーカスする 要約タスクに下2つの問題を解決するような制約式 を取り入れることができれば解けそう?
要約タスクとしてみたクリエイティブ生成 8 入力: 商品ページ 出力: テキスト広告 要約モデル
要約タスクとしてみたクリエイティブ生成 9 入力: 商品ページ 出力: テキスト 広告 要約モデル [問題設定] •
入力文はweb上の商品ページ、出力は テキスト広告 [課題] • データ量が多くない (ドメインごとに区切 ると少ない) • 要約ベンチマーク用タスクに比べて 入力 文の質が悪い • 商材固有の情報を多く含むので OOVの 対処は必須
要約タスクとしてみたクリエイティブ生成 [問題設定] • 入力文はweb上の商品ページ、出力は テキスト広告 [課題] • データ量が多くない (ドメインごとに区切 ると少ない)
• 要約ベンチマーク用タスクに比べて 入力 文の質が悪い • 商材固有の情報を多く含むので OOVの 対処は必須 10 copy mechanismの活用 (ex. copynet, pointer generator) 事前学習済みモデルの活用 (ex. UniLM, BERTSum, MASS)
事前学習済み言語モデルといえば 11 https://arxiv.org/abs/1810.04805 BERT [Devlin+, 2018] 事前訓練済みのモデルを利用して生成タスクを解く手法は最近のhot topic
copynet [Gu+, ACL 2016] 翻訳や要約のタスクは語彙に存在しない単語 (OOV) をどう出力するか?が課題 encoder-decoderで文を生成する際に、sourceの単語をコピーする能力を持たせたモ デル (attentionを用いてどのsourceに注目するか?を決定する)
12 https://www.aclweb.org/anthology/P16-1154/ ※ 厳密にはsub-wordにより OOVの問題は解消されるが、 copy-modeによる部分文字列 の出力を狙う
結果のサンプル 13 エレガンをサポートするブランド。。をおしセット受け入れることを サポートするブランド。。をおしセット受け入れることをサポートす るブランド。。をおしセット受け入れることをサポートするブラン ド。。をお求めの方 biLSTM + attention モデル
生成例 敏感肌」を予防する。健康な肌へ。 biLSTM + copynet 一人ひとりが更にアップブランド。 Transformer 毎日でもうるおいと香りで、清潔感肌へ導くスキン ケアブランド BERT + decoder + copynet
課題: loss・評価方法どうするか 要約タスクとは似て非なるタスク。対話文生成にも (一部) 似てる? 生成システムに求められる条件 (再掲) • 文として正しい出力 •
商材情報の反映 (嘘がない、重要が情報の漏れがない) • ctrなど広告効果が高い • 既存の出力と被らない これらの条件を上手く取り入れられるような評価方法を確立したい 14
その他今後の課題 • 事前学習済みモデルの軽量化 • 実用化の想定使用法の作成・環境作り • データ整備の方法 (入力文をもっとキレイにしたい) • デプロイ環境整備
• etc. 15
おわりに まとめ • オプトにおける自然言語生成の応用事例を紹介した • BERT + copynetで結構キレイに生成ができた? • 出力に多様性を持たせるための機構や評価方法の設計など、やりたいことはたくさ
んある 16