Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
オプトにおける自然言語生成の応用事例
Search
fhiyo
December 16, 2019
Research
6
670
オプトにおける自然言語生成の応用事例
https://opt.connpass.com/event/156040/
で登壇した内容です
fhiyo
December 16, 2019
Tweet
Share
More Decks by fhiyo
See All by fhiyo
Git再入門
fhiyo
0
100
効果検証入門1章
fhiyo
1
410
言語処理のための機械学習入門 1.1〜1.4
fhiyo
0
76
【論文紹介】Forecasting at Scale
fhiyo
1
620
統計的因果探索に入門してみた
fhiyo
0
390
【論文紹介】Deep Inside Convolutional Networks Visualising Image Classification Models and Saliency Maps -- Simonyan Vedaldi Zisserman 2013 in ArXiv.pdf
fhiyo
0
1.4k
Other Decks in Research
See All in Research
ベイズ的方法に基づく統計的因果推論の基礎
holyshun
0
820
ドローンやICTを活用した持続可能なまちづくりに関する研究
nro2daisuke
0
150
コーパスを丸呑みしたモデルから言語の何がわかるか
eumesy
PRO
1
670
書き手はどこを訪れたか? - 言語モデルで訪問行動を読み取る -
hiroki13
0
150
PostgreSQLにおける分散トレーシングの現在 - 第50回PostgreSQLアンカンファレンス
seinoyu
0
240
Composed image retrieval for remote sensing
satai
3
240
リモートワークにおけるパッシブ疲労
matsumoto_r
PRO
6
5k
コミュニティドライブプロジェクト
smartfukushilab1
0
200
Gemini と Looker で営業DX をドライブする / Driving Sales DX with Gemini and Looker
sansan_randd
0
130
Whoisの闇
hirachan
3
310
AIトップカンファレンスからみるData-Centric AIの研究動向 / Research Trends in Data-Centric AI: Insights from Top AI Conferences
tsurubee
3
1.7k
DeepSeek を利用する上でのリスクと安全性の考え方
schroneko
3
800
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
570
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
How to Think Like a Performance Engineer
csswizardry
22
1.4k
Statistics for Hackers
jakevdp
797
220k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
Site-Speed That Sticks
csswizardry
4
400
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
BBQ
matthewcrist
87
9.5k
Being A Developer After 40
akosma
89
590k
Six Lessons from altMBA
skipperchong
27
3.6k
Transcript
オプトにおける 自然言語生成の応用事例 株式会社オプト 兵頭 沖 1
はじめに • 発表者 ◦ 兵頭 沖 (Twitter: @fhiyo_) ◦ 略歴
▪ 情報学修士 (アルゴリズム) ▪ 株式会社オプト (2018〜) • データインテリジェンスチーム所属 • 広告文の評価・生成のR&D • 内容 ◦ ニューラルネットワークを用いたテキストクリエイティブ生成のオプト内の応用 事例の紹介 ▪ ※ ルールベースでのアプローチも取り組んでいるが、今回は NNベースの紹介 ▪ ※ 途中経過の報告になります 2
アウトライン • オプトにおける自然言語生成の課題 • 要約タスクとしてみたクリエイティブ生成 • 現時点の出力サンプル • 今後の課題 3
オプトにおける自然言語生成の課題 4 入稿・運用 広告 1.2% B 0.7% C CTR 0.3%
A 制作 実績報告 ?
オプトにおける自然言語生成の課題 テキストクリエイティブ作成の自動支援 • 広告の入れ替え頻度の向上による利益率UP 生成システムに求められる条件 • 文として正しい出力 • 商材情報の反映 (嘘がない、重要な情報の漏れがない)
• ctrなど広告効果が高い • 既存の出力と被らない 5
テキストクリエイティブ作成の自動支援 • 広告の入れ替え頻度の向上による利益率UP 生成システムに求められる条件 • 文として正しい出力 • 商材情報の反映 (嘘がない、重要な情報の漏れがない) •
ctrなど広告効果が高い • 既存の出力と被らない オプトにおける自然言語生成の課題 6 要約タスクで解 いている問題 媒体最適化、取得が難しい情 報に依存した変数 対話文生成などで研究?
テキストクリエイティブ作成の自動支援 • 広告の入れ替え頻度の向上による利益率UP 生成システムに求められる条件 • 文として正しい出力 • 商材情報の反映 (嘘がない、重要な情報の漏れがない) •
ctrなど広告効果が高い • 既存の出力と被らない オプトにおける自然言語生成の課題 7 要約タスクで解 いている問題 媒体最適化、取得が難しい情 報に依存した変数 対話文生成などで研究 まずは上2つにフォーカスする 要約タスクに下2つの問題を解決するような制約式 を取り入れることができれば解けそう?
要約タスクとしてみたクリエイティブ生成 8 入力: 商品ページ 出力: テキスト広告 要約モデル
要約タスクとしてみたクリエイティブ生成 9 入力: 商品ページ 出力: テキスト 広告 要約モデル [問題設定] •
入力文はweb上の商品ページ、出力は テキスト広告 [課題] • データ量が多くない (ドメインごとに区切 ると少ない) • 要約ベンチマーク用タスクに比べて 入力 文の質が悪い • 商材固有の情報を多く含むので OOVの 対処は必須
要約タスクとしてみたクリエイティブ生成 [問題設定] • 入力文はweb上の商品ページ、出力は テキスト広告 [課題] • データ量が多くない (ドメインごとに区切 ると少ない)
• 要約ベンチマーク用タスクに比べて 入力 文の質が悪い • 商材固有の情報を多く含むので OOVの 対処は必須 10 copy mechanismの活用 (ex. copynet, pointer generator) 事前学習済みモデルの活用 (ex. UniLM, BERTSum, MASS)
事前学習済み言語モデルといえば 11 https://arxiv.org/abs/1810.04805 BERT [Devlin+, 2018] 事前訓練済みのモデルを利用して生成タスクを解く手法は最近のhot topic
copynet [Gu+, ACL 2016] 翻訳や要約のタスクは語彙に存在しない単語 (OOV) をどう出力するか?が課題 encoder-decoderで文を生成する際に、sourceの単語をコピーする能力を持たせたモ デル (attentionを用いてどのsourceに注目するか?を決定する)
12 https://www.aclweb.org/anthology/P16-1154/ ※ 厳密にはsub-wordにより OOVの問題は解消されるが、 copy-modeによる部分文字列 の出力を狙う
結果のサンプル 13 エレガンをサポートするブランド。。をおしセット受け入れることを サポートするブランド。。をおしセット受け入れることをサポートす るブランド。。をおしセット受け入れることをサポートするブラン ド。。をお求めの方 biLSTM + attention モデル
生成例 敏感肌」を予防する。健康な肌へ。 biLSTM + copynet 一人ひとりが更にアップブランド。 Transformer 毎日でもうるおいと香りで、清潔感肌へ導くスキン ケアブランド BERT + decoder + copynet
課題: loss・評価方法どうするか 要約タスクとは似て非なるタスク。対話文生成にも (一部) 似てる? 生成システムに求められる条件 (再掲) • 文として正しい出力 •
商材情報の反映 (嘘がない、重要が情報の漏れがない) • ctrなど広告効果が高い • 既存の出力と被らない これらの条件を上手く取り入れられるような評価方法を確立したい 14
その他今後の課題 • 事前学習済みモデルの軽量化 • 実用化の想定使用法の作成・環境作り • データ整備の方法 (入力文をもっとキレイにしたい) • デプロイ環境整備
• etc. 15
おわりに まとめ • オプトにおける自然言語生成の応用事例を紹介した • BERT + copynetで結構キレイに生成ができた? • 出力に多様性を持たせるための機構や評価方法の設計など、やりたいことはたくさ
んある 16