Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
オプトにおける自然言語生成の応用事例
Search
fhiyo
December 16, 2019
Research
810
6
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
オプトにおける自然言語生成の応用事例
https://opt.connpass.com/event/156040/
で登壇した内容です
fhiyo
December 16, 2019
Transcript
16 slides
オプトにおける 自然言語生成の応用事例 株式会社オプト 兵頭 沖 1
はじめに • 発表者 ◦ 兵頭 沖 (Twitter: @fhiyo_) ◦ 略歴
▪ 情報学修士 (アルゴリズム) ▪ 株式会社オプト (2018〜) • データインテリジェンスチーム所属 • 広告文の評価・生成のR&D • 内容 ◦ ニューラルネットワークを用いたテキストクリエイティブ生成のオプト内の応用 事例の紹介 ▪ ※ ルールベースでのアプローチも取り組んでいるが、今回は NNベースの紹介 ▪ ※ 途中経過の報告になります 2
アウトライン • オプトにおける自然言語生成の課題 • 要約タスクとしてみたクリエイティブ生成 • 現時点の出力サンプル • 今後の課題 3
オプトにおける自然言語生成の課題 4 入稿・運用 広告 1.2% B 0.7% C CTR 0.3%
A 制作 実績報告 ?
オプトにおける自然言語生成の課題 テキストクリエイティブ作成の自動支援 • 広告の入れ替え頻度の向上による利益率UP 生成システムに求められる条件 • 文として正しい出力 • 商材情報の反映 (嘘がない、重要な情報の漏れがない)
• ctrなど広告効果が高い • 既存の出力と被らない 5
テキストクリエイティブ作成の自動支援 • 広告の入れ替え頻度の向上による利益率UP 生成システムに求められる条件 • 文として正しい出力 • 商材情報の反映 (嘘がない、重要な情報の漏れがない) •
ctrなど広告効果が高い • 既存の出力と被らない オプトにおける自然言語生成の課題 6 要約タスクで解 いている問題 媒体最適化、取得が難しい情 報に依存した変数 対話文生成などで研究?
テキストクリエイティブ作成の自動支援 • 広告の入れ替え頻度の向上による利益率UP 生成システムに求められる条件 • 文として正しい出力 • 商材情報の反映 (嘘がない、重要な情報の漏れがない) •
ctrなど広告効果が高い • 既存の出力と被らない オプトにおける自然言語生成の課題 7 要約タスクで解 いている問題 媒体最適化、取得が難しい情 報に依存した変数 対話文生成などで研究 まずは上2つにフォーカスする 要約タスクに下2つの問題を解決するような制約式 を取り入れることができれば解けそう?
要約タスクとしてみたクリエイティブ生成 8 入力: 商品ページ 出力: テキスト広告 要約モデル
要約タスクとしてみたクリエイティブ生成 9 入力: 商品ページ 出力: テキスト 広告 要約モデル [問題設定] •
入力文はweb上の商品ページ、出力は テキスト広告 [課題] • データ量が多くない (ドメインごとに区切 ると少ない) • 要約ベンチマーク用タスクに比べて 入力 文の質が悪い • 商材固有の情報を多く含むので OOVの 対処は必須
要約タスクとしてみたクリエイティブ生成 [問題設定] • 入力文はweb上の商品ページ、出力は テキスト広告 [課題] • データ量が多くない (ドメインごとに区切 ると少ない)
• 要約ベンチマーク用タスクに比べて 入力 文の質が悪い • 商材固有の情報を多く含むので OOVの 対処は必須 10 copy mechanismの活用 (ex. copynet, pointer generator) 事前学習済みモデルの活用 (ex. UniLM, BERTSum, MASS)
事前学習済み言語モデルといえば 11 https://arxiv.org/abs/1810.04805 BERT [Devlin+, 2018] 事前訓練済みのモデルを利用して生成タスクを解く手法は最近のhot topic
copynet [Gu+, ACL 2016] 翻訳や要約のタスクは語彙に存在しない単語 (OOV) をどう出力するか?が課題 encoder-decoderで文を生成する際に、sourceの単語をコピーする能力を持たせたモ デル (attentionを用いてどのsourceに注目するか?を決定する)
12 https://www.aclweb.org/anthology/P16-1154/ ※ 厳密にはsub-wordにより OOVの問題は解消されるが、 copy-modeによる部分文字列 の出力を狙う
結果のサンプル 13 エレガンをサポートするブランド。。をおしセット受け入れることを サポートするブランド。。をおしセット受け入れることをサポートす るブランド。。をおしセット受け入れることをサポートするブラン ド。。をお求めの方 biLSTM + attention モデル
生成例 敏感肌」を予防する。健康な肌へ。 biLSTM + copynet 一人ひとりが更にアップブランド。 Transformer 毎日でもうるおいと香りで、清潔感肌へ導くスキン ケアブランド BERT + decoder + copynet
課題: loss・評価方法どうするか 要約タスクとは似て非なるタスク。対話文生成にも (一部) 似てる? 生成システムに求められる条件 (再掲) • 文として正しい出力 •
商材情報の反映 (嘘がない、重要が情報の漏れがない) • ctrなど広告効果が高い • 既存の出力と被らない これらの条件を上手く取り入れられるような評価方法を確立したい 14
その他今後の課題 • 事前学習済みモデルの軽量化 • 実用化の想定使用法の作成・環境作り • データ整備の方法 (入力文をもっとキレイにしたい) • デプロイ環境整備
• etc. 15
おわりに まとめ • オプトにおける自然言語生成の応用事例を紹介した • BERT + copynetで結構キレイに生成ができた? • 出力に多様性を持たせるための機構や評価方法の設計など、やりたいことはたくさ
んある 16
More Decks by fhiyo
See All by fhiyo
Security_Engineering___Third_Edition_Chapter.20.pdf
fhiyo
0
50
Security_Engineering___Third_Edition_Chapter.21.pdf
fhiyo
0
49
Git再入門
fhiyo
0
180
効果検証入門1章
fhiyo
1
570
言語処理のための機械学習入門 1.1〜1.4
fhiyo
0
110
【論文紹介】Forecasting at Scale
fhiyo
1
750
統計的因果探索に入門してみた
fhiyo
0
580
【論文紹介】Deep Inside Convolutional Networks Visualising Image Classification Models and Saliency Maps -- Simonyan Vedaldi Zisserman 2013 in ArXiv.pdf
fhiyo
0
1.6k
Other Decks in Research
See All in Research
[最先端NLP勉強会2026] Checklists Are Better Than Reward Models For Aligning Language Models
nzw0301
1
350
Développer des solutions de réduction des émissions de méthane entérique : 1ers résultats Méthane 2030
institutdelelevage
PRO
0
290
MIRU2026 チュートリアル講演2:三次元データ処理の動向
nnchiba
8
5.6k
Kaggle|AI Agent Security — しくじり先生、俺みたいになるな
pomcho555
1
140
全国町字単位空き家率推定データver1.0データ仕様
microbaseinc
0
340
完全自律LLMエージェントでDIVER OSINT CTF 2026に挑戦してみた
analokmaus
0
830
横浜市長(山中氏)の言動にかかる第三者による調査報告書
sishi2026
0
680
Adapter les bergeries aux fortes chaleurs
institutdelelevage
PRO
0
180
The Conductor Pattern -Multi-Granularity Feedback for Creative Agents-
shibuiwilliam
2
120
Détecter les vulnérabilités dans un environnement souverain
hellosct1
0
130
ros2-perf-multihost: 分散システムにおける客観的なアーキテクチャ評価フレームワーク
takasehideki
0
350
VLMの推論を高速化する視覚トークン削減の仕組み
tattaka
2
440
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
270
14k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
The Cost Of JavaScript in 2023
addyosmani
56
10k
Build your cross-platform service in a week with App Engine
jlugia
234
19k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.9k
The AI Search Optimization Roadmap by Aleyda Solis
aleyda
2
6.4k
Designing Powerful Visuals for Engaging Learning
tmiket
1
660
Building AI with AI
inesmontani
PRO
1
1.4k
My Coaching Mixtape
mlcsv
0
390
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
2k
How to Build an AI Search Optimization Roadmap - Criteria and Steps to Take #SEOIRL
aleyda
1
2.3k
Jamie Indigo - Trashchat’s Guide to Black Boxes: Technical SEO Tactics for LLMs
techseoconnect
PRO
0
750