Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
オプトにおける自然言語生成の応用事例
Search
fhiyo
December 16, 2019
Research
6
670
オプトにおける自然言語生成の応用事例
https://opt.connpass.com/event/156040/
で登壇した内容です
fhiyo
December 16, 2019
Tweet
Share
More Decks by fhiyo
See All by fhiyo
Git再入門
fhiyo
0
100
効果検証入門1章
fhiyo
1
410
言語処理のための機械学習入門 1.1〜1.4
fhiyo
0
76
【論文紹介】Forecasting at Scale
fhiyo
1
620
統計的因果探索に入門してみた
fhiyo
0
390
【論文紹介】Deep Inside Convolutional Networks Visualising Image Classification Models and Saliency Maps -- Simonyan Vedaldi Zisserman 2013 in ArXiv.pdf
fhiyo
0
1.4k
Other Decks in Research
See All in Research
Evaluating Tool-Augmented Agents in Remote Sensing Platforms
satai
3
150
eAI (Engineerable AI) プロジェクトの全体像 / Overview of eAI Project
ishikawafyu
0
390
書き手はどこを訪れたか? - 言語モデルで訪問行動を読み取る -
hiroki13
0
150
20241226_くまもと公共交通新時代シンポジウム
trafficbrain
0
430
メールからの名刺情報抽出におけるLLM活用 / Use of LLM in extracting business card information from e-mails
sansan_randd
2
430
Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping
satai
3
140
Weekly AI Agents News! 11月号 論文のアーカイブ
masatoto
0
300
AIトップカンファレンスからみるData-Centric AIの研究動向 / Research Trends in Data-Centric AI: Insights from Top AI Conferences
tsurubee
3
1.7k
チュートリアル:Mamba, Vision Mamba (Vim)
hf149
6
2.2k
サーブレシーブ成功率は勝敗に影響するか?
vball_panda
0
550
LLM 시대의 Compliance: Safety & Security
huffon
0
600
Weekly AI Agents News! 12月号 プロダクト/ニュースのアーカイブ
masatoto
0
330
Featured
See All Featured
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.3k
Git: the NoSQL Database
bkeepers
PRO
427
65k
Agile that works and the tools we love
rasmusluckow
328
21k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Java REST API Framework Comparison - PWX 2021
mraible
29
8.4k
How GitHub (no longer) Works
holman
314
140k
A Tale of Four Properties
chriscoyier
158
23k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
Building Your Own Lightsaber
phodgson
104
6.2k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
BBQ
matthewcrist
87
9.5k
Transcript
オプトにおける 自然言語生成の応用事例 株式会社オプト 兵頭 沖 1
はじめに • 発表者 ◦ 兵頭 沖 (Twitter: @fhiyo_) ◦ 略歴
▪ 情報学修士 (アルゴリズム) ▪ 株式会社オプト (2018〜) • データインテリジェンスチーム所属 • 広告文の評価・生成のR&D • 内容 ◦ ニューラルネットワークを用いたテキストクリエイティブ生成のオプト内の応用 事例の紹介 ▪ ※ ルールベースでのアプローチも取り組んでいるが、今回は NNベースの紹介 ▪ ※ 途中経過の報告になります 2
アウトライン • オプトにおける自然言語生成の課題 • 要約タスクとしてみたクリエイティブ生成 • 現時点の出力サンプル • 今後の課題 3
オプトにおける自然言語生成の課題 4 入稿・運用 広告 1.2% B 0.7% C CTR 0.3%
A 制作 実績報告 ?
オプトにおける自然言語生成の課題 テキストクリエイティブ作成の自動支援 • 広告の入れ替え頻度の向上による利益率UP 生成システムに求められる条件 • 文として正しい出力 • 商材情報の反映 (嘘がない、重要な情報の漏れがない)
• ctrなど広告効果が高い • 既存の出力と被らない 5
テキストクリエイティブ作成の自動支援 • 広告の入れ替え頻度の向上による利益率UP 生成システムに求められる条件 • 文として正しい出力 • 商材情報の反映 (嘘がない、重要な情報の漏れがない) •
ctrなど広告効果が高い • 既存の出力と被らない オプトにおける自然言語生成の課題 6 要約タスクで解 いている問題 媒体最適化、取得が難しい情 報に依存した変数 対話文生成などで研究?
テキストクリエイティブ作成の自動支援 • 広告の入れ替え頻度の向上による利益率UP 生成システムに求められる条件 • 文として正しい出力 • 商材情報の反映 (嘘がない、重要な情報の漏れがない) •
ctrなど広告効果が高い • 既存の出力と被らない オプトにおける自然言語生成の課題 7 要約タスクで解 いている問題 媒体最適化、取得が難しい情 報に依存した変数 対話文生成などで研究 まずは上2つにフォーカスする 要約タスクに下2つの問題を解決するような制約式 を取り入れることができれば解けそう?
要約タスクとしてみたクリエイティブ生成 8 入力: 商品ページ 出力: テキスト広告 要約モデル
要約タスクとしてみたクリエイティブ生成 9 入力: 商品ページ 出力: テキスト 広告 要約モデル [問題設定] •
入力文はweb上の商品ページ、出力は テキスト広告 [課題] • データ量が多くない (ドメインごとに区切 ると少ない) • 要約ベンチマーク用タスクに比べて 入力 文の質が悪い • 商材固有の情報を多く含むので OOVの 対処は必須
要約タスクとしてみたクリエイティブ生成 [問題設定] • 入力文はweb上の商品ページ、出力は テキスト広告 [課題] • データ量が多くない (ドメインごとに区切 ると少ない)
• 要約ベンチマーク用タスクに比べて 入力 文の質が悪い • 商材固有の情報を多く含むので OOVの 対処は必須 10 copy mechanismの活用 (ex. copynet, pointer generator) 事前学習済みモデルの活用 (ex. UniLM, BERTSum, MASS)
事前学習済み言語モデルといえば 11 https://arxiv.org/abs/1810.04805 BERT [Devlin+, 2018] 事前訓練済みのモデルを利用して生成タスクを解く手法は最近のhot topic
copynet [Gu+, ACL 2016] 翻訳や要約のタスクは語彙に存在しない単語 (OOV) をどう出力するか?が課題 encoder-decoderで文を生成する際に、sourceの単語をコピーする能力を持たせたモ デル (attentionを用いてどのsourceに注目するか?を決定する)
12 https://www.aclweb.org/anthology/P16-1154/ ※ 厳密にはsub-wordにより OOVの問題は解消されるが、 copy-modeによる部分文字列 の出力を狙う
結果のサンプル 13 エレガンをサポートするブランド。。をおしセット受け入れることを サポートするブランド。。をおしセット受け入れることをサポートす るブランド。。をおしセット受け入れることをサポートするブラン ド。。をお求めの方 biLSTM + attention モデル
生成例 敏感肌」を予防する。健康な肌へ。 biLSTM + copynet 一人ひとりが更にアップブランド。 Transformer 毎日でもうるおいと香りで、清潔感肌へ導くスキン ケアブランド BERT + decoder + copynet
課題: loss・評価方法どうするか 要約タスクとは似て非なるタスク。対話文生成にも (一部) 似てる? 生成システムに求められる条件 (再掲) • 文として正しい出力 •
商材情報の反映 (嘘がない、重要が情報の漏れがない) • ctrなど広告効果が高い • 既存の出力と被らない これらの条件を上手く取り入れられるような評価方法を確立したい 14
その他今後の課題 • 事前学習済みモデルの軽量化 • 実用化の想定使用法の作成・環境作り • データ整備の方法 (入力文をもっとキレイにしたい) • デプロイ環境整備
• etc. 15
おわりに まとめ • オプトにおける自然言語生成の応用事例を紹介した • BERT + copynetで結構キレイに生成ができた? • 出力に多様性を持たせるための機構や評価方法の設計など、やりたいことはたくさ
んある 16