AIによるテキストクリエイティブの自動生成【DeNA TechCon 2023】

youtube：https://youtu.be/VJqpzzCyYQw

概要：
オンライン広告を運用するにあたり、パフォーマンスと多様性を考慮して画像やテキストのクリエイティブを考えるのは大変な作業です。クリエイティブは時間が経つとパフォーマンスが落ちる性質もあり、定期的に入れ替える必要があります。これらの課題に答えるために、テキストクリエイティブを生成するAIを作成しました。

テキストクリエイティブを作成するモデルにはChatGPTで最近人気なGPT系の一つを採用し、少ないデータセットから運用に耐えうるよう様々な工夫を行い、MVP(minimal viable product)を作成いたしました。システム的には、完全な自動化ではなく、人間がオペレーションに介入するHuman-in-the-Loopを採用しており、配信結果を確認・再学習しより高いKPIが期待できるクリエイティブを得られるようになっています。

多様性を生み出すのが難しく、時間的にも大きなコストであったテキストクリエイティブの生成をAIを用いて半自動的に行う方法をご紹介します。

◆ チャンネル登録はこちら↓
https://youtube.com/c/denatech?sub_confirmation=1

◆ Twitter
https://twitter.com/DeNAxTech

◆ DeNA Engineering
https://engineering.dena.com/

◆ DeNA Engineer Blog
https://engineering.dena.com/blog/

◆ DeNA TechCon 2023 公式サイト
https://techcon2023.dena.dev/

Transcript

1. AIによるテキストクリエイティ ブの自動生成 AI-4G 小林 銀兵
2. 自己紹介 - 近況 - 育児がめちゃくちゃ大変 - イヤイヤ期の理不尽さはやばい(語彙力) - 保育士さんすごい - 実際に体験してその大変さを自覚するのは何事も大事
3. 自己紹介 -
4. DeNAでのマーケ事業の紹介 - Google Adsのインハウス運用 - 一部のアプリ・ゲームの広告を内製で運用している - 代表的な広告の一つにGoogle App広告 引用: Google Help, Google App Ads is a trademark of Google LLC.
5. DeNAでのマーケ事業の紹介 - Google App広告とは - 広告主は 画像, ショートテキスト, 動画などの素材を提供 - Googleの最適化アルゴリズムが最適な組み合わせを行う - 検索、Display、YouTubeなど多くの配信面に適応可能 - 素材は個々にパフォーマンスが測定される - パフォーマンスが高いテキスト、低いテキストがある - よいテキストクリエイティブとは - トレンドの情報を持ったクリエイティブ - e.g. ハロウィンの時期なら、”ハロウィンに一人でも 寂しくない！”
6. DeNAでのマーケ事業の紹介 - クリエイティブには鮮度が存在する - 同じクリエイティブでずっと高いパフォーマンスは維持できない - 数十のクリエイティブを配信し、週に一回パフォーマンスが低いクリ エイティブを数個入れ替える運用 - 今までのテキストクリエイティブの作り方 - 複数人であつまってブレスト - 人的コストが高い - 4~5名程度で考えるので、多様性に限界
7. GPTを用いた広告文生成の紹介 - GPTとは - Generative Pre-trained Transformerの頭文字 - ChatGPTなどが最近は有名 - テキストを生成することが得意 - GPTの特徴 - プロンプトと呼ばれる少ない情報に基づき、生成を行う ことができる - 画像だとMidjourneyなどの生成AIに通じるものがあ る
8. GPT2を用いた広告文生成の紹介 - Pre-trainedモデルを利用する際の注意点 - モデルのライセンス - モデルに入力するデータと出力物の適切性・著作権 - 適切性とは、出力物が誰かの権利を侵害したりしないこと - DeNAで利用する際に気をつけている点 - 出力物のチェック - 関連業界を熟知した社内の運用者の確認と修正
9. GPT2を用いた広告文生成の紹介 ChatGPTでプロントと出力の関係 プロンプト AIの出力 引用: https://chat.openai.com
10. GPT2を用いた広告文生成の紹介 - Human-in-the-Loop - 完全なオートメーションではなく、人間が介入する - 生成物の確認・評価と同時に、アノテーションを行う役割も
11. GPT2を用いた広告文生成の紹介 - トレンドの計算 - Twitterトレンドの課題点 - 2文字のトレンドを取得できない - トレンドの時間粒度が細かすぎ意図しない単語が交じる - キャンペーンや意図しないバイアスを受けないトレンドの計算の必要
12. GPT2を用いた広告文生成の紹介 - トレンドの計算の具体例 表1. 10月後半から12月前半までの週毎のトレンドとその偏差値
13. GPT2で文章を作成するアプローチ - プロンプトを使用したアプローチ - モデルに対してヒントとなる文章を与えて、続きを生成 - メリット - 少ないサンプルでも生成が可能 - デメリット - 一般化したモデルなので、意図しない例外を起こしやすい - 再学習を行うアプローチ - メリット - 専用のモデルを作成可能 - デメリット - 再学習を行えるぐらいのデータ量が必要 用意できるデータの観点から、プロンプトを使用した アプローチを行った
14. GPT2で文章を作成するアプローチ - 具体的なプロンプトによる生成手順(1) - シードとなるキーワードとクリエイティブの対応を作成 - ランダムで5件の対応を取得し、プロンプトとする - 多様性と正確性の観点から サンプリング プロンプト化 キーワードの付与 クリスマス
15. GPT2で文章を作成するアプローチ - 具体的なプロンプトによる生成手順(2) - 作成したプロンプトをGPTに入力し、?の部分を推論する
16. GPT2で文章を作成するアプローチ - プロンプトとして入力する文章の最適量が存在 - ブートストラップ法でパラメータの分布を求めるイメージと近い - 少なすぎるサンプル - 多様性が高いが真値と遠い - 多すぎるサンプル - 多様性が減るが真値に近い - 5つのプロンプトが多様性・文章の正確性で最適 1 ~ 10の値を与え、復元抽出を繰り返しサンプルして平均を求めた例 K = 3 K = 8
17. 定性評価 - プロンプト・モデルのチューニングする際に確認した視点 - 文章として破綻していないか - 文章作成時の尤度のしきい値調整 - 繰り返しの表現をできるだけ使用しない - 適切な長さのプロンプト - 意外性は高いか - 人間ができるだけ思いつかないような表現を得られ るか - プロンプトのシャッフルとサンプリング
18. 定量評価(実際に配信した結果) - 2022/05 ~ 2022/06のPoC - たくさん配信される ≒ コストが高い - 人間のテキストクリエイティブとAIのパフォーマンスの比 6倍 - クリエイティブを考える人月コストの削減
19. 考察 - クリエイティブ一つあたりのcostが人力の作成物より6倍高い - Google Ads App広告で評価されて多く露出できた - 人間が発想できないテキストクリエイティブを生成できた - 実際の配信し、定性評価で重要視していた視点が達成できたこと確認 - 多様性があること - 実際に広告に投入可能なレベルであること
20. MVPシステムの紹介 - MVP(minimal viable product)の紹介 - 社内ツール的なポジションなのでMVPとして作成 - フロントエンド - Google Sheets + Google Apps Script - 業務でよく使うため - バックエンド(API) - Cloud Run/Vertex AI endpoint + Cloud Functionの REST API
21. MVPシステムの紹介 - Trend Generator - ランダムサンプルしたtweetから隔週・各月のトレンド を計算 - Creative Generator - IP情報 + キーワードを引数にテキストクリエイティブを 複数計算 - Performance Predictor - 生成/作成したテキストクリエイティブのパフォーマンス を推論
22. MVPシステムの紹介 Google Sheets, Google Apps Script, vertex.ai are trademarks of Google LLC.
23. MVPシステムの紹介
24. MVPシステムの紹介
25. MVPシステムの紹介
26. Appendix: キャラクターの模倣 - 概要 - キャラクターのセリフを学習 - キャラクター性の再現ができるかを検討 - PRアカウントなどでSNSで運用するときに何を投稿するかのヒン トになる - 学習データ - ハッカドール３号のウェブアプリのセリフ - 性格 - 男の娘 - マイペース - 150文
27. Appendix: キャラクターの模倣 - 生成 - プロンプトとしてカギカッコのはじめ(「)を与えて続きを生成 いずれもデータセットにはないセリフ
28. Appendix: キャラクターの再学習 - 考察と感想 - プロンプトを十分に与えず少量のデータで学習するのは結構難しい - 安定した出力を狙おうとするとオーバーフィットしやすい - 特定の出力に限定されていく性質がある - 現実的にはデータが多くあるときは、プロンプトの入力を期待した上 で再学習が適当そう