Tweet
Tweet

Slide 1

Slide 1 text

AIによるテキストクリエイティ ブの自動生成 AI-4G 小林 銀兵

Slide 2

Slide 2 text

自己紹介 - 近況 - 育児がめちゃくちゃ大変 - イヤイヤ期の理不尽さはやばい(語彙力) - 保育士さんすごい - 実際に体験してその大変さを自覚するのは何事も大事

Slide 3

Slide 3 text

自己紹介 -

Slide 4

Slide 4 text

DeNAでのマーケ事業の紹介 - Google Adsのインハウス運用 - 一部のアプリ・ゲームの広告を内製で運用している - 代表的な広告の一つにGoogle App広告 引用: Google Help, Google App Ads is a trademark of Google LLC.

Slide 5

Slide 5 text

DeNAでのマーケ事業の紹介 - Google App広告とは - 広告主は 画像, ショートテキスト, 動画などの素材を提供 - Googleの最適化アルゴリズムが最適な組み合わせを行う - 検索、Display、YouTubeなど多くの配信面に適応可能 - 素材は個々にパフォーマンスが測定される - パフォーマンスが高いテキスト、低いテキストがある - よいテキストクリエイティブとは - トレンドの情報を持ったクリエイティブ - e.g. ハロウィンの時期なら、”ハロウィンに一人でも 寂しくない！”

Slide 6

Slide 6 text

DeNAでのマーケ事業の紹介 - クリエイティブには鮮度が存在する - 同じクリエイティブでずっと高いパフォーマンスは維持できない - 数十のクリエイティブを配信し、週に一回パフォーマンスが低いクリ エイティブを数個入れ替える運用 - 今までのテキストクリエイティブの作り方 - 複数人であつまってブレスト - 人的コストが高い - 4~5名程度で考えるので、多様性に限界

Slide 7

Slide 7 text

GPTを用いた広告文生成の紹介 - GPTとは - Generative Pre-trained Transformerの頭文字 - ChatGPTなどが最近は有名 - テキストを生成することが得意 - GPTの特徴 - プロンプトと呼ばれる少ない情報に基づき、生成を行う ことができる - 画像だとMidjourneyなどの生成AIに通じるものがあ る

Slide 8

Slide 8 text

GPT2を用いた広告文生成の紹介 - Pre-trainedモデルを利用する際の注意点 - モデルのライセンス - モデルに入力するデータと出力物の適切性・著作権 - 適切性とは、出力物が誰かの権利を侵害したりしないこと - DeNAで利用する際に気をつけている点 - 出力物のチェック - 関連業界を熟知した社内の運用者の確認と修正

Slide 9

Slide 9 text

GPT2を用いた広告文生成の紹介 ChatGPTでプロントと出力の関係 プロンプト AIの出力 引用: https://chat.openai.com

Slide 10

Slide 10 text

GPT2を用いた広告文生成の紹介 - Human-in-the-Loop - 完全なオートメーションではなく、人間が介入する - 生成物の確認・評価と同時に、アノテーションを行う役割も

Slide 11

Slide 11 text

GPT2を用いた広告文生成の紹介 - トレンドの計算 - Twitterトレンドの課題点 - 2文字のトレンドを取得できない - トレンドの時間粒度が細かすぎ意図しない単語が交じる - キャンペーンや意図しないバイアスを受けないトレンドの計算の必要

Slide 12

Slide 12 text

GPT2を用いた広告文生成の紹介 - トレンドの計算の具体例 表1. 10月後半から12月前半までの週毎のトレンドとその偏差値

Slide 13

Slide 13 text

GPT2で文章を作成するアプローチ - プロンプトを使用したアプローチ - モデルに対してヒントとなる文章を与えて、続きを生成 - メリット - 少ないサンプルでも生成が可能 - デメリット - 一般化したモデルなので、意図しない例外を起こしやすい - 再学習を行うアプローチ - メリット - 専用のモデルを作成可能 - デメリット - 再学習を行えるぐらいのデータ量が必要 用意できるデータの観点から、プロンプトを使用した アプローチを行った

Slide 14

Slide 14 text

GPT2で文章を作成するアプローチ - 具体的なプロンプトによる生成手順(1) - シードとなるキーワードとクリエイティブの対応を作成 - ランダムで5件の対応を取得し、プロンプトとする - 多様性と正確性の観点から サンプリング プロンプト化 キーワードの付与 クリスマス

Slide 15

Slide 15 text

GPT2で文章を作成するアプローチ - 具体的なプロンプトによる生成手順(2) - 作成したプロンプトをGPTに入力し、?の部分を推論する

Slide 16

Slide 16 text

GPT2で文章を作成するアプローチ - プロンプトとして入力する文章の最適量が存在 - ブートストラップ法でパラメータの分布を求めるイメージと近い - 少なすぎるサンプル - 多様性が高いが真値と遠い - 多すぎるサンプル - 多様性が減るが真値に近い - 5つのプロンプトが多様性・文章の正確性で最適 1 ~ 10の値を与え、復元抽出を繰り返しサンプルして平均を求めた例 K = 3 K = 8

Slide 17

Slide 17 text

定性評価 - プロンプト・モデルのチューニングする際に確認した視点 - 文章として破綻していないか - 文章作成時の尤度のしきい値調整 - 繰り返しの表現をできるだけ使用しない - 適切な長さのプロンプト - 意外性は高いか - 人間ができるだけ思いつかないような表現を得られ るか - プロンプトのシャッフルとサンプリング

Slide 18

Slide 18 text

定量評価(実際に配信した結果) - 2022/05 ~ 2022/06のPoC - たくさん配信される ≒ コストが高い - 人間のテキストクリエイティブとAIのパフォーマンスの比 6倍 - クリエイティブを考える人月コストの削減

Slide 19

Slide 19 text

考察 - クリエイティブ一つあたりのcostが人力の作成物より6倍高い - Google Ads App広告で評価されて多く露出できた - 人間が発想できないテキストクリエイティブを生成できた - 実際の配信し、定性評価で重要視していた視点が達成できたこと確認 - 多様性があること - 実際に広告に投入可能なレベルであること

Slide 20

Slide 20 text

MVPシステムの紹介 - MVP(minimal viable product)の紹介 - 社内ツール的なポジションなのでMVPとして作成 - フロントエンド - Google Sheets + Google Apps Script - 業務でよく使うため - バックエンド(API) - Cloud Run/Vertex AI endpoint + Cloud Functionの REST API

Slide 21

Slide 21 text

MVPシステムの紹介 - Trend Generator - ランダムサンプルしたtweetから隔週・各月のトレンド を計算 - Creative Generator - IP情報 + キーワードを引数にテキストクリエイティブを 複数計算 - Performance Predictor - 生成/作成したテキストクリエイティブのパフォーマンス を推論

Slide 22

Slide 22 text

MVPシステムの紹介 Google Sheets, Google Apps Script, vertex.ai are trademarks of Google LLC.

Slide 23

Slide 23 text

MVPシステムの紹介

Slide 24

Slide 24 text

MVPシステムの紹介

Slide 25

Slide 25 text

MVPシステムの紹介

Slide 26

Slide 26 text

Appendix: キャラクターの模倣 - 概要 - キャラクターのセリフを学習 - キャラクター性の再現ができるかを検討 - PRアカウントなどでSNSで運用するときに何を投稿するかのヒン トになる - 学習データ - ハッカドール３号のウェブアプリのセリフ - 性格 - 男の娘 - マイペース - 150文

Slide 27

Slide 27 text

Appendix: キャラクターの模倣 - 生成 - プロンプトとしてカギカッコのはじめ(「)を与えて続きを生成 いずれもデータセットにはないセリフ

Slide 28

Slide 28 text

Appendix: キャラクターの再学習 - 考察と感想 - プロンプトを十分に与えず少量のデータで学習するのは結構難しい - 安定した出力を狙おうとするとオーバーフィットしやすい - 特定の出力に限定されていく性質がある - 現実的にはデータが多くあるときは、プロンプトの入力を期待した上 で再学習が適当そう