Share
Embed
クリエイティブ制作領域の データ活用を0から推進した話
CyberAgent PRO
July 09, 2024
Transcript
72 slides
-
AbemaTV, Inc. All Rights Reserved クリエイティブ制作領域の データ活用を0から推進した話 2024 July 4th
Kamioka Masaya 1 株式会社AbemaTV 上岡 将也 -
AbemaTV, Inc. All Rights Reserved 上岡 将也(かみおか まさや) 株式会社AbemaTV Development
Headquarters Content Division DX Promotion Team Engineering Manager 2 Profile 所属 経歴 学生時代 入社直後 2019 2021 2022 2024 研究 コンピュータビジョン・画像生成 ML開発 タップル画像監視システムの開発 ML開発 動画解析基盤の開発 PjM・分析 クリエイティブ領域のデータ活用 EM 社内のDXを推進 -
AbemaTV, Inc. All Rights Reserved 5 論文の〇〇を 弊社でも導入したい! 競合の〇〇 うちでもできない?
事業・領域の解像度が薄く どこのだれとどうするとよいのかわからない ただ、、、 -
AbemaTV, Inc. All Rights Reserved 8 1. 目的と手段が逆転!映像から最強のクリエイティブ作るんや 2. おっと?クリエイティブのことなんもわかってなかった、、、
3. ABテストによって獲得したナレッジの再現性・インパクトすごい 4. あらデータサイエンティスト・運用がスケールしないぞ? クリエイティブ制作領域のデータ活用の歴史 -
AbemaTV, Inc. All Rights Reserved 11 ABEMAにおけるコンテンツ消費の流れ クリック ここで何を見せるかがコンテンツ消費に影響する ・どのコンテンツを見せるか?(推薦)
・どのクリエイティブを見せるか?(クリエイティブ) -
AbemaTV, Inc. All Rights Reserved 推薦とクリエイティブの役割の違い 12 ユーザーに表示された コンテンツの魅力を伝える クリエイティブ
ユーザーの 好みのコンテンツを表示 推薦 • 私たち結婚しました • オオカミちゃん • 恋愛ドラマな恋がしたい • チャンスの時間 1. オオカミちゃん 2. 恋愛ドラマな恋がしたい 3. 私たち結婚しました 4. チャンスの時間 -
AbemaTV, Inc. All Rights Reserved 推薦とクリエイティブの役割の違い 13 ユーザーに表示された コンテンツの魅力を伝える クリエイティブ
ユーザーの 好みのコンテンツを表示 推薦 • 私たち結婚しました • オオカミちゃん • 恋愛ドラマな恋がしたい • チャンスの時間 1. オオカミちゃん 2. 恋愛ドラマな恋がしたい 3. 私たち結婚しました 4. チャンスの時間 -
AbemaTV, Inc. All Rights Reserved 14 1. 目的と手段が逆転!映像から最強のクリエイティブ作るんや 2. おっと?クリエイティブのことなんもわかってなかった、、、
3. ABテストによって獲得したナレッジの再現性・インパクトすごい 4. あらデータサイエンティスト・運用がスケールしないぞ? クリエイティブ制作領域のデータ活用の歴史 -
AbemaTV, Inc. All Rights Reserved 16 競合他社がクリエイティブ制作にコンピュータビジョンを活用 1: きっかけ 引用:
AVA: The Art and Science of Image Discovery at Netflix -
AbemaTV, Inc. All Rights Reserved 17 映像データからクリエイティブ制作を自動化するPJTを企画 最強AI 1: きっかけ
競合もやってるし 論文調べて最強AI作りたい -
AbemaTV, Inc. All Rights Reserved 18 ただ... 1: きっかけ どういった
クリエイティブが ユーザエンゲージ メントを高める? -
AbemaTV, Inc. All Rights Reserved 19 ただ... 1: きっかけ そもそもだれが
どのようにして クリエイティブを 作っている? どういった クリエイティブが ユーザエンゲージ メントを高める? -
AbemaTV, Inc. All Rights Reserved 21 ちなみにネタバラシ:この手段は実現可能性が0だった • ABEMAではそもそも映像からクリエイティブを制作していない •
クリエイティブの構造が複雑すぎた • クリエイティブを評価する仕組みがない 1: きっかけ -
AbemaTV, Inc. All Rights Reserved 24 ステークホルダーへのヒアリング • 事前に準備 ◦
見れるデータ・資料は見ておく ▪ 相手が何に興味があり、どういう業務をしているのか、目標はなんなのかなど • やり方 ◦ とにかくいろんな人を捕まえて聞く ▪ ランチやコーヒーなどいろんな手段で ◦ ステークホルダーマップや業務プロセスの可視化を行い、解像度を上げる 2: ステークホルダーへのヒアリグ -
AbemaTV, Inc. All Rights Reserved 25 ヒアリング結果 • どういったクリエイティブがユーザエンゲージメントを高める? ◦
「〇〇風のテキストをいれると効果がいい」という体感 ◦ ただし 過去の前後比較によるもの(仮説とファクトが曖昧に) • そもそもだれがどうやってクリエイティブを作っている? ◦ 各番組制作担当が使用する画像、構成、パターンなどすべてを決定していた ▪ 毎週番組制作担当とデザイナーで構成のすり合わせMTGがある ◦ 映像データからクリエイティブを制作していない ▪ クリエイティブにはスチールと呼ばれる撮影時に撮った画像を使用 • その他 ◦ 目標がステークホルダーごとに異なる ▪ デザイナー:クリエイティブの指標 ▪ 番組制作担当:番組全体の指標 2: ステークホルダーへのヒアリグ -
AbemaTV, Inc. All Rights Reserved 26 アクション 2: ステークホルダーへのヒアリング •
どういったクリエイティブがユーザエンゲージメントを高める? ◦ 「〇〇風のテキストをいれると効果がいい」という体感 ◦ ただし 過去の前後比較によるもの(仮説とファクトが曖昧に) • そもそもだれがどうやってクリエイティブを作っている? ◦ 各番組制作担当が使用する画像、構成、パターンなどすべてを決定 ▪ 毎週番組制作担当とデザイナーで構成のすり合わせMTGがある ◦ 映像データからクリエイティブを制作していない ▪ クリエイティブにはスチールと呼ばれる撮影時にカメラがとった画像を使用 • その他 ◦ 目標がステークホルダーごとに異なる ▪ デザイナー:クリエイティブの指標 ▪ 番組制作担当:番組全体の指標 ABテストの 開発リクエスト 各番組に ABテストを交渉 目標を統一 ① ABテストの結果 ② ナレッジ数 -
AbemaTV, Inc. All Rights Reserved ABテストに協力いただいたコンテンツ 27 番組概要 最高の恋を手にするために集まった男女10人。 ただし、メンバーの中には、
女子側に「恋をしないオオカミちゃん」が1人以上 そして、男子側にも 「恋をしないオオカミくん」が1人以上 潜んでいる。 オオカミの甘い誘惑や嘘に惑わされることなく 最高の恋を見つけることができるのか? 2: ステークホルダーへのヒアリグ -
AbemaTV, Inc. All Rights Reserved 34 経緯:最初は2枚だった どちらが勝っても 未来のクリエイティブ制作に活かしにくい 番組担当
タイトルロゴのみでやってみませんか? 3: ABテストを実施 -
AbemaTV, Inc. All Rights Reserved 35 経緯:最初は2枚だった どちらが勝っても 未来のクリエイティブ制作に活かしにくい 番組担当
タイトルロゴのみでやってみませんか? やってみましょう!!! (あんまりやりたくないけど、、、) 3: ABテストを実施 -
AbemaTV, Inc. All Rights Reserved 36 第1回:結果 高 低 それぞれのサムネイルで差のある結果が得られた
+12.5% 3: ABテストを実施 -
AbemaTV, Inc. All Rights Reserved 37 第1回:検証結果から考えられる仮説 • キャストの興味がユーザごとに異なる? •
キャプションで差が出ている? • タイトルの大きさ? +12.5% 3: ABテストを実施 -
AbemaTV, Inc. All Rights Reserved 39 第2回:検証に用いたサムネイル • 検証1回目ではバラバラだった素材画像を統一する •
キービジュアル(オレンジ背景のサムネイル)を追加 3: ABテストを実施 -
AbemaTV, Inc. All Rights Reserved 47 結果 • クリエイティブがコンテンツの消費に大きく影響する •
再現性のある結果が得られている 3: ABテストを実施 -
AbemaTV, Inc. All Rights Reserved 51 結果 4: レポート自動化・クリエイティブ配信システムの開発 •
クリエイティブがコンテンツの消費に大きく影響する • 再現性のある結果が得られている -
AbemaTV, Inc. All Rights Reserved 52 結果 4: レポート自動化・クリエイティブ配信システムの開発 •
クリエイティブがコンテンツの消費に大きく影響する • 再現性のある結果が得られている 検証・改善を拡大 -
AbemaTV, Inc. All Rights Reserved 55 運用も回らない 4: レポート自動化・クリエイティブ配信システムの開発 分析・レポート作成の時間が取れないんで
ABテストの番組これ以上増やせないっす 番組担当 データ ABテストのための配信設定など 運用コストが増えていて運用回りません -
AbemaTV, Inc. All Rights Reserved 56 スケールしない 4: レポート自動化・クリエイティブ配信システムの開発 番組担当
データ ABテストのための配信設定など 運用コストが増えていて運用回りません データサイエンティストと運用がスケールしない、、、 分析・レポート作成の時間が取れないんで ABテストの番組これ以上増やせないっす -
AbemaTV, Inc. All Rights Reserved 58 レポート自動作成ツールを開発 4: レポート自動化・クリエイティブ配信システムの開発 •
レポート、集計などを自動化 ◦ ABテストの結果 ▪ SlackチャンネルへPDFを毎日自動出力 ◦ セグメントごと集計や時系列の変化 ▪ Tableau • データサイエンティストは検証設計と分析深掘りに注力 -
AbemaTV, Inc. All Rights Reserved 59 クリエイティブ配信システムの開発を提案・PjM 4: レポート自動化・クリエイティブ配信システムの開発 •
番組制作・デザイナーが簡単に配信設定できるツールを開発 • 同時に仕様をシンプルに ◦ 番組単位の設定に変更 ▪ これまで枠、ページごとの運用だった ▪ ABテストの結果を考慮 • ABテストとバンディットを選択可能に • 縦サムネイルにも対応 -
AbemaTV, Inc. All Rights Reserved 60 あらゆるジャンルでクリエイティブの検証が可能に データ活用 クリエイティブ制作 4:
レポート自動化・クリエイティブ配信システムの開発 -
AbemaTV, Inc. All Rights Reserved 61 最終的な現状 4: レポート自動化・クリエイティブ配信システムの開発 •
ABテストの設計、推進、振り返りを番組制作担当、デザイナーに委譲 • 再現性の高いナレッジはレギュレーションとして追加 -
AbemaTV, Inc. All Rights Reserved 62 正直なところ、、、 4: レポート自動化・クリエイティブ配信システムの開発 •
課題はある ◦ 自動化や委譲により、振り返り、検証設計の精度は多少下がったことは否めない ◦ DSがすべてのMTGに出ていたことにより、知見共有やつなぎ合わせて新たな仮説を立てる ことができていた部分はありそう ◦ 高度なナレッジを検証するようになり、要素ごとの違いを評価するのが難しくなった • 感想 ◦ データサイエンスをスケールさせるのは非常に難しい、、、 ◦ 精度と量のトレードオフ -
AbemaTV, Inc. All Rights Reserved 63 同時にデータサイエンスで解決できそうな課題がたくさん見えてきた 4: レポート自動化・クリエイティブ配信システムの開発 •
クリエイティブによる効果には非定常性がありそう? • クリエイティブを変更するメリット・デメリットがありそう? • 好みのクリエイティブが異なるユーザセグメントがあるかも • ユーザに好まれるクリエイティブの要素(e.g. 顔の大きさ、数)がありそう -
AbemaTV, Inc. All Rights Reserved 65 インターンの採用にも ※ 現在は終了しています。 4:
レポート自動化・クリエイティブ配信システムの開発 こちらの成果を近日中にブログで公開します! -
AbemaTV, Inc. All Rights Reserved 67 デザイナーからも嬉しい要求が 4: レポート自動化・クリエイティブ配信システムの開発 デザイナー
良いクリエイティブは大体同じだから 再利用性を高めたい、正しく一元管理したい データ -
AbemaTV, Inc. All Rights Reserved 68 デザイナーからも嬉しい要求が 4: レポート自動化・クリエイティブ配信システムの開発 デザイナー
良いクリエイティブは大体同じだから 再利用性を高めたい、正しく一元管理したい 良いクリエイティブがわかってきたので スチール画像から自動化生成できるのではないか? データ -
AbemaTV, Inc. All Rights Reserved 69 デザイナーからも嬉しい要求が 4: レポート自動化・クリエイティブ配信システムの開発 デザイナー
良いクリエイティブは大体同じだから 再利用性を高めたい、正しく一元管理したい 良いクリエイティブがわかってきたので スチール画像から自動化生成できるのではないか? データ やりましょう! (やっと1年前のやりたかったことが、、) -
AbemaTV, Inc. All Rights Reserved 70 なぜ間を埋めることができたのか?(考察) • 企業文化:「素直でいいやつ」「自由と自己責任」「挑戦」 •
インパクトがあり、再現性の高い検証の番組、クリエイティブを選択できた • ステークホルダー全員で 共通の目標を持つことができた -
AbemaTV, Inc. All Rights Reserved 71 1. 目的と手段が逆転!映像から最強のクリエイティブ作るんや 2. おっと?クリエイティブのことなんもわかってなかった、、、
3. ABテストによって獲得したナレッジの再現性・インパクトすごい 4. あらデータサイエンティスト・運用がスケールしないぞ? クリエイティブ制作領域のデータ活用の歴史