コード3行消してMVPをとった話

AbemaTVビジネスデベロップメント本部で広告配信のデータサイエンスチームを去年に立ち上げました。そのチームの事業貢献 & データサイエンティスト職種に関する話をします。

Transcript

1. コード3行消してMVPを とった話 Tristan Irvine
2. 自己紹介 名前 Tristan (とり) 所属 AbemaTV ビジネスデベロップメント本部 メディア統括本部DSC (データサイエンスセンター) 職種 ML/DS 経歴 2015年にサイバーエージェントに入社 2015-2022年: Ameba広告局 2023年~: AbemaTV BD本部
3. ビジネスデベロップメント本部 (BD本部) AbemaTVの広告を担当している部署！
4. BD本部 データチーム 2022/10に異動し、データ チームを新しく作った MLっぽく3人 DSっぽく3人 エンジニア1人 との構成
5. 担当しているプロダクト図
6. チーム課題 リニア - CM予算 & 将来編成が一致しているか - 編成に十分CMはないとどうする - CM量はユーザー体験に悪影響与えているか - どう悪影響を与えずに広告の編成を整理すればいい - 配信をパーソナライズできないと何を配信すればいい - 有料広告の比率は低い、なんで。 VOD - 番組の広告整理。何回CM枠、尺・間隔など - ユーザーに許される広告負荷 - リアルタイムで広告を返さないといけない - 滅多に訪問しないユーザーはどういう広告 - 定着させたい新規ユーザーに広告を出す？ 純広告 - 必ず予算を消化しないといけないロジック - 将来に埋まっている時期があれば事前に多めに配信？ - ユニークユーザーをいっぱい当てたい - それでヘビーユーザーにほとんど配信できない、無駄が多い？ - ショートすると大障害。オーバーインプは無駄配信。 ダイレクト - CVを多く取りたい。CVR予測・ランキン グ最適化など。 - 理想頻度？効果低いならそもそも広告な しがいい？ - もっと配信したい。どうやって。 番宣 - どんなユーザーにどの番宣を いつ配信すればいい - 新規ユーザーは一番売上高い がやっぱ定着させるために番宣 を出した方がいい？ ブランド - 配信保証はないができるだけ多く配 信するにはどういうロジックがいい - こまかいターゲティング条件が多 く、MLで拡張配信が主流 - 外部にも配信していて、Abemaとの 予算配分の最適化。 全体 - すべて選択の中で 各リクエストに何を 配信すればいい・・
7. 課題の種類 ビジ 課題 売上は低い ショートが時々発生する ・・・ プロダクト 課題 レスポンスタイムが遅い 広告フォーマットを十分対 応していない ・・・ ロジック 課題 ペーシングロジックは視聴傾 向の波を対応できていない ランキングロジックに目的変 数が考慮されていない ショートっぽくキャンペーン しか配信しないため自由度が 低い ・・・
8. ロジック課題を見つけるのが仕事 ビジ課題を直すにはロジック課題を見つけないといけない。 売上を伸 ばしてく ださい ??? そういえば、現在 広告ランキングは ランダム順ですよ どういう 意味
9. ロジック課題を探そう 2023年1月にジョインしたら、初めての~6ヶ月はコードを読んでいた。 ⇦ これ もう一つ似た 風のもある
10. 見つけた 純広告の配信をいつ止めるかの判断コード 正しい？
11. 純広告 • 一番大きい広告プロダクト • キャンペーン期間内にXインプレションを配信する • インプレションを消化する保証はある それで課題は二つ 1. ショート：インプレションを消化しきらないこと。何としても防がないとい けない障害 2. オーバーインプ：インプレションが出すぎる。同じく障害でもないが、オー バーインプが発生するほど広告リクエスト在庫の無駄遣いです。 -> 売上は減る。 -> 配信のペーシングを正しくするのが大事
12. 純広告ペーシング 2種類はあって 1. 累積 2. 残分
13. 残分 & 累積ペーシング 累積ペーシング 残分ペーシング
14. オーバーインプ！！ 残分ペーシングでも累積ペーシングでも使っても問題ない 合わせて使えばimpは大幅に出過ぎる 理想消化の25倍 impが出た
15. 修正 ソリューション：一つだけを使う
16. MVP
17. 簡単すぎない？ML/DSの無駄使い？ こんな変更が必要と分かるために下記の理解は必要 - 純広告にオーバーインプの問題がある - MLを含めたペーシングロジックの徹底理解 - 配信サーバーコードベースの徹底理解 - 純広告の望ましくない副作用を防ぐために他必要な変更を理解 -> ML/DS人材しかできない変更（多分）
18. データサイエンティストとは スキル - 画像認識 やること： 画像認識 画像認識が 好き
19. データサイエンティストとは スキル - 画像認識 - 分析力 - ドメイン知識 やること： 事業KPIを伸ばす 開発も勉強した らもっと成果を 出せる？
20. イージーな事業成果を探そう 施策 工数 インパクト ダイレクト広告実績CPMランキング ~1週間開発 CPM +20% PMPリクエスト最大化 ~6時間開発 PMPブランドimp +10% 広告FQキャップチューニング ~3時間開発 + 数時間mtg 売上+8% FQ考慮ランキング ~6時間開発 平均キャンペーンリーチ +30% 広告の間隔調整 ~1週間分析 UU +2% MLはなし、難しい技術などない。 比べて以前別部署での成果： レコメンドアルゴリズム刷新 研究~6ヶ月・開発~6ヶ月 CTR +31%
21. 今後 • できるだけ頑張らずにもっと成果を出す • ご注意：BD局データチームに入ったら頑張ってもらう