Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
コード3行消してMVPをとった話
Search
CyberAgent
PRO
March 20, 2024
1
230
コード3行消してMVPをとった話
AbemaTVビジネスデベロップメント本部で広告配信のデータサイエンスチームを去年に立ち上げました。そのチームの事業貢献 & データサイエンティスト職種に関する話をします。
CyberAgent
PRO
March 20, 2024
Tweet
Share
More Decks by CyberAgent
See All by CyberAgent
KDD2024参加報告
cyberagentdevelopers
PRO
1
310
FastlyとfalcoでNode.jsレスなWebサーバーの構築: IPTV版ABEMAアプリのインフラ刷新
cyberagentdevelopers
PRO
1
60
Amebaチョイス立ち上げの裏側 ~ 依存システムとの闘い ~
cyberagentdevelopers
PRO
1
81
マイグレーションコード自作して File-Based Routing に自動移行!! ~250 ページの歴史的経緯を添えて~
cyberagentdevelopers
PRO
2
34
コードメトリクス計測による課題可視化と品質確保
cyberagentdevelopers
PRO
1
55
サイバーエージェントにおけるインナーソーシングの取り組み
cyberagentdevelopers
PRO
3
1.5k
ABEMAにおけるLLMを用いたコンテンツベース推薦システム導入と効果検証
cyberagentdevelopers
PRO
6
3.1k
クリエイティブ制作領域の データ活用を0から推進した話
cyberagentdevelopers
PRO
3
910
opt-in camera:カメラによる行動計測におけるオプトインの仕組みの実現
cyberagentdevelopers
PRO
3
880
Featured
See All Featured
Infographics Made Easy
chrislema
239
18k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
130k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
What's new in Ruby 2.0
geeforr
341
31k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.6k
Six Lessons from altMBA
skipperchong
26
3.4k
Mobile First: as difficult as doing things right
swwweet
222
8.8k
A Modern Web Designer's Workflow
chriscoyier
692
190k
Fashionably flexible responsive web design (full day workshop)
malarkey
404
65k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
From Idea to $5000 a Month in 5 Months
shpigford
380
46k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
22k
Transcript
コード3行消してMVPを とった話 Tristan Irvine
自己紹介 名前 Tristan (とり) 所属 AbemaTV ビジネスデベロップメント本部 メディア統括本部DSC (データサイエンスセンター) 職種
ML/DS 経歴 2015年にサイバーエージェントに入社 2015-2022年: Ameba広告局 2023年~: AbemaTV BD本部
ビジネスデベロップメント本部 (BD本部) AbemaTVの広告を担当している部署!
BD本部 データチーム 2022/10に異動し、データ チームを新しく作った MLっぽく3人 DSっぽく3人 エンジニア1人 との構成
担当しているプロダクト図
チーム課題 リニア - CM予算 & 将来編成が一致しているか - 編成に十分CMはないとどうする - CM量はユーザー体験に悪影響与えているか
- どう悪影響を与えずに広告の編成を整理すればいい - 配信をパーソナライズできないと何を配信すればいい - 有料広告の比率は低い、なんで。 VOD - 番組の広告整理。何回CM枠、尺・間隔など - ユーザーに許される広告負荷 - リアルタイムで広告を返さないといけない - 滅多に訪問しないユーザーはどういう広告 - 定着させたい新規ユーザーに広告を出す? 純広告 - 必ず予算を消化しないといけないロジック - 将来に埋まっている時期があれば事前に多めに配信? - ユニークユーザーをいっぱい当てたい - それでヘビーユーザーにほとんど配信できない、無駄が多い? - ショートすると大障害。オーバーインプは無駄配信。 ダイレクト - CVを多く取りたい。CVR予測・ランキン グ最適化など。 - 理想頻度?効果低いならそもそも広告な しがいい? - もっと配信したい。どうやって。 番宣 - どんなユーザーにどの番宣を いつ配信すればいい - 新規ユーザーは一番売上高い がやっぱ定着させるために番宣 を出した方がいい? ブランド - 配信保証はないができるだけ多く配 信するにはどういうロジックがいい - こまかいターゲティング条件が多 く、MLで拡張配信が主流 - 外部にも配信していて、Abemaとの 予算配分の最適化。 全体 - すべて選択の中で 各リクエストに何を 配信すればいい・・
課題の種類 ビジ 課題 売上は低い ショートが時々発生する ・・・ プロダクト 課題 レスポンスタイムが遅い 広告フォーマットを十分対
応していない ・・・ ロジック 課題 ペーシングロジックは視聴傾 向の波を対応できていない ランキングロジックに目的変 数が考慮されていない ショートっぽくキャンペーン しか配信しないため自由度が 低い ・・・
ロジック課題を見つけるのが仕事 ビジ課題を直すにはロジック課題を見つけないといけない。 売上を伸 ばしてく ださい ??? そういえば、現在 広告ランキングは ランダム順ですよ どういう
意味
ロジック課題を探そう 2023年1月にジョインしたら、初めての~6ヶ月はコードを読んでいた。 ⇦ これ もう一つ似た 風のもある
見つけた 純広告の配信をいつ止めるかの判断コード 正しい?
純広告 • 一番大きい広告プロダクト • キャンペーン期間内にXインプレションを配信する • インプレションを消化する保証はある それで課題は二つ 1. ショート:インプレションを消化しきらないこと。何としても防がないとい
けない障害 2. オーバーインプ:インプレションが出すぎる。同じく障害でもないが、オー バーインプが発生するほど広告リクエスト在庫の無駄遣いです。 -> 売上は減る。 -> 配信のペーシングを正しくするのが大事
純広告ペーシング 2種類はあって 1. 累積 2. 残分
残分 & 累積ペーシング 累積ペーシング 残分ペーシング
オーバーインプ!! 残分ペーシングでも累積ペーシングでも使っても問題ない 合わせて使えばimpは大幅に出過ぎる 理想消化の25倍 impが出た
修正 ソリューション:一つだけを使う
MVP
簡単すぎない?ML/DSの無駄使い? こんな変更が必要と分かるために下記の理解は必要 - 純広告にオーバーインプの問題がある - MLを含めたペーシングロジックの徹底理解 - 配信サーバーコードベースの徹底理解 - 純広告の望ましくない副作用を防ぐために他必要な変更を理解
-> ML/DS人材しかできない変更(多分)
データサイエンティストとは スキル - 画像認識 やること: 画像認識 画像認識が 好き
データサイエンティストとは スキル - 画像認識 - 分析力 - ドメイン知識 やること: 事業KPIを伸ばす
開発も勉強した らもっと成果を 出せる?
イージーな事業成果を探そう 施策 工数 インパクト ダイレクト広告実績CPMランキング ~1週間開発 CPM +20% PMPリクエスト最大化 ~6時間開発
PMPブランドimp +10% 広告FQキャップチューニング ~3時間開発 + 数時間mtg 売上+8% FQ考慮ランキング ~6時間開発 平均キャンペーンリーチ +30% 広告の間隔調整 ~1週間分析 UU +2% MLはなし、難しい技術などない。 比べて以前別部署での成果: レコメンドアルゴリズム刷新 研究~6ヶ月・開発~6ヶ月 CTR +31%
今後 • できるだけ頑張らずにもっと成果を出す • ご注意:BD局データチームに入ったら頑張ってもらう