Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
コード3行消してMVPをとった話
Search
CyberAgent
PRO
March 20, 2024
1
280
コード3行消してMVPをとった話
AbemaTVビジネスデベロップメント本部で広告配信のデータサイエンスチームを去年に立ち上げました。そのチームの事業貢献 & データサイエンティスト職種に関する話をします。
CyberAgent
PRO
March 20, 2024
Tweet
Share
More Decks by CyberAgent
See All by CyberAgent
ジャンプTOONにおけるサイトマップの自動生成手法について
cyberagentdevelopers
PRO
0
21
ABEMA スマートテレビアプリケーションのパフォーマンス改善: 業界トップクラスを目指して / Muddy Web #10 ~Special Edition~ 【ゲスト: pixiv】
cyberagentdevelopers
PRO
0
16
未来のテレビを形づくる ABEMAのグロース戦略:ユーザー体験と品質向上のアプローチ
cyberagentdevelopers
PRO
1
420
IBC 2024 動画技術関連レポート / IBC 2024 Report
cyberagentdevelopers
PRO
1
210
生成AIは安心・安全に貢献できるのか
cyberagentdevelopers
PRO
0
34
AIの血肉となるアノテーションデータのために大事にしている事
cyberagentdevelopers
PRO
2
45
ABEMA NEWSにおける映像データを活用した記事生成AI 〜記事制作者に寄り添ったソリューションにするまで〜
cyberagentdevelopers
PRO
0
74
ACL 2024 参加報告
cyberagentdevelopers
PRO
0
100
生成AIの強みと弱みを理解して、生成AIがもたらすパワーをプロダクトの価値へ繋げるために実践したこと / advance-ai-generating
cyberagentdevelopers
PRO
1
350
Featured
See All Featured
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
1
110
How GitHub (no longer) Works
holman
311
140k
Automating Front-end Workflow
addyosmani
1366
200k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
38
1.9k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
910
Designing Dashboards & Data Visualisations in Web Apps
destraynor
229
52k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
A Philosophy of Restraint
colly
203
16k
Being A Developer After 40
akosma
87
590k
Thoughts on Productivity
jonyablonski
68
4.4k
Building Adaptive Systems
keathley
38
2.3k
Designing on Purpose - Digital PM Summit 2013
jponch
116
7k
Transcript
コード3行消してMVPを とった話 Tristan Irvine
自己紹介 名前 Tristan (とり) 所属 AbemaTV ビジネスデベロップメント本部 メディア統括本部DSC (データサイエンスセンター) 職種
ML/DS 経歴 2015年にサイバーエージェントに入社 2015-2022年: Ameba広告局 2023年~: AbemaTV BD本部
ビジネスデベロップメント本部 (BD本部) AbemaTVの広告を担当している部署!
BD本部 データチーム 2022/10に異動し、データ チームを新しく作った MLっぽく3人 DSっぽく3人 エンジニア1人 との構成
担当しているプロダクト図
チーム課題 リニア - CM予算 & 将来編成が一致しているか - 編成に十分CMはないとどうする - CM量はユーザー体験に悪影響与えているか
- どう悪影響を与えずに広告の編成を整理すればいい - 配信をパーソナライズできないと何を配信すればいい - 有料広告の比率は低い、なんで。 VOD - 番組の広告整理。何回CM枠、尺・間隔など - ユーザーに許される広告負荷 - リアルタイムで広告を返さないといけない - 滅多に訪問しないユーザーはどういう広告 - 定着させたい新規ユーザーに広告を出す? 純広告 - 必ず予算を消化しないといけないロジック - 将来に埋まっている時期があれば事前に多めに配信? - ユニークユーザーをいっぱい当てたい - それでヘビーユーザーにほとんど配信できない、無駄が多い? - ショートすると大障害。オーバーインプは無駄配信。 ダイレクト - CVを多く取りたい。CVR予測・ランキン グ最適化など。 - 理想頻度?効果低いならそもそも広告な しがいい? - もっと配信したい。どうやって。 番宣 - どんなユーザーにどの番宣を いつ配信すればいい - 新規ユーザーは一番売上高い がやっぱ定着させるために番宣 を出した方がいい? ブランド - 配信保証はないができるだけ多く配 信するにはどういうロジックがいい - こまかいターゲティング条件が多 く、MLで拡張配信が主流 - 外部にも配信していて、Abemaとの 予算配分の最適化。 全体 - すべて選択の中で 各リクエストに何を 配信すればいい・・
課題の種類 ビジ 課題 売上は低い ショートが時々発生する ・・・ プロダクト 課題 レスポンスタイムが遅い 広告フォーマットを十分対
応していない ・・・ ロジック 課題 ペーシングロジックは視聴傾 向の波を対応できていない ランキングロジックに目的変 数が考慮されていない ショートっぽくキャンペーン しか配信しないため自由度が 低い ・・・
ロジック課題を見つけるのが仕事 ビジ課題を直すにはロジック課題を見つけないといけない。 売上を伸 ばしてく ださい ??? そういえば、現在 広告ランキングは ランダム順ですよ どういう
意味
ロジック課題を探そう 2023年1月にジョインしたら、初めての~6ヶ月はコードを読んでいた。 ⇦ これ もう一つ似た 風のもある
見つけた 純広告の配信をいつ止めるかの判断コード 正しい?
純広告 • 一番大きい広告プロダクト • キャンペーン期間内にXインプレションを配信する • インプレションを消化する保証はある それで課題は二つ 1. ショート:インプレションを消化しきらないこと。何としても防がないとい
けない障害 2. オーバーインプ:インプレションが出すぎる。同じく障害でもないが、オー バーインプが発生するほど広告リクエスト在庫の無駄遣いです。 -> 売上は減る。 -> 配信のペーシングを正しくするのが大事
純広告ペーシング 2種類はあって 1. 累積 2. 残分
残分 & 累積ペーシング 累積ペーシング 残分ペーシング
オーバーインプ!! 残分ペーシングでも累積ペーシングでも使っても問題ない 合わせて使えばimpは大幅に出過ぎる 理想消化の25倍 impが出た
修正 ソリューション:一つだけを使う
MVP
簡単すぎない?ML/DSの無駄使い? こんな変更が必要と分かるために下記の理解は必要 - 純広告にオーバーインプの問題がある - MLを含めたペーシングロジックの徹底理解 - 配信サーバーコードベースの徹底理解 - 純広告の望ましくない副作用を防ぐために他必要な変更を理解
-> ML/DS人材しかできない変更(多分)
データサイエンティストとは スキル - 画像認識 やること: 画像認識 画像認識が 好き
データサイエンティストとは スキル - 画像認識 - 分析力 - ドメイン知識 やること: 事業KPIを伸ばす
開発も勉強した らもっと成果を 出せる?
イージーな事業成果を探そう 施策 工数 インパクト ダイレクト広告実績CPMランキング ~1週間開発 CPM +20% PMPリクエスト最大化 ~6時間開発
PMPブランドimp +10% 広告FQキャップチューニング ~3時間開発 + 数時間mtg 売上+8% FQ考慮ランキング ~6時間開発 平均キャンペーンリーチ +30% 広告の間隔調整 ~1週間分析 UU +2% MLはなし、難しい技術などない。 比べて以前別部署での成果: レコメンドアルゴリズム刷新 研究~6ヶ月・開発~6ヶ月 CTR +31%
今後 • できるだけ頑張らずにもっと成果を出す • ご注意:BD局データチームに入ったら頑張ってもらう