Share
Embed
Transcript
56 slides
-
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
1 嘘 はとびきりの愛なんだよ? 2023 September 20th 〜アニメ分析におけるギリギリのラインを攻める〜 Haruka Matsuzaki Data Science -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
matsuzaki haruka 苺プロ所属 東 大 ( 数 理 科 学 )→ 院 →Works→Recruit→PKSHA(EM) →FEZ(CDS)→苺プロ ベイズ・画像・LLMetc 2 Profile -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
3 キャプション 【推しの子】紹介 公式サイト: ichigoproduction.com -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
4 キャプション このコーナーの趣旨 【推しの子】に関するデータサイエンスを 擬似体験していただき、 一緒に困難を乗り越えていただくことで、 ABEMAのデータに興味を持っていただけるのではないか -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
5 キャプション Now *:・゚✧ On Air✧*。・゚ -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
6 キャプション 配属 あなたはABEMAのDSです。1ヶ月後放送の大型アニメ。 そのUUを増やす宣伝プロジェクトに配属されました。 収益=広告単価 x UU (月額課金は今回考慮しないとする) Unique User -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
7 キャプション マーケティングチームの主な構成 • マーケティングボード(担当執行役員) • マーケティング企画 • デジタルマーケティング運用 • クリエイティブ制作(宣伝素材画像・動画作成) • あなた(効果測定・軌道修正担当) -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
8 キャプション マーケティング企画との会話 • プロモーション期間は放映日前後2週間 • 年間宣伝予算から獲得したのはXXX円 • KPIは視聴数(サブ:インストール数・復帰数) • 出稿デジタルメディアはTwitter(X)をはじめ10個 • 直接効果が見えるものが2個・それ以外が8個 -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
9 キャプション Now *:・゚✧ Thinking Time✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中 -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
10 キャプション クリエイティブ担当との会話 -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
11 キャプション あなたが考えたこと • 大まかには2段階のモデルになるのではないか。 ◦ RoI推定 ◦ 数理最適化 Return on Investment UU=Σメディア効果 x 予算 -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
12 キャプション メディア効果予測モデル 出来るだけ普通のモデルを採用 Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects (2017) https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/46001.pdf -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
13 キャプション メディア効果予測モデル -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
14 キャプション メディア効果予測モデル -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
15 キャプション メディア効果予測モデル 星野瑠美衣(著作権保護済)です。 いくつか質問させていただきたいのですが -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
16 キャプション メディア効果予測モデル Q: なぜβ0はbaseにしかないのですか? -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
17 キャプション メディア効果予測モデル Q: なぜコントロール変数は γ・zなの? -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
18 キャプション メディア効果予測モデル Q: なぜ1足すの? -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
19 キャプション メディア効果予測モデル -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
20 キャプション メディア効果予測モデル Q: なぜxではなくbなの? -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
21 キャプション メディア効果予測モデル:補足 AdStockの考え方 忙 忙 忙 推 暇 暇 推 推 budget=Intention x=Treat Time -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
22 キャプション メディア効果予測モデル -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
23 キャプション メディア効果予測モデル ただの内積じゃない。 -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
24 キャプション メディア効果予測モデル -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
25 キャプション メディア効果予測モデル ふうん・・・ -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
26 キャプション メディア効果予測モデル Q: 素人質問で大変恐縮なのですが、なぜ Hill 関数を使ってないのですか? -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
27 キャプション メディア効果予測モデル(確定) -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
28 キャプション 予測vs実績 ベース/広告効果分解 ▪ 予測誤差 ▪ 広告効果 ▪ ベースUU ←2話目と比較すると1日目の来訪者は過剰。 広告開始が2日遅れたため、広告効果ではない -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
29 キャプション メディア効果予測 • シンプルな予測モデル • 決定係数の高さ -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
30 キャプション ところで問題です これから起こりうる 事件にはどのような ものがあるか? -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
31 キャプション Now *:・゚✧ Thinking Time✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中 -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
32 キャプション では解答 これから情報を小出しに していきます。 最初に作ったモデルを補 正してください。 -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
33 キャプション 解答①TVの存在 • https://ichigoproduction.com/onair/ • TOKYO MXほか • ABEMAほか • Migration Model • 2話目から見る人がいるのでモデルを直してください。 -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
34 キャプション 解答②動画/静止画バナー • 動画バナーは静止画バナーに比べクリック率が高い。 ◦ 2倍ぐらい?→XX倍 • 動画の権利問題で出せたメディアは限定的です。 • 動画バナーが掲載されたメディアを補正してください。 • ちなみにクリック率と視聴率は相関が低いです。 -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
35 キャプション 解答③ゴールデンウィーク無料開放 • 通常 最新話無料 • 5/1~7無料開放イッキ見狙い • 介入としてモデリング可能 • Migration Model • 顧客は連続話をみません。 -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
36 キャプション 解答④Twitterバズ 第7話 • 原作で炎上した黒川あかねのエピソードの炎上 • 第7話だけ視聴数が多い(+20%~30%) • 第8話へ定着する人もいる • 事前にバズのサイズは分かりませんが、 モデルに組み込んでください。 -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
37 キャプション 解答⑤2023年6月10日 アイドルビルボード入り • YOASOBIが米ビルボードで首位になってしまいました ◦ “Global Excl. U.S.” • 6/10以降の全ての回が影響を受けます -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
38 キャプション 解答⑥最終話第11話 • 原作ファンにとっては最終話は途中 • どこまで見るか確認の意味で最終話だけ見る人がいる • これはZero Inflationでモデリングできる • ただしパラメーターは増えます -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
39 キャプション 解答⑦自由度 • パラメーター数 > データ数だと過学習します。 • アニメ宣伝は情報解禁日〜放映日(14) x メディア数(10) • パラメーターごとに学習に必要なサンプル数を考慮 • AICは参考にはなるが当然漸近してないので自己責任で ※WAICは漸近する -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
40 キャプション Fin *:・゚✧ いいモデルはでき✧*。・゚ *:・゚✧ ましたか?✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中 -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
41 キャプション 疑問 データサイエンスは正しいしすごい。が、 それはデータと時間が無限にあればの話である じゃあデータが貯まるまで待ってればいいのか? それじゃ何年もかかるし、 アニメが終わってしまうというか宣伝の入稿締切ががが -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
46 キャプション メディア効果予測モデル(確定) 完成 -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
47 キャプション 結論 • Simple is Best / このモデルはリリースされ、 その後も使われ続けている(決定係数が高くdim小) • 途中で起こった事件はεがサンプルされたに過ぎない ◦ この状況でシンプル選好するのはリスク管理 • LTV/数理最適化については紙幅がない フェルマー バイアス -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
48 研究組織⇄事業組織 大人の時間で考えてる人 (合理性を追求する人) 今を走ってる人 (お金を動かす人) ❤ -
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
49 キャプション ※タイトルに込められた”愛” 『世の中には3種類の嘘がある: 嘘、大嘘、そして統計だ』 星野アイの名言:『嘘はとびきりの愛なんだよ?』 →「データサイエンスは競合優位な意思決定が全て」 →「自然界にパターンを見出す」人間の特性の限界を示唆 →最善性を現実の複雑性が決定するなら、シンプルさが愛 Data Science バリアンス バイアス -
AbemaTV, Inc. All Rights Reserved ベイズ時系列 boosting/bagging サーベイ処理 統計的仮説検定 LTV
数理最適化 レコメンド 動画解析 LLM 52