Slide 1

Slide 1 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 1 嘘   はとびきりの愛なんだよ? 2023 September 20th 〜アニメ分析におけるギリギリのラインを攻める〜 Haruka Matsuzaki Data Science

Slide 2

Slide 2 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 matsuzaki haruka 苺プロ所属
 東 大 ( 数 理 科 学 )→ 院 →Works→Recruit→PKSHA(EM) →FEZ(CDS)→苺プロ
 ベイズ・画像・LLMetc
 2 Profile

Slide 3

Slide 3 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 3 キャプション 【推しの子】紹介 公式サイト: ichigoproduction.com

Slide 4

Slide 4 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 4 キャプション このコーナーの趣旨 【推しの子】に関するデータサイエンスを 擬似体験していただき、 一緒に困難を乗り越えていただくことで、 ABEMAのデータに興味を持っていただけるのではないか

Slide 5

Slide 5 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 5 キャプション Now *:・゚✧ On Air✧*。・゚

Slide 6

Slide 6 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 6 キャプション 配属 あなたはABEMAのDSです。1ヶ月後放送の大型アニメ。 そのUUを増やす宣伝プロジェクトに配属されました。 収益=広告単価 x UU (月額課金は今回考慮しないとする) Unique User

Slide 7

Slide 7 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 7 キャプション マーケティングチームの主な構成 ● マーケティングボード(担当執行役員) ● マーケティング企画 ● デジタルマーケティング運用 ● クリエイティブ制作(宣伝素材画像・動画作成) ● あなた(効果測定・軌道修正担当)

Slide 8

Slide 8 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 8 キャプション マーケティング企画との会話 ● プロモーション期間は放映日前後2週間 ● 年間宣伝予算から獲得したのはXXX円 ● KPIは視聴数(サブ:インストール数・復帰数) ● 出稿デジタルメディアはTwitter(X)をはじめ10個 ● 直接効果が見えるものが2個・それ以外が8個

Slide 9

Slide 9 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 9 キャプション Now *:・゚✧ Thinking Time✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中

Slide 10

Slide 10 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 10 キャプション クリエイティブ担当との会話

Slide 11

Slide 11 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 11 キャプション あなたが考えたこと ● 大まかには2段階のモデルになるのではないか。 ○ RoI推定 ○ 数理最適化 Return on Investment UU=Σメディア効果 x 予算

Slide 12

Slide 12 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 12 キャプション メディア効果予測モデル 出来るだけ普通のモデルを採用 Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects (2017) https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/46001.pdf

Slide 13

Slide 13 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 13 キャプション メディア効果予測モデル

Slide 14

Slide 14 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 14 キャプション メディア効果予測モデル

Slide 15

Slide 15 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 15 キャプション メディア効果予測モデル 星野瑠美衣(著作権保護済)です。 いくつか質問させていただきたいのですが

Slide 16

Slide 16 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 16 キャプション メディア効果予測モデル Q: なぜβ0はbaseにしかないのですか?

Slide 17

Slide 17 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 17 キャプション メディア効果予測モデル Q: なぜコントロール変数は γ・zなの?

Slide 18

Slide 18 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 18 キャプション メディア効果予測モデル Q: なぜ1足すの?

Slide 19

Slide 19 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 19 キャプション メディア効果予測モデル

Slide 20

Slide 20 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 20 キャプション メディア効果予測モデル Q: なぜxではなくbなの?

Slide 21

Slide 21 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 21 キャプション メディア効果予測モデル:補足 AdStockの考え方 忙 忙 忙 推 暇 暇 推 推 budget=Intention x=Treat Time

Slide 22

Slide 22 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 22 キャプション メディア効果予測モデル

Slide 23

Slide 23 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 23 キャプション メディア効果予測モデル ただの内積じゃない。

Slide 24

Slide 24 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 24 キャプション メディア効果予測モデル

Slide 25

Slide 25 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 25 キャプション メディア効果予測モデル ふうん・・・

Slide 26

Slide 26 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 26 キャプション メディア効果予測モデル Q: 素人質問で大変恐縮なのですが、なぜ Hill 関数を使ってないのですか?

Slide 27

Slide 27 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 27 キャプション メディア効果予測モデル(確定)

Slide 28

Slide 28 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 28 キャプション 予測vs実績 ベース/広告効果分解 ■ 予測誤差 ■ 広告効果 ■ ベースUU ←2話目と比較すると1日目の来訪者は過剰。 広告開始が2日遅れたため、広告効果ではない

Slide 29

Slide 29 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 29 キャプション メディア効果予測 ● シンプルな予測モデル ● 決定係数の高さ

Slide 30

Slide 30 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 30 キャプション ところで問題です これから起こりうる 事件にはどのような ものがあるか?

Slide 31

Slide 31 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 31 キャプション Now *:・゚✧ Thinking Time✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中

Slide 32

Slide 32 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 32 キャプション では解答 これから情報を小出しに していきます。 最初に作ったモデルを補 正してください。

Slide 33

Slide 33 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 33 キャプション 解答①TVの存在 ● https://ichigoproduction.com/onair/ ● TOKYO MXほか ● ABEMAほか ● Migration Model ● 2話目から見る人がいるのでモデルを直してください。

Slide 34

Slide 34 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 34 キャプション 解答②動画/静止画バナー ● 動画バナーは静止画バナーに比べクリック率が高い。 ○ 2倍ぐらい?→XX倍 ● 動画の権利問題で出せたメディアは限定的です。 ● 動画バナーが掲載されたメディアを補正してください。 ● ちなみにクリック率と視聴率は相関が低いです。

Slide 35

Slide 35 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 35 キャプション 解答③ゴールデンウィーク無料開放 ● 通常 最新話無料 ● 5/1~7無料開放イッキ見狙い ● 介入としてモデリング可能 ● Migration Model ● 顧客は連続話をみません。

Slide 36

Slide 36 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 36 キャプション 解答④Twitterバズ 第7話 ● 原作で炎上した黒川あかねのエピソードの炎上 ● 第7話だけ視聴数が多い(+20%~30%) ● 第8話へ定着する人もいる ● 事前にバズのサイズは分かりませんが、 モデルに組み込んでください。

Slide 37

Slide 37 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 37 キャプション 解答⑤2023年6月10日 アイドルビルボード入り ● YOASOBIが米ビルボードで首位になってしまいました ○ “Global Excl. U.S.” ● 6/10以降の全ての回が影響を受けます

Slide 38

Slide 38 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 38 キャプション 解答⑥最終話第11話 ● 原作ファンにとっては最終話は途中 ● どこまで見るか確認の意味で最終話だけ見る人がいる ● これはZero Inflationでモデリングできる ● ただしパラメーターは増えます

Slide 39

Slide 39 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 39 キャプション 解答⑦自由度 ● パラメーター数 > データ数だと過学習します。 ● アニメ宣伝は情報解禁日〜放映日(14) x メディア数(10) ● パラメーターごとに学習に必要なサンプル数を考慮 ● AICは参考にはなるが当然漸近してないので自己責任で ※WAICは漸近する

Slide 40

Slide 40 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 40 キャプション Fin *:・゚✧ いいモデルはでき✧*。・゚ *:・゚✧ ましたか?✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中

Slide 41

Slide 41 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 41 キャプション 疑問 データサイエンスは正しいしすごい。が、 それはデータと時間が無限にあればの話である じゃあデータが貯まるまで待ってればいいのか? それじゃ何年もかかるし、 アニメが終わってしまうというか宣伝の入稿締切ががが

Slide 42

Slide 42 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 42 星野瑠美衣の言葉

Slide 43

Slide 43 text

AbemaTV, Inc. All Rights Reserved
 大人の時間で考えないで。 43

Slide 44

Slide 44 text

AbemaTV, Inc. All Rights Reserved
 私達は今を走ってる 44

Slide 45

Slide 45 text

AbemaTV, Inc. All Rights Reserved
 そうだ、εに入れよう。 45

Slide 46

Slide 46 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 46 キャプション メディア効果予測モデル(確定) 完成

Slide 47

Slide 47 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 47 キャプション 結論 ● Simple is Best / このモデルはリリースされ、 その後も使われ続けている(決定係数が高くdim小) ● 途中で起こった事件はεがサンプルされたに過ぎない ○ この状況でシンプル選好するのはリスク管理 ● LTV/数理最適化については紙幅がない フェルマー バイアス

Slide 48

Slide 48 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 48 研究組織⇄事業組織 大人の時間で考えてる人 (合理性を追求する人) 今を走ってる人 (お金を動かす人) ❤

Slide 49

Slide 49 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 49 キャプション ※タイトルに込められた”愛” 『世の中には3種類の嘘がある: 嘘、大嘘、そして統計だ』 星野アイの名言:『嘘はとびきりの愛なんだよ?』 →「データサイエンスは競合優位な意思決定が全て」 →「自然界にパターンを見出す」人間の特性の限界を示唆 →最善性を現実の複雑性が決定するなら、シンプルさが愛 Data Science バリアンス バイアス

Slide 50

Slide 50 text

AbemaTV, Inc. All Rights Reserved
 50

Slide 51

Slide 51 text

AbemaTV, Inc. All Rights Reserved
 【宣伝:時系列以外を知りたいあなたへ!】 51

Slide 52

Slide 52 text

AbemaTV, Inc. All Rights Reserved
 ベイズ時系列 boosting/bagging サーベイ処理 統計的仮説検定 LTV 数理最適化 レコメンド 動画解析 LLM 52

Slide 53

Slide 53 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 53 キャプション

Slide 54

Slide 54 text

AbemaTV, Inc. All Rights Reserved


Slide 55

Slide 55 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 55 キャプション

Slide 56

Slide 56 text

AbemaTV, Inc. All Rights Reserved