Tweet
Tweet

Slide 1

Slide 1 text

藤田 光明 @6km6km AI事業本部 小売セクター データサイエンティスト

Slide 2

Slide 2 text

藤田 光明 @6km6km AI事業本部 小売セクター データサイエンティスト

Slide 3

Slide 3 text

これまでの経歴 インターネット広告配信プロダクトでの開発 小売の購買データを活用した広告プロダクトの立ち上げ 現在：小売アプリのグロース https://speakerdeck.com/ko_fujita1 https://www.cyberagent.co.jp/way/list/detail/id=24754

Slide 4

Slide 4 text

小売企業との”協業DX”を加速中

Slide 5

Slide 5 text

小売企業との”協業DX”を加速中 決算資料より抜粋

Slide 6

Slide 6 text

データサイエンスの観点で見ると... 小売にも展開したい！ データサイエンスで ビジネス貢献した実績

Slide 7

Slide 7 text

「インターネットの当たり前」で考えてしまうと 小売企業との協業DXの障壁はたくさんある データが もらえない 店舗オペレー ション AIって 効果あるの？ とりあえず PoCだけ... ベンダーとの兼 ね合い 社内調整...

Slide 8

Slide 8 text

データサイエンティスト（DS）がよく直面する課題 ● データはある！！（POSデータなど） ● 施策に関するデータはない... ○ 例：クーポン，チラシ，店舗内施策，割引，テレビ広告 ○ あっても不十分だったり，まとまっていなかったり ● 施策は「きれいな」実験がされているわけではない ○ ランダム化（A/Bテスト）など インターネット（＝オンライン）と 小売（＝オフライン）の大きな違い

Slide 9

Slide 9 text

データサイエンティスト（DS）の役割を考えてみると... https://speakerdeck.com/ko_fujita1/how-data-scientists-can-help-startups DSが改善するのは意思決定

Slide 10

Slide 10 text

DSが改善するのは意思決定 意思決定の改善...施策の改善 施策のデータがない...施策の改善ができない？ DSの役割がない...?

Slide 11

Slide 11 text

今日のテーマ DXプロジェクトを推進する二人三脚 プロジェクトマネージャー （PM） 今あるデータで やる！ 顧客と目線を 合わせる！ データサイエンティスト （DS）

Slide 12

Slide 12 text

以降では ある小売アプリグロースの施策の1つとして クーポン配信の改善に取り組んだ話をします

Slide 13

Slide 13 text

1. 今あるデータでやる （DSパート） 2. 顧客と目線を合わせる （PMパート） 目次

Slide 14

Slide 14 text

1. 今あるデータでやる

Slide 15

Slide 15 text

Potential Outcome Framework 我々が改善したいもの Donald Rubin@Harvard 施策を実施したときの アウトカム 施策を実施しなかったときのア ウトカム 施策の効果

Slide 16

Slide 16 text

クーポンに置き換えると クーポンを付与 世界線Aのユーザ i さん ユーザ i さん 世界線Bのユーザ i さん 購入：2000円 購入：3000円 効果: 1000円

Slide 17

Slide 17 text

根本問題: 改善したいものが観測できない クーポンを付与 世界線Aのユーザ i さん ユーザ i さん 世界線Bのユーザ i さん 購入：2000円 購入：3000円 同時に観測が できない

Slide 18

Slide 18 text

ユーザをランダムにグループ分けする = A/Bテストすると... クーポンを付与 Aグループのユーザ ユーザ全体 Bグループのユーザ 平均購入額：2000 円 平均購入額：3000 円 ランダム化

Slide 19

Slide 19 text

A/Bテストで平均的な改善の効果を観測できる クーポンを付与 Aグループのユーザ ユーザ全体 Bグループのユーザ 平均購入額：2000 円 平均購入額：3000 円 ランダム化 平均的な効果: 1000円

Slide 20

Slide 20 text

A/Bテストで平均的な改善の効果を観測できる クーポンを付与 Aグループのユーザ ユーザ全体 Bグループのユーザ 平均購入額：2000 円 平均購入額：3000 円 ランダム化 平均的な効果: 1000円 施策の改善には A/Bテスト(ランダムな)データがあるとベスト

Slide 21

Slide 21 text

ランダムにクーポンが配布される状況...？ あまりない 何かしらのルールに従って配布される ● 全員に配布 ● ポイントカード会員に配布 ● 誕生日のユーザに配布 ● 過去に対象商品を購買したユーザに配布 ● ある地域でのみ配布 どうする...？

Slide 22

Slide 22 text

よくある失敗：ランダムなデータの必要性を叫ぶ ランダムなデータを集めるために， とりあえずクーポンをランダムに配る 実験をしてみましょう！ データサイエンティスト　

Slide 23

Slide 23 text

よくある失敗：ランダムなデータの必要性を叫ぶ 試行錯誤して知見が貯まってるのに なぜ今さらランダムに配る...？ 必要性を社内に説明できない... ランダムに配ったあとの改善だと 時間がかかる... 顧客

Slide 24

Slide 24 text

どうするか？ ランダムなデータ とりあえず実験

Slide 25

Slide 25 text

どうするか？ 今あるデータで何かできないか...？ ランダムなデータがないなら 因果推論を活用しよう！

Slide 26

Slide 26 text

自然実験とは... ルール・ビジネスロジック・偶然などによって， あたかも施策が実験のように実施された状況を用いて，因果効果を推定する方法 たとえば ● 特定のチャネル / エリアでのみクーポンが配布される ● 過去購買額など閾値以上のユーザにのみクーポンが配布される ● 誕生日のユーザにクーポンが配布される 自然実験的に配られたクーポンを探してみる

Slide 27

Slide 27 text

● 特定のチャネル / エリアでのみクーポンが配布される （差分の差分法） ● 過去の購買額などの閾値以上のユーザにのみクーポンが配布される （回帰不連続デザイン） ● 誕生日のユーザにクーポンが配布される （擬似的な “ランダム” データ） 因果推論で施策の効果を推定できるケースがある

Slide 28

Slide 28 text

● 特定のチャネル / エリアでのみクーポンが配布される（差分の差分法） ● 過去の購買額などの閾値以上のユーザにのみクーポンが配布される（回帰不連続デザイン） ● 誕生日のユーザにクーポンが配布される（擬似的な “ランダム” データ） 分析の詳細は兵頭さんのセッション 誕生日クーポンの例を紹介 https://ca-base-next.cyberagent.co.jp/2022/sessions/ds-for-app-coupon/

Slide 29

Slide 29 text

● 小売が運営するTwitterやポイ活サイトを見まくって，誕生日クーポンの存在を知る ● POSデータ内に使われたクーポンのカラムはあるが，どのIDが誕生日クーポンなのか不明 ● 実際にチームメンバーが店舗で購買してPOSを確認することでIDが判明 まずは，分析できる状態に 誰がいつどこで誕生日クーポンを使ったか ＆何を買ったのかがわかる →分析できる！

Slide 30

Slide 30 text

● 誕生日は擬似的なランダムイベント（＝A/Bテストをしている状況） ○ クーポンの効果が推定できる！ ○ アカデミックな分野でも効果の推定に誕生日が使われる（Angrist（1990）など） ● クーポンの効果の分析（全体の効果，ユーザ属性 / RFMごとの効果） ● ユーザに対するクーポンの効果を予測するアップリフトモデルを構築 分析・予測モデルの構築 Angrist, J. D. (1990). Lifetime Earnings and the Vietnam Era Draft Lottery: Evidence from Social Security Administrative Records. AER 兵頭さんスライドより

Slide 31

Slide 31 text

この分析・予測モデルは完璧ではない 予測できるもの 予測したいもの 介入の定義 クーポンを使ったときの効果 クーポンを配ったときの効果 対象ユーザ （共変量シフト） 誕生日クーポンを使うユーザ アプリを利用するユーザ 割引方式 X％割引 Y％ポイント付与 たとえば 予測できるもの ≠ 予測したいもの

Slide 32

Slide 32 text

● 完璧じゃないけど大間違いでもないはず（❌：完璧じゃないとやらない） ● 定式化して，自分たちがどういう仮定を置いているのか整理 ○ その仮定の妥当性をデータから検証できないか？ ○ 顧客の肌感として妥当か？ が，やらないよりはマシ データから施策を提案する第一歩！

Slide 33

Slide 33 text

● 事前に期待値をすり合わせる ● できれば，施策の適用はランダムに ○ 施策の因果効果を評価しやすい ○ 新しい施策なので顧客にとっても受け入れやすい 施策の実施と振り返り ● 実験の結果を集計してレポートするだけでなく， ランダムなデータを使ってたくさんの 知見を提供する ● 次回の施策のための仮説を洗い出す 施策の実施 施策の振り返り

Slide 34

Slide 34 text

● 施策の改善のための理想はランダムなデータ（A/Bテストデータ） ● 理想のデータがなくても，自然実験を見つけて因果推論で施策の効果を推定する ● 完璧ではないが，データを使った施策の第一歩が踏み出せる ● 一度施策のPDCAを回して，データから知見が出てくると，今後の施策の幅も広がる 「今あるデータでやる」パートのまとめ

Slide 35

Slide 35 text

2. 顧客と目線を合わせる

Slide 36

Slide 36 text

網谷 龍太朗 2017年度 新卒入社 AI事業本部 アプリ運用センター プロダクトマネージャー @Ryutaro Amiya

Slide 37

Slide 37 text

2017年 ・ビジネス新卒として入社 ・広告配信プロダクト立ち上げ×2　　　　 2018年 ・ロボット事業 立ち上げ ・AI企業との合弁会社 立ち上げ 2019年 ・AI×広告クリエイティブ最適化プロダクトPM ・AI関連の新規事業 立ち上げ（〜2021年） 2021年 ・アプリ運用センター（〜現職） 経歴

Slide 38

Slide 38 text

取り組み初期から A/Bテスト！因果推論！ サイバーエージェント 顧客

Slide 39

Slide 39 text

A/Bテスト！因果推論！ サイバーエージェント 取り組み初期から 顧客

Slide 40

Slide 40 text

A/Bテスト ユーザからのクレーム経験 慎重にならざるを得ない

Slide 41

Slide 41 text

因果推論 長年の試行錯誤による 独自分析・評価方法の確立

Slide 42

Slide 42 text

他にも、、、 店舗オペレーション の調整 販促スケジュール への影響 反実仮想？？ マスのほうが 効果ある、、

Slide 43

Slide 43 text

インターネットの当たり前は小売 の当たり前じゃない A/B！ 因果推論！ 話が合わない ルールを知らない

Slide 44

Slide 44 text

A/B！ 因果推論！ 話が合わない ルールを知らない インターネットの当たり前は小売 の当たり前じゃない ドメイン知識を持っている小売と 目線を合わせる必要がある

Slide 45

Slide 45 text

・小売の分析を完全トレース ・効果の定義の違いを把握 ・効果の定義を擦り合わせ ・オペ上実行可能なA/B提案 そのためにやったこと

Slide 46

Slide 46 text

小売の分析を完全トレース 目の前で分析をしていただき 分析結果を再現

Slide 47

Slide 47 text

効果の定義の違いを把握 因果推論 前後比較 同じ施策を 因果推論した場合の効果と比較

Slide 48

Slide 48 text

効果の定義を擦り合わせ

Slide 49

Slide 49 text

オペ上実行可能なA/B提案 例えば... A　 ｜ 　B なし 割引 割引 ポイント倍 A　 ｜ 　B

Slide 50

Slide 50 text

A　 ｜ 　B なし 割引 割引 ポイント倍 A　 ｜ 　B オペ上実行可能なA/B提案 例えば...

Slide 51

Slide 51 text

・小売の分析をトレース ・効果の定義の違いを把握 ・効果の定義を擦り合わせ ・オペ上実行可能なA/B提案 そのためにトライしたこと

Slide 52

Slide 52 text

A/Bテスト スタート！ 我々目線では初速 うまくいってそう...!

Slide 53

Slide 53 text

と思いきや，，，

Slide 54

Slide 54 text

施策後のフィードバック 効果が小さくないか？ 今までのマーケティング施策と比較すると 成果を出すのに時間がかかりそう 小売側でも出来そうではないか？ CA側にお願いする意味は今のところ薄いかも 顧客

Slide 55

Slide 55 text

・小売の分析をトレース ・効果の定義の違いを把握 ・効果の定義を擦り合わせ ・オペ上実行可能なA/B提案 そのためにトライしたこと

Slide 56

Slide 56 text

・小売の分析をトレース　　◎ そのためにトライしたこと

Slide 57

Slide 57 text

・小売の分析をトレース　　◎ ・効果の定義の違いを把握　◎ そのためにトライしたこと

Slide 58

Slide 58 text

・小売の分析をトレース　　◎ ・効果の定義の違いを把握　◎ ・効果の定義を擦り合わせ　△ →全く足りなかった。評価基準の変更は大変 そのためにトライしたこと

Slide 59

Slide 59 text

・小売の分析をトレース　　◎ ・効果の定義の違いを把握　◎ ・効果の定義を擦り合わせ　△ →全く足りなかった。評価基準の変更は大変 ・オペ上実行可能なA/B提案 ✖ →オペを変えるレベルの提案じゃないと意味ない そのためにトライしたこと

Slide 60

Slide 60 text

● 効果の定義を擦り合わせる　　　 効果の評価方法を更新しにいく気概 ● 小売と協力してルールを学び， ルールを変える提案をする 協業DXでは

Slide 61

Slide 61 text

We’re Hiring!