Simple Data Analytics Leads impact

Simple Data Analytics Leads impact

Presentation at 2018.11.14 Web Person's Summit in Tokyo
https://webtan.impress.co.jp/events/201811

こちらにスライドの内容の解説記事があります
https://note.mu/notes/n854ff66b2621

Author :
https://twitter.com/hik0107
Hikaru Kashida (data analyst manager in mercari)
樫田 光 (データアナリスト/マネージャ, メルカリ)

2e241cf3b0bc7ee724b6dfb12a2bc9ea?s=128

Hikaru Kashida

November 10, 2018
Tweet

Transcript

  1. 10.

    • Mercari, Inc. • Data Analyst / Manager ◦ Service

    Growth ◦ Team Management • Data界隈のイベントを 複数主催 • Twitter ⇢ @hik0107 樫田 光 Hikaru Kashida
  2. 11.

    2016-20171st half Mercari USの戦略 / 分析 20172nd half - 国内メルカリのGrowth戦略

    ◦ 顧客セグメント戦略 ◦ KPI / モニタリング体制 ◦ 分析からの施策提案 ◦ 予算策定 Works in Mercari
  3. 12.

    2016-20171st half Mercari USの戦略 / 分析 20172nd half - 国内メルカリのGrowth戦略

    ◦ 顧客セグメント戦略 ◦ KPI / モニタリング体制 ◦ 分析からの施策提案 ◦ 予算策定 今日のお話
  4. 15.
  5. 16.

    CRMとセグメントの軌跡 - in case of Mercari 0 No CRM セグメントなし

    全ユーザに 同じ施策を打つ 僕がメルカリの グロースを担当し始めた時
  6. 17.

    CRMとセグメントの軌跡 - in case of Mercari 0 No CRM セグメントなし

    全ユーザに 同じ施策を打つ 1 CRM 1.0 3セグメントに分類 よちよち歩きでも まず始めてみる 施策担当者と一緒に まず最初にやったこと
  7. 18.

    CRMとセグメントの軌跡 - in case of Mercari 0 No CRM セグメントなし

    全ユーザに 同じ施策を打つ 1 CRM 1.0 3セグメントに分類 よちよち歩きでも まず始めてみる 2 CRM 2.0 一部セグメントを もう一歩分解 施策を打たない群 CRM1.0 を4ヶ月ほど 運用してから漸進的進化
  8. 19.

    CRMとセグメントの軌跡 - in case of Mercari 0 No CRM セグメントなし

    全ユーザに 同じ施策を打つ 1 CRM 1.0 3セグメントに分類 よちよち歩きでも まず始めてみる 2 CRM 2.0 一部セグメントを もう一歩分解 施策を打たない群 3 CRM 3.0 セグメントを詳細化 自動化 チューニング 現在
  9. 21.

    CRMとセグメントの軌跡 - in case of Mercari 0 No CRM セグメントなし

    全ユーザに 同じ施策を打つ 1 CRM 1.0 3セグメントに分類 よちよち歩きでも まず始めてみる このフェーズでは特に “Simple” が何より大事 複雑にしない • 『過度な正確さ』は捨てる • まず始めてみる
  10. 24.

    よくないケース 1 Too Late to Start 『できるだけ正確にちゃんと切りたい』『みんなが納得するものを』など 志を変に高く持ちすぎて、半年たっても決まらずグダる 2 Too

    Hard to Operate セグメントの数が多すぎるなどで運用がまわらない 3 Too Difficult to Understand 切り方やコンセプトが複雑でごく一部の人しか理解できない 特に上位レイヤーのひとが理解を諦めるレベルだと致命傷になる
  11. 26.

    ふたつの大事なこと 1 Simple is better than Accurate. 精緻さにこだわらない 『まず最初はsimpleに』 この勇気が前頁の問題をすべて解決する

    2 Start with Simple. Sophisticate Later. 心配せずとも、Simple Startで成功すれば精緻化はあとからできる また、なにごともやってみてわかることがたくさんある
  12. 28.
  13. 33.
  14. 34.

    “Intelligent fool, you tend to complicate things. In order to

    proceed in the opposite direction from that, it requires a lot of courage and a little bit of talent.” 知的な馬鹿は物事を複雑にする傾向がある。 それとは反対の方向に進むためには、 少しの才能と多くの勇気が必要になる。 - Albert Einstein
  15. 35.

    “Simple can be harder than complex. You have to work

    hard to get your thinking clean to make it simple.” シンプルであることは複雑であることよりもむずか しいときがある。 物事をシンプルにするためには懸命に努力して思 考を明瞭にしなければならないからだ。 - Steve Jobs
  16. 43.

    これまでの知見から仮説を考える - 有効と思われた仮説 1 メルカリでこれまで買っ たことがあるか 直近で購買が あるか 直近でアクセスが あるか

    新規登録 Or 既存 • 自分の過去の分析の知見から考える • 施策担当者とブレストしながらアイディアを出していく
  17. 44.

    これまでの知見から仮説を考える - 有効と思われた仮説 1 メルカリでこれまで買っ たことがあるか 直近で購買が あるか 直近でアクセスが あるか

    新規登録 Or 既存 • この時点では、『直近』とはどれくらいかとか、『購買』がいくつくらいかとか 難しいことは余り考えないほうがよい
  18. 45.

    直近購買あり “元” 顧客 購買ないまま 離脱 まだ購買の 経験なし これまでの知見から仮説を考える 1 色々あるけど

    一旦2軸で整理 • 購買経験の有無 • 直近購買あるか ある程度の分析と、 あとは決めの問題 過去に購買経験あるか Yes No 直 近 購 買 あ る か Yes No A B A B
  19. 47.

    貴方が負けた先に待っているもの 1 Too Late to Start 『できるだけ正確にちゃんと切りたい』『みんなが納得するものを』など 志を変に高く持ちすぎて、半年たっても決まらずグダる 2 Too

    Hard to Operate セグメントの数が多すぎるなどで運用がまわらない 3 Too Difficult to Understand 切り方やコンセプトが複雑でごく一部の人しか理解できない 特に上位レイヤーのひとが理解を諦めるレベルだと致命傷になる
  20. 50.

    • データによる分離が容易か • セグメント分割のためのデータが簡単に手に入るものか • 例) “満足度の高さ”みたいな、アンケートしないといけないような 項目を使うのはつらそう • その軸で分けたユーザ群が、別の生態系となるか

    • 別のセグメントには施策が全く異なる、というイメージがあるか? • 年齢や性別などの静的情報もよいが、行動情報の方がおすすめ 軸の条件をチェックするための項目
  21. 53.

    Pre- Buying Active Buyer Dead wood Dormant 1 3 4

    過去に購買経験あるか Yes No 直 近 ア ク テ ィ ブ か Yes No 購買経験なし 直近購買あり 購買ないまま離脱 “元” 顧客 考え方を目に見える形に落とす- 当時実際に作っていた資料 新規 DL 2 購買数も月に1個から >10個など幅がある 2
  22. 59.

    ある程度の複雑さレベルで分析しつつ、まとめる 3 Segment 1 80% Segment 2 50% Segment 3

    20% Segment 4 0.5% 全体向けに打った施策:反応率 30% 仮説のセグメントで分解してみてみると ...
  23. 63.

    ある程度の複雑さレベルで分析しつつ、まとめる 3 ここから、施策担当者と話しながら、Simpleに削いでいく ☑ 打つべき手が変わらない群はまとめる → 逆に明らかに変わってくる場合は、絶対に独立させる ☑ 人数が小さすぎるセグメントはまとめてしまう (★要分析)

    ☑ データ的に分割が容易かを考慮する (★要データ知識) ☑ 過去の反応率やKPIなどを見て傾向が同じような場合はまとめる (★要分析) ☑ 分割に寄って直感的にわかりづらくなる場合はまとめる
  24. 65.

    Keep Comeback New A B 過去に購買経験あるか Yes No 直 近

    購 買 あ る か Yes No 最終的なセグメントはこうなった 3 C CRM 1.0 最終的には Segment = only 3 めちゃsimple
  25. 67.

    1 Simple is better than Accurate. 精緻さにこだわらない 『まず最初はsimpleに』 この勇気がすべてを解決する 2

    Start with Simple. Sophisticate Later. 心配せずとも、Simple Startで成功すれば精緻化はあとからできる また、なにごともやってみてわかることがたくさんある
  26. 70.

    Keep 継続既存顧客 Comeback 復帰既存顧客 New 新規顧客 KPIを分けて考える セグメントごとにみるものを変える A 全体:KPI

    = 売上 セグメントごとに、メインで追う KPIを最適化する それぞれのセグメントに最も期待するものをちゃんと KPIとして置く
  27. 72.

    Keep 継続既存顧客 Comeback 復帰既存顧客 New 新規顧客 KPIを分けて考える セグメントごとにみるものを変える A 全体:KPI

    = 売上 売上 獲得数 キャンペーン ROI 復帰Buyer数 当然モニタリングもセグメントごとに分けて行う 数字の好調・不調の理由が桁違いに理解しやすくなる CPA vs. LTV
  28. 75.

    Keep 継続既存顧客 Comeback 復帰既存顧客 New 新規顧客 施策を分けて考える セグメントごとに打つ施策を変える B 全体

    • クーポン • キャンペーン • App内中心 • コミュニケーション • Pre-buy コンテンツ • Adなど外部施策 • 初購入特典 • 大きめのPoint施策 やること、できること、書けられるコストなどが結構違う
  29. 77.

    目標数値の精緻化(グラフは完全に適当です / Chart is just illustrative) C keep 10月 11月

    継続率 x% Keep : 成熟しているサービスなら継続率はPredictable ( + 継続施策どれくらいやるか)
  30. 78.

    目標数値の精緻化(グラフは完全に適当です / Chart is just illustrative) C keep CB BN

    10月 11月 継続率 x% Brandnew : 新規獲得系なので広告費などが影響 Keep : 成熟しているサービスなら継続率はPredictable Comeback : 復帰系施策やRe-Engagement系などが影響 ( + 継続施策どれくらいやるか)
  31. 80.

    目標数値の精緻化(グラフは完全に適当です / Chart is just illustrative) C keep CB BN

    Total 10月 11月 継続率 x% keep CB BN 12月 継続率 y% 12月は広告で新規獲得に注力する計画の場合
  32. 87.

    分析チームとして気をつけていたこと 施策担当 (当時はマーケチーム) 分析チーム 1 施策チームと分析チームは密接に 週1-2回は施策のプランについて定期的に話す MTG 施策チームで分析強い人を巻き込む 2

    施策の設計・実施に深く関わる A/Bテストできる設計を提案して実行していく 試算などは分析チーム主導で行う (ので絶対に相談くる) 3 数字の見える化、ダッシュボード KPIを可能な限り見える化して、施策チームに浸透させる
  33. 90.

    運用サイクルに分析をきちんと組み込む 施策 チーム 分析 チーム 施策素案 予算計画 定例MTG (週1-2) 一緒に検討

    ・期待した効果が出そうかの詳細な試算 ・反応率などの予測からの消化予算などを分析 ・場合によっては、対象層の絞り込みなど 対象抽出 分析・試算
  34. 91.

    対象抽出 運用サイクルに分析をきちんと組み込む 施策 チーム 分析 チーム 施策素案 予算計画 定例MTG (週1-2)

    一緒に検討 分析・試算 施策実施 モニタリング (ダッシュボードなど) ・Dailyくらいで見れる仕組み ・Slackなどで都度議論 ・顔合わせた時に会話
  35. 92.

    対象抽出 運用サイクルに分析をきちんと組み込む 施策 チーム 分析 チーム 施策素案 予算計画 定例MTG (週1-2)

    一緒に検討 分析・試算 施策実施 モニタリング (ダッシュボードなど) 効果分析 ・サクッとSheet1枚程度 ・全施策の結果をWikiに掲載
  36. 93.

    対象抽出 運用サイクルに分析をきちんと組み込む 施策 チーム 分析 チーム 施策素案 予算計画 定例MTG (週1-2)

    一緒に検討 分析・試算 施策実施 モニタリング (ダッシュボードなど) 結果 振り返り 効果分析 重要なのはコンセンサスづくり
  37. 94.

    対象抽出 運用サイクルに分析をきちんと組み込む 施策 チーム 分析 チーム 施策素案 予算計画 定例MTG (週1-2)

    一緒に検討 分析・試算 施策実施 モニタリング (ダッシュボードなど) 結果 振り返り 効果分析 テッパン 施策 知見 (失敗含む)
  38. 102.

    Keep (直近購買あり) Comeback (直近購買なし) A B New 購買経験あり 購買経験なし C

    Comeback (直近購買なし) Star Weak Brandnew Delay CRM 2.0 CRM 1.0 購買の強さで 2つに分離 登録時期で 2つに分離 そのまま 1.0 → 2.0 の update
  39. 105.

    “If you want to go fast, go alone. If you

    want to go far, go together.” 早く行きたければ、ひとりで行け。 遠くまで行きたいのなら、みんなで進め。 - アフリカのことわざ
  40. 107.

    1.0 → 2.0 の update • 施策の頻度を落とす セグメントなども作る • 新しい施策も試してみる

    • 別の分割の切り口も 考えてみる機運 よりメリハリをつけた施策の出し分けなどにシフトしていく
  41. 109.

    現在進行形なので詳しくは話せませんが... CRM3.0 (現在) 特に注力するセグメントをさらに 細く割って、条件のトリガーベースで 施策を自動化 その際の分割の軸は 分析 × ある程度ヒューリスティック

    CRM4.0 (Next) 機械学習の導入 Simpleセグメント ➞ 多数の行動特徴を 機械学習モデルで複合判定する Complexセグメントへ (一部実験中)
  42. 110.

    機械学習は銀の弾丸か? + 納得感 ヒューリスティックな仮説ベースでやっていると、いろんな意見が出る 分析から数字で示しても、自分の感覚にこだわる人は絶対に反論をしたがる そういうオールドファッションな人ほど、なぜか『 AIでやってます』で納得する(と思う。) + 個別化 &

    正解に近い 単純な2軸~3軸の分解だと、多数の例外が発生する 5セグメントに区切ったところで、同じセグメントのなかにも実はいろんなユーザが存在する 機械学習は、実質的には大量(有効な特徴量の数)の軸でセグメントしているに等しい 一人ひとりを個別のセグメントに分類している状態に近い
  43. 113.

    • Simpleにすると固く心に誓う ➞ もうできるはず。今日の話と偉人の言葉を思い出してください。。。 • これまでの知見から仮説を考える ➞ みなさんの社内にもうあるはず。 • 考え方を目に見える形に落とす

    ➞ 図表化が上手そうな人を見つけましょう。 • ある程度の複雑さレベルで分析しつつ、まとめる ➞ いまこそ分析者を活かしましょう。いなければなんとか育てましょう。 分析者なんて雇っていられない?それで本当に大丈夫ですか? もしSimple Segmentを始めようと思ったら
  44. 114.

    • Simpleにすると固く心に誓う ➞ もうできるはず。今日の話と偉人の言葉を思い出してください。。。 • これまでの知見から仮説を考える ➞ みなさんの社内にもうあるはず。 • 考え方を目に見える形に落とす

    ➞ 図表化が上手そうな人を見つけましょう。 • ある程度の複雑さレベルで分析しつつ、まとめる ➞ いまこそ分析者を活かしましょう。いなければなんとか育てましょう。 分析者なんて雇っていられない?それで本当に大丈夫ですか? もしSimple Segmentを始めようと思ったら
  45. 115.

    • Simpleにすると固く心に誓う ➞ もうできるはず。今日の話と偉人の言葉を思い出してください。。。 • これまでの知見から仮説を考える ➞ みなさんの社内にもうあるはず。 • 考え方を目に見える形に落とす

    ➞ 図表化が上手そうな人を見つけましょう。 • ある程度の複雑さレベルで分析しつつ、まとめる ➞ いまこそ分析者を活かしましょう。 分析者なんて雇っていられない?今は21世紀、それで本当に大丈夫ですか? もしSimple Segmentを始めようと思ったら
  46. 117.
  47. 119.
  48. 120.

    実はMarkの発言ではないらしい....? FacebookのCEO Markは “Done is better than perfect” といった simple

    Facebookの壁には “Done is better than perfect” と書かれている。 創業者のMarkの言だという説もあるが 実際に彼が言ったという証拠は無く 元が誰の発言であるかは諸説ある Accurate どちらを使うべきかは場合に寄るだろうが、 わかりやすさを重視して、多少の不正確さを許容することで得るものもある。
  49. 121.

    “If you want to go fast, go alone. If you

    want to go far, go together.” 早く行きたければ、ひとりで行け。 遠くまで行きたいのなら、みんなで進め。 - アフリカのことわざ
  50. 122.

    Hikaru Kashida @hik0107 on Twitter / note / Qiita /

    Speakerdeck Thanks! Have a Better Segment, Better Life.