Business Intelligence in Mercari - What makes Mercari Data-Driven

Leader of Business Intelligence team in Mercari describes how data scientists work to improve and grow up Mercari in Japan, United States and Great Britain

Transcript

1. Business
   Intelligence in Mercari
   What makes Mercari DATA-DRIVEN
   Hikaru Kashida | BI team Project Owner
   

   View Slide

2. 2
   まずはじめに At a Glance
   

   View Slide

3. 3
   みなさんとデータの関わり方は...?
   データ
   分析の人
   1
   機械学習
   の人
   2
   それ以外
   3
   

   View Slide

4. 4
   データ
   分析の人
   1
   機械学習
   の人
   それ以外
   This Talk (BI)
   

   View Slide

5. 5
   データ
   分析の人
   機械学習
   の人
   2
   それ以外
   Next! (ML)
   

   View Slide

6. 6
   BIチームがやること What we are responsible for
   

   View Slide

7. 7
   データ
   分析の人
   1
   機械学習
   の人
   それ以外
   We are here
   

   View Slide

8. ?何をやるのか?
   8
   

   View Slide

9. 9
   何をやるのか What we are responsible for
   ①幅広く色々とやっている
   Product Growth
   PR
   IR/
   Finance
   CS/
   Risk
   JP US UK
   注 ) あくまでメインはプロダクトの成長・改善
   Business Intelligence Team
   

   View Slide

10. 10
    何をやるのか What we are responsible for
    ②プロダクトはマクロからミクロまで関わる
    Growth
    Strategy
    ¥ ~1,000,000,000
    Marketing
    Campaign /
    CRM
    - Repeat Rate
    - Buy/Sell Conversion
    - Cohort
    Daily Trend
    User LTV / RFM
    User Addiction Micro Behavior
    - Funnel
    - Tap Rate
    - Feature Usage
    - Search Words
    超ざっくりの数字感 ※あくまで桁感の話です
    # of action
    ¥ ~100,000,000 ¥ ~10,000
    %
    

    View Slide

11. 11
    何をやるのか What we are responsible for
    ③ Beyond Data - 定性情報も大事にする
    US在住のユーザのお宅にお邪魔して
    生活を見せてもらいつつインタビューしたりします
    

    View Slide

12. 12
    つまり何が
    言いたいかというと
    

    View Slide

13. やることはいっぱいある!
    写真：PAKUTASO
    

    View Slide

14. 14
    少し具体的な話を Case Studies in Mercari US
    

    View Slide

15. 15
    Step1.
    目標を見極める
    Step2.
    改善の方針を示す
    Step3.
    改善施策の立案支援
    Step4.
    指標の変化をトラック
    経営レイヤーと
    企画メンバーと
    みんなで
    BIのお仕事のステップ How to proceed projects
    

    View Slide

16. 16
    これはメルカリの
    US事業のおはなし
    ※ 日本のメルカリの話ではありません
    

    View Slide

17. 17
    量 :規模
    ⇢ 質 :リピート率
    Step1. 目標を見極める
    分析を元に会社の経営目標をシフト
    （※時間の関係で詳細は割愛）
    

    View Slide

18. 18
    何をしたのかざっくり
    （※時間の関係で詳細は割愛）
    

    View Slide

19. BI × 経営メンバーで缶詰合宿をしたよ
    取締役
    取
    締
    役
    プロダクト担当
    執行役員 (のPC)
    

    View Slide

20. その時の話はこちら
    

    View Slide

21. 色んな分析をしつつ、経営陣の意見と
    合わせて経営指標のシフトを決定した
    ➡ 重点：質(リピート率)
    ＞ 量(規模) とする
    （※時間の関係で詳細は割愛）
    

    View Slide

22. 22
    つまり何が
    言いたいかというと
    

    View Slide

23. 分析は経営方針をも
    変えうる!
    (もちろんBIチームだけの力ではありませんが)
    写真：PAKUTASO
    

    View Slide

24. ?
    では、リピート率を
    上げるためには?
    ➡ Step2. 改善方針 を分析で示す!
    24
    （※ここからはちゃんと少し詳しめに）
    

    View Slide

25. Step2. 改善方針を示す
    方針1. リピート率には検索が大事
    25
    弱い 強い
    ● 継続率に強い影響を与える
    ユーザ行動は検索
    = ちゃんと商品をさがしてくれるか
    ● メルカリUSでは検索行動が十
    分に強くなっていない
    BI分析
    

    View Slide

26. 改善方針 :
    検索をなんとかしよう!
    26
    ➡ Step3. 改善施策 を分析で支援する!
    

    View Slide

27. 27
    Step3. 具体的な改善プランを支援する
    検索行動を促すようなUIに変更する
    方針に基づき
    検索を目立たせる
    After
    Before (日本と同じ)
    現状のUIにおいて
    どの機能が使われ
    ているかを調査
    検索導線を重視
    BI分
    析
    

    View Slide

28. 28
    検索利用率 up⬆⬆
    

    View Slide

29. 29
    ● リピートしないユーザは、
    ほとんどが初起動からごく短
    時間で使わなくなる
    ● 使っている機能を見ても、かな
    り浅いユーザ体験に
    基づいて判断をしている
    BI分析
    Step2. 改善方針を示す
    方針2. 浅いユーザ体験をより重点的に改善
    ※リピートしなかったユーザの最終アクセスタイミングの分析
    短い 長い
    

    View Slide

30. 改善方針 :
    浅いところのUX >> 深い体験
    30
    登録 ザッピング 検索 商品閲覧 検討 購入 受取り
    直近の重点
    ヘビー利用
    

    View Slide

31. Step3. 改善施策を支援する
    浅めのUX中心に
    >30のA/Bテストを設計・分析
    チュートリアル変更 一覧画面で長方形対応 検索時にカテゴリ補完 商品画面UI変更 ・・・・
    

    View Slide

32. A/BテストのKPIの標準化と
    分析の半自動化でSpeed-up
    BigQuery
    Google Sheet
    データの
    自動連携/更新
    Data Scientist Producer
    ● Producerとは共有Google
    Sheetでコミュニケーション
    ● PlannerがA/Bテストを登録す
    れば結果は自動更新
    ● 都度、結果をsheetを見て
    ディスカッション
    Google App Script
    

    View Slide

33. 33
    ● 現行の、売り切れ商品も見せる仕様は
    ユーザからは不評（の声も）
    しかし、売り切れ商品を表示しないテス
    トをするとKPIが下がった
    ● 他の分析やインタビューと合わせて検
    証したところ...
    ● 思った以上にユーザは商品一覧に
    みえるものからメルカリの世界観を判
    断しているという結論に
    Step2. 改善方針を示す
    方針3. ユーザに商品一覧でアプリの世界観を伝える
    ＞
    ①売り切れも表示 ②販売可のみ表示
    BI分析
    売り切れ商品を商品一覧で見せるかどうかのテスト
    

    View Slide

34. Step3. 改善施策を支援する
    表示アイテムで世界観を伝える施策を多く実行
    ● 何を見せるかをいろいろと試行錯誤
    ○ 売り切れ商品の表示・非表示のテスト
    ○ 商品一覧のなかに、オススメカテゴリの枠を挿入するテスト
    ○ Used商品中心の世界観を伝える商品を多く見せる
    ○ などなど... (他にもたくさんありますが全部は言えません
    

    View Slide

35. 35
    絶え間ない機能のA/Bテストの嵐
    Step4. 目標としたKPIの経過を見る（実際は毎日に見てます）
    up
    

    View Slide

36. YES!
    

    View Slide

37. 37
    つまり何が
    言いたいかというと
    

    View Slide

38. 色んな場面で
    分析を活かしている!
    写真：PAKUTASO
    

    View Slide

39. 39
    その他気になりそうな話 Others
    

    View Slide

40. ?機械学習とは
    関わりがない?
    40
    

    View Slide

41. んなことない
    

    View Slide

42. 場合によってはMLも使うよ
    ● 知見発見のための機械学習 ⬅ これとか
    ○ ルールの発見
    ○ ユーザの分類
    ● ルールベースでのユーザリストの作成 ⬅ これとか
    ○ ワンショット（実験的）な施策のターゲットとか
    ● プロダクトに反映される機械学習
    ○ これは別に専用のチームがいる
    ○ このあと話してくれます
    

    View Slide

43. ?何を使って
    分析してるの?
    43
    

    View Slide

44. よければ読んで下さい
    

    View Slide

45. Three Key Tools
    1
    2
    3
    ● データの抽出
    ● 集計/分析
    ● 複雑な分析
    ● 機械学習
    ● ビジュアライズ
    ● KPIダッシュボード
    

    View Slide

46. 46
    どんなチームなのか Talents in BI
    

    View Slide

47. London
    Tokyo
    San Francisco
    2 5 2
    

    View Slide

48. 48
    Our Team
    Worldwide 9 HCs Tokyo:5 + SF:2 + London:2
    @Jarlath
    @Alex
    @Hikaru
    (Team Lead) @Mattsun
    @Shu
    @Yu
    @Kotaro
    @Sho
    @Hasebe
    

    View Slide

49. 49
    Our Team
    Flexible Assignment | Cross Border Projects | Shared Functions
    Staffs in Tokyo (Covering 3 countries on demand) Staffs in SF
    Staffs in London
    UK版メルカリ US版メルカリ
    国内版メルカリ
    

    View Slide

50. 50
    Work Globally
    Often trips to oversea branch
    Mattsun in San
    Francisco
    この時まだ入社1週目...
    

    View Slide

51. 51
    Expertise (Member in Tokyo)
    Working with Specific Domains in Every Quarter
    @Hasebe
    : Search Logic
    : Purchase Behaviors
    @Hikaru
    : Growth Strategies
    : Entire User Behaviors
    @Mattsun
    : User Acquisition Strategy
    : Marketing
    @Kotaro
    : Campaign Planning
    : Trend Analysis
    

    View Slide

52. 52
    つまり何が
    言いたいかというと
    

    View Slide

53. 色んなメンバーがいるよ!
    写真：PAKUTASO
    

    View Slide

54. 気になる人
    捕まえて
    話してください
    写真：PAKUTASO
    

    View Slide

55. 55
    メルカリの面白さ What gives uniqueness to BI in Mercari
    

    View Slide

56. 56
    ぶっちゃけ..
    データサイエンティストを楽しく働かせる
    ってめっちゃ難しいと思う
    勝手気儘
    理屈重視
    飽きっぽい
    好奇心ドリブン
    

    View Slide

57. Hasebe
    Tommy (USメルカリ責任者 )
    Iyocchi (JPメルカリ責任者 )
    Mattsun
    しかし、メルカリは...?
    2016年秋 BIチーム×経営陣合宿より
    Me
    

    View Slide

58. 楽しそう！
    

    View Slide

59. ?
    そんな 我儘人種 データサイエンティスト たちが
    何故メルカリでは楽しく働けるのか？ （2017年 弊社調査より）
    

    View Slide

60. “結構” データドリブンです
    ● データに理解が有る組織
    ○ プロデューサとか、凄い数字に頼ってくれる
    ○ 経営陣も数字が大好き
    ● A/BテストでMove Fast!
    ○ 企画はやるかどうかで揉めるよりもA/Bテストで白黒つける
    ○ 数字で判断 : A/Bテストの結果は絶対
    ○ A/Bテストからの学びを次の企画に活かす
    1
    

    View Slide

61. メルカリの会社ブログ
    読んでください
    

    View Slide

62. 2
    あります、面白いデータ
    ● User数多い
    ○ しかもアクセス頻度が多いからデータは膨大
    ● Buy & Sell
    ○ サプライサイド・デマンドサイド両方のデータがあるのは貴重
    ● なるべく行動ログを残すように実装するカルチャー
    

    View Slide

63. 3
    働きやすく かつ
    チャレンジングな組織
    ● 自由 & 柔軟
    ○ 柔軟な勤務体系 | MTG少ない | Slackにいれば場所問わない
    ○ BIチームはみんなあまり自席にいない...
    ● 優秀な人が多い
    ○ コミュニケーションコストが低く、ストレスフリー
    ○ 優秀な人ばかりと働けるのが最大の福利厚生かも
    ● サービスが伸びてる
    ○ 色んなことが起きるけど、それがまた飽きなくて面白い
    ○ 社内の雰囲気もいい
    

    View Slide

64. 海外チャンスも大!
    

    View Slide

65. 65
    つまり何が
    言いたいかというと
    

    View Slide

66. メルカリのBIで働くのは
    凄く楽しい!
    写真：PAKUTASO
    

    View Slide

67. 写真：PAKUTASO
    楽し過ぎてタスクで
    溺れそう....
    

    View Slide

68. 68
    ってことで...
    We're 超 Hiring!
    メルカリ取締役 Yuki Hamada
    (Productチームグローバル担当)
    とりあえずあと
    20-30人くらいBIで
    採用しちゃって
    ※実話です
    

    View Slide

69. 69
    Thank you! フリートークタイムでお話しましょう!
    

    View Slide