Business Intelligence in Mercari - What makes Mercari Data-Driven

Leader of Business Intelligence team in Mercari describes how data scientists work to improve and grow up Mercari in Japan, United States and Great Britain

Transcript

1. Business Intelligence in Mercari What makes Mercari DATA-DRIVEN Hikaru Kashida | BI team Project Owner
2. 2 まずはじめに At a Glance
3. 3 みなさんとデータの関わり方は...? データ 分析の人 1 機械学習 の人 2 それ以外 3
4. 4 データ 分析の人 1 機械学習 の人 それ以外 This Talk (BI)
5. 5 データ 分析の人 機械学習 の人 2 それ以外 Next! (ML)
6. 6 BIチームがやること What we are responsible for
7. 7 データ 分析の人 1 機械学習 の人 それ以外 We are here
8. ?何をやるのか? 8
9. 9 何をやるのか What we are responsible for ①幅広く色々とやっている Product Growth PR IR/ Finance CS/ Risk JP US UK 注 ) あくまでメインはプロダクトの成長・改善 Business Intelligence Team
10. 10 何をやるのか What we are responsible for ②プロダクトはマクロからミクロまで関わる Growth Strategy ¥ ~1,000,000,000 Marketing Campaign / CRM - Repeat Rate - Buy/Sell Conversion - Cohort Daily Trend User LTV / RFM User Addiction Micro Behavior - Funnel - Tap Rate - Feature Usage - Search Words 超ざっくりの数字感 ※あくまで桁感の話です # of action ¥ ~100,000,000 ¥ ~10,000 %
11. 11 何をやるのか What we are responsible for ③ Beyond Data - 定性情報も大事にする US在住のユーザのお宅にお邪魔して 生活を見せてもらいつつインタビューしたりします
12. 12 つまり何が 言いたいかというと
13. やることはいっぱいある! 写真：PAKUTASO
14. 14 少し具体的な話を Case Studies in Mercari US
15. 15 Step1. 目標を見極める Step2. 改善の方針を示す Step3. 改善施策の立案支援 Step4. 指標の変化をトラック 経営レイヤーと 企画メンバーと みんなで BIのお仕事のステップ How to proceed projects
16. 16 これはメルカリの US事業のおはなし ※ 日本のメルカリの話ではありません
17. 17 量 :規模 ⇢ 質 :リピート率 Step1. 目標を見極める 分析を元に会社の経営目標をシフト （※時間の関係で詳細は割愛）
18. 18 何をしたのかざっくり （※時間の関係で詳細は割愛）
19. BI × 経営メンバーで缶詰合宿をしたよ 取締役 取 締 役 プロダクト担当 執行役員 (のPC)
20. その時の話はこちら
21. 色んな分析をしつつ、経営陣の意見と 合わせて経営指標のシフトを決定した ➡ 重点：質(リピート率) ＞ 量(規模) とする （※時間の関係で詳細は割愛）
22. 22 つまり何が 言いたいかというと
23. 分析は経営方針をも 変えうる! (もちろんBIチームだけの力ではありませんが) 写真：PAKUTASO
24. ? では、リピート率を 上げるためには? ➡ Step2. 改善方針 を分析で示す! 24 （※ここからはちゃんと少し詳しめに）
25. Step2. 改善方針を示す 方針1. リピート率には検索が大事 25 弱い 強い • 継続率に強い影響を与える ユーザ行動は検索 = ちゃんと商品をさがしてくれるか • メルカリUSでは検索行動が十 分に強くなっていない BI分析
26. 改善方針 : 検索をなんとかしよう! 26 ➡ Step3. 改善施策 を分析で支援する!
27. 27 Step3. 具体的な改善プランを支援する 検索行動を促すようなUIに変更する 方針に基づき 検索を目立たせる After Before (日本と同じ) 現状のUIにおいて どの機能が使われ ているかを調査 検索導線を重視 BI分 析
28. 28 検索利用率 up⬆⬆
29. 29 • リピートしないユーザは、 ほとんどが初起動からごく短 時間で使わなくなる • 使っている機能を見ても、かな り浅いユーザ体験に 基づいて判断をしている BI分析 Step2. 改善方針を示す 方針2. 浅いユーザ体験をより重点的に改善 ※リピートしなかったユーザの最終アクセスタイミングの分析 短い 長い
30. 改善方針 : 浅いところのUX >> 深い体験 30 登録 ザッピング 検索 商品閲覧 検討 購入 受取り 直近の重点 ヘビー利用
31. Step3. 改善施策を支援する 浅めのUX中心に >30のA/Bテストを設計・分析 チュートリアル変更 一覧画面で長方形対応 検索時にカテゴリ補完 商品画面UI変更 ・・・・
32. A/BテストのKPIの標準化と 分析の半自動化でSpeed-up BigQuery Google Sheet データの 自動連携/更新 Data Scientist Producer • Producerとは共有Google Sheetでコミュニケーション • PlannerがA/Bテストを登録す れば結果は自動更新 • 都度、結果をsheetを見て ディスカッション Google App Script
33. 33 • 現行の、売り切れ商品も見せる仕様は ユーザからは不評（の声も） しかし、売り切れ商品を表示しないテス トをするとKPIが下がった • 他の分析やインタビューと合わせて検 証したところ... • 思った以上にユーザは商品一覧に みえるものからメルカリの世界観を判 断しているという結論に Step2. 改善方針を示す 方針3. ユーザに商品一覧でアプリの世界観を伝える ＞ ①売り切れも表示 ②販売可のみ表示 BI分析 売り切れ商品を商品一覧で見せるかどうかのテスト
34. Step3. 改善施策を支援する 表示アイテムで世界観を伝える施策を多く実行 • 何を見せるかをいろいろと試行錯誤 ◦ 売り切れ商品の表示・非表示のテスト ◦ 商品一覧のなかに、オススメカテゴリの枠を挿入するテスト ◦ Used商品中心の世界観を伝える商品を多く見せる ◦ などなど... (他にもたくさんありますが全部は言えません
35. 35 絶え間ない機能のA/Bテストの嵐 Step4. 目標としたKPIの経過を見る（実際は毎日に見てます） up
36. YES!
37. 37 つまり何が 言いたいかというと
38. 色んな場面で 分析を活かしている! 写真：PAKUTASO
39. 39 その他気になりそうな話 Others
40. ?機械学習とは 関わりがない? 40
41. んなことない
42. 場合によってはMLも使うよ • 知見発見のための機械学習 ⬅ これとか ◦ ルールの発見 ◦ ユーザの分類 • ルールベースでのユーザリストの作成 ⬅ これとか ◦ ワンショット（実験的）な施策のターゲットとか • プロダクトに反映される機械学習 ◦ これは別に専用のチームがいる ◦ このあと話してくれます
43. ?何を使って 分析してるの? 43
44. よければ読んで下さい
45. Three Key Tools 1 2 3 • データの抽出 • 集計/分析 • 複雑な分析 • 機械学習 • ビジュアライズ • KPIダッシュボード
46. 46 どんなチームなのか Talents in BI
47. London Tokyo San Francisco 2 5 2
48. 48 Our Team Worldwide 9 HCs Tokyo:5 + SF:2 + London:2 @Jarlath @Alex @Hikaru (Team Lead) @Mattsun @Shu @Yu @Kotaro @Sho @Hasebe
49. 49 Our Team Flexible Assignment | Cross Border Projects | Shared Functions Staffs in Tokyo (Covering 3 countries on demand) Staffs in SF Staffs in London UK版メルカリ US版メルカリ 国内版メルカリ
50. 50 Work Globally Often trips to oversea branch Mattsun in San Francisco この時まだ入社1週目...
51. 51 Expertise (Member in Tokyo) Working with Specific Domains in Every Quarter @Hasebe : Search Logic : Purchase Behaviors @Hikaru : Growth Strategies : Entire User Behaviors @Mattsun : User Acquisition Strategy : Marketing @Kotaro : Campaign Planning : Trend Analysis
52. 52 つまり何が 言いたいかというと
53. 色んなメンバーがいるよ! 写真：PAKUTASO
54. 気になる人 捕まえて 話してください 写真：PAKUTASO
55. 55 メルカリの面白さ What gives uniqueness to BI in Mercari
56. 56 ぶっちゃけ.. データサイエンティストを楽しく働かせる ってめっちゃ難しいと思う 勝手気儘 理屈重視 飽きっぽい 好奇心ドリブン
57. Hasebe Tommy (USメルカリ責任者 ) Iyocchi (JPメルカリ責任者 ) Mattsun しかし、メルカリは...? 2016年秋 BIチーム×経営陣合宿より Me
58. 楽しそう！
59. ? そんな 我儘人種 データサイエンティスト たちが 何故メルカリでは楽しく働けるのか？ （2017年 弊社調査より）
60. “結構” データドリブンです • データに理解が有る組織 ◦ プロデューサとか、凄い数字に頼ってくれる ◦ 経営陣も数字が大好き • A/BテストでMove Fast! ◦ 企画はやるかどうかで揉めるよりもA/Bテストで白黒つける ◦ 数字で判断 : A/Bテストの結果は絶対 ◦ A/Bテストからの学びを次の企画に活かす 1
61. メルカリの会社ブログ 読んでください
62. 2 あります、面白いデータ • User数多い ◦ しかもアクセス頻度が多いからデータは膨大 • Buy & Sell ◦ サプライサイド・デマンドサイド両方のデータがあるのは貴重 • なるべく行動ログを残すように実装するカルチャー
63. 3 働きやすく かつ チャレンジングな組織 • 自由 & 柔軟 ◦ 柔軟な勤務体系 | MTG少ない | Slackにいれば場所問わない ◦ BIチームはみんなあまり自席にいない... • 優秀な人が多い ◦ コミュニケーションコストが低く、ストレスフリー ◦ 優秀な人ばかりと働けるのが最大の福利厚生かも • サービスが伸びてる ◦ 色んなことが起きるけど、それがまた飽きなくて面白い ◦ 社内の雰囲気もいい
64. 海外チャンスも大!
65. 65 つまり何が 言いたいかというと
66. メルカリのBIで働くのは 凄く楽しい! 写真：PAKUTASO
67. 写真：PAKUTASO 楽し過ぎてタスクで 溺れそう....
68. 68 ってことで... We're 超 Hiring! メルカリ取締役 Yuki Hamada (Productチームグローバル担当) とりあえずあと 20-30人くらいBIで 採用しちゃって ※実話です
69. 69 Thank you! フリートークタイムでお話しましょう!