Business Intelligence in Mercari - What makes Mercari Data-Driven

Slide 1

Slide 1 text

Business Intelligence in Mercari What makes Mercari DATA-DRIVEN Hikaru Kashida | BI team Project Owner

Slide 2

Slide 2 text

2 まずはじめに At a Glance

Slide 3

Slide 3 text

3 みなさんとデータの関わり方は...? データ分析の人 1 機械学習の人 2 それ以外 3

Slide 4

Slide 4 text

4 データ分析の人 1 機械学習の人それ以外 This Talk (BI)

Slide 5

Slide 5 text

5 データ分析の人機械学習の人 2 それ以外 Next! (ML)

Slide 6

Slide 6 text

6 BIチームがやること What we are responsible for

Slide 7

Slide 7 text

7 データ分析の人 1 機械学習の人それ以外 We are here

Slide 8

Slide 8 text

?何をやるのか? 8

Slide 9

Slide 9 text

9 何をやるのか What we are responsible for ①幅広く色々とやっている Product Growth PR IR/ Finance CS/ Risk JP US UK 注 ) あくまでメインはプロダクトの成長・改善 Business Intelligence Team

Slide 10

Slide 10 text

10 何をやるのか What we are responsible for ②プロダクトはマクロからミクロまで関わる Growth Strategy ¥ ~1,000,000,000 Marketing Campaign / CRM - Repeat Rate - Buy/Sell Conversion - Cohort Daily Trend User LTV / RFM User Addiction Micro Behavior - Funnel - Tap Rate - Feature Usage - Search Words 超ざっくりの数字感 ※あくまで桁感の話です # of action ¥ ~100,000,000 ¥ ~10,000 %

Slide 11

Slide 11 text

11 何をやるのか What we are responsible for ③ Beyond Data - 定性情報も大事にする US在住のユーザのお宅にお邪魔して生活を見せてもらいつつインタビューしたりします

Slide 12

Slide 12 text

12 つまり何が言いたいかというと

Slide 13

Slide 13 text

やることはいっぱいある! 写真：PAKUTASO

Slide 14

Slide 14 text

14 少し具体的な話を Case Studies in Mercari US

Slide 15

Slide 15 text

15 Step1. 目標を見極める Step2. 改善の方針を示す Step3. 改善施策の立案支援 Step4. 指標の変化をトラック経営レイヤーと企画メンバーとみんなで BIのお仕事のステップ How to proceed projects

Slide 16

Slide 16 text

16 これはメルカリの US事業のおはなし ※ 日本のメルカリの話ではありません

Slide 17

Slide 17 text

17 量 :規模 ⇢ 質 :リピート率 Step1. 目標を見極める分析を元に会社の経営目標をシフト（※時間の関係で詳細は割愛）

Slide 18

Slide 18 text

18 何をしたのかざっくり（※時間の関係で詳細は割愛）

Slide 19

Slide 19 text

BI × 経営メンバーで缶詰合宿をしたよ取締役取締役プロダクト担当執行役員 (のPC)

Slide 20

Slide 20 text

その時の話はこちら

Slide 21

Slide 21 text

色んな分析をしつつ、経営陣の意見と合わせて経営指標のシフトを決定した ➡ 重点：質(リピート率) ＞量(規模) とする（※時間の関係で詳細は割愛）

Slide 22

Slide 22 text

22 つまり何が言いたいかというと

Slide 23

Slide 23 text

分析は経営方針をも変えうる! (もちろんBIチームだけの力ではありませんが) 写真：PAKUTASO

Slide 24

Slide 24 text

? では、リピート率を上げるためには? ➡ Step2. 改善方針を分析で示す! 24 （※ここからはちゃんと少し詳しめに）

Slide 25

Slide 25 text

Step2. 改善方針を示す方針1. リピート率には検索が大事 25 弱い強い ● 継続率に強い影響を与えるユーザ行動は検索 = ちゃんと商品をさがしてくれるか ● メルカリUSでは検索行動が十分に強くなっていない BI分析

Slide 26

Slide 26 text

改善方針 : 検索をなんとかしよう! 26 ➡ Step3. 改善施策を分析で支援する!

Slide 27

Slide 27 text

27 Step3. 具体的な改善プランを支援する検索行動を促すようなUIに変更する方針に基づき検索を目立たせる After Before (日本と同じ) 現状のUIにおいてどの機能が使われているかを調査検索導線を重視 BI分析

Slide 28

Slide 28 text

28 検索利用率 up⬆⬆

Slide 29

Slide 29 text

29 ● リピートしないユーザは、ほとんどが初起動からごく短時間で使わなくなる ● 使っている機能を見ても、かなり浅いユーザ体験に基づいて判断をしている BI分析 Step2. 改善方針を示す方針2. 浅いユーザ体験をより重点的に改善 ※リピートしなかったユーザの最終アクセスタイミングの分析短い長い

Slide 30

Slide 30 text

改善方針 : 浅いところのUX >> 深い体験 30 登録ザッピング検索商品閲覧検討購入受取り直近の重点ヘビー利用

Slide 31

Slide 31 text

Step3. 改善施策を支援する浅めのUX中心に >30のA/Bテストを設計・分析チュートリアル変更一覧画面で長方形対応検索時にカテゴリ補完商品画面UI変更・・・・

Slide 32

Slide 32 text

A/BテストのKPIの標準化と分析の半自動化でSpeed-up BigQuery Google Sheet データの自動連携/更新 Data Scientist Producer ● Producerとは共有Google Sheetでコミュニケーション ● PlannerがA/Bテストを登録すれば結果は自動更新 ● 都度、結果をsheetを見てディスカッション Google App Script

Slide 33

Slide 33 text

33 ● 現行の、売り切れ商品も見せる仕様はユーザからは不評（の声も）しかし、売り切れ商品を表示しないテストをするとKPIが下がった ● 他の分析やインタビューと合わせて検証したところ... ● 思った以上にユーザは商品一覧にみえるものからメルカリの世界観を判断しているという結論に Step2. 改善方針を示す方針3. ユーザに商品一覧でアプリの世界観を伝える＞ ①売り切れも表示 ②販売可のみ表示 BI分析売り切れ商品を商品一覧で見せるかどうかのテスト

Slide 34

Slide 34 text

Step3. 改善施策を支援する表示アイテムで世界観を伝える施策を多く実行 ● 何を見せるかをいろいろと試行錯誤 ○ 売り切れ商品の表示・非表示のテスト ○ 商品一覧のなかに、オススメカテゴリの枠を挿入するテスト ○ Used商品中心の世界観を伝える商品を多く見せる ○ などなど... (他にもたくさんありますが全部は言えません

Slide 35

Slide 35 text

35 絶え間ない機能のA/Bテストの嵐 Step4. 目標としたKPIの経過を見る（実際は毎日に見てます） up

Slide 36

Slide 36 text

YES!

Slide 37

Slide 37 text

37 つまり何が言いたいかというと

Slide 38

Slide 38 text

色んな場面で分析を活かしている! 写真：PAKUTASO

Slide 39

Slide 39 text

39 その他気になりそうな話 Others

Slide 40

Slide 40 text

?機械学習とは関わりがない? 40

Slide 41

Slide 41 text

んなことない

Slide 42

Slide 42 text

場合によってはMLも使うよ ● 知見発見のための機械学習 ⬅ これとか ○ ルールの発見 ○ ユーザの分類 ● ルールベースでのユーザリストの作成 ⬅ これとか ○ ワンショット（実験的）な施策のターゲットとか ● プロダクトに反映される機械学習 ○ これは別に専用のチームがいる ○ このあと話してくれます

Slide 43

Slide 43 text

?何を使って分析してるの? 43

Slide 44

Slide 44 text

よければ読んで下さい

Slide 45

Slide 45 text

Three Key Tools 1 2 3 ● データの抽出 ● 集計/分析 ● 複雑な分析 ● 機械学習 ● ビジュアライズ ● KPIダッシュボード

Slide 46

Slide 46 text

46 どんなチームなのか Talents in BI

Slide 47

Slide 47 text

London Tokyo San Francisco 2 5 2

Slide 48

Slide 48 text

48 Our Team Worldwide 9 HCs Tokyo:5 + SF:2 + London:2 @Jarlath @Alex @Hikaru (Team Lead) @Mattsun @Shu @Yu @Kotaro @Sho @Hasebe

Slide 49

Slide 49 text

49 Our Team Flexible Assignment | Cross Border Projects | Shared Functions Staffs in Tokyo (Covering 3 countries on demand) Staffs in SF Staffs in London UK版メルカリ US版メルカリ国内版メルカリ

Slide 50

Slide 50 text

50 Work Globally Often trips to oversea branch Mattsun in San Francisco この時まだ入社1週目...

Slide 51

Slide 51 text

51 Expertise (Member in Tokyo) Working with Specific Domains in Every Quarter @Hasebe : Search Logic : Purchase Behaviors @Hikaru : Growth Strategies : Entire User Behaviors @Mattsun : User Acquisition Strategy : Marketing @Kotaro : Campaign Planning : Trend Analysis

Slide 52

Slide 52 text

52 つまり何が言いたいかというと

Slide 53

Slide 53 text

色んなメンバーがいるよ! 写真：PAKUTASO

Slide 54

Slide 54 text

気になる人捕まえて話してください写真：PAKUTASO

Slide 55

Slide 55 text

55 メルカリの面白さ What gives uniqueness to BI in Mercari

Slide 56

Slide 56 text

56 ぶっちゃけ.. データサイエンティストを楽しく働かせるってめっちゃ難しいと思う勝手気儘理屈重視飽きっぽい好奇心ドリブン

Slide 57

Slide 57 text

Hasebe Tommy (USメルカリ責任者 ) Iyocchi (JPメルカリ責任者 ) Mattsun しかし、メルカリは...? 2016年秋 BIチーム×経営陣合宿より Me

Slide 58

Slide 58 text

楽しそう！

Slide 59

Slide 59 text

? そんな我儘人種データサイエンティストたちが何故メルカリでは楽しく働けるのか？（2017年弊社調査より）

Slide 60

Slide 60 text

“結構” データドリブンです ● データに理解が有る組織 ○ プロデューサとか、凄い数字に頼ってくれる ○ 経営陣も数字が大好き ● A/BテストでMove Fast! ○ 企画はやるかどうかで揉めるよりもA/Bテストで白黒つける ○ 数字で判断 : A/Bテストの結果は絶対 ○ A/Bテストからの学びを次の企画に活かす 1

Slide 61

Slide 61 text

メルカリの会社ブログ読んでください

Slide 62

Slide 62 text

2 あります、面白いデータ ● User数多い ○ しかもアクセス頻度が多いからデータは膨大 ● Buy & Sell ○ サプライサイド・デマンドサイド両方のデータがあるのは貴重 ● なるべく行動ログを残すように実装するカルチャー

Slide 63

Slide 63 text

3 働きやすくかつチャレンジングな組織 ● 自由 & 柔軟 ○ 柔軟な勤務体系 | MTG少ない | Slackにいれば場所問わない ○ BIチームはみんなあまり自席にいない... ● 優秀な人が多い ○ コミュニケーションコストが低く、ストレスフリー ○ 優秀な人ばかりと働けるのが最大の福利厚生かも ● サービスが伸びてる ○ 色んなことが起きるけど、それがまた飽きなくて面白い ○ 社内の雰囲気もいい

Slide 64

Slide 64 text

海外チャンスも大!

Slide 65

Slide 65 text

65 つまり何が言いたいかというと

Slide 66

Slide 66 text

メルカリのBIで働くのは凄く楽しい! 写真：PAKUTASO

Slide 67

Slide 67 text

写真：PAKUTASO 楽し過ぎてタスクで溺れそう....

Slide 68

Slide 68 text

68 ってことで... We're 超 Hiring! メルカリ取締役 Yuki Hamada (Productチームグローバル担当) とりあえずあと 20-30人くらいBIで採用しちゃって ※実話です

Slide 69

Slide 69 text

69 Thank you! フリートークタイムでお話しましょう!