Introduction of Mercari BI team and Case Studies of Analytics for Service in US

by Hikaru Kashida

Slide 1

Slide 1 text

Drink Meet up with BI Team in Mercari ! 2017.08.21 Drink meetup | Hikaru Kashida

Slide 2

Slide 2 text

2 「Drink Meetup with Mercari」に参加いただきありがとうございます

Slide 3

Slide 3 text

3 メルカリの分析チーム (=BIチーム) について知っていただくための催し

Slide 4

Slide 4 text

4 構成要素：プレゼン + フリートーク + お酒 + ご飯

Slide 5

Slide 5 text

5 まずはじめに At a Glance

Slide 6

Slide 6 text

6 メルカリ?

Slide 7

Slide 7 text

7 メルカリとは Our Company ● フリマアプリ「メルカリ」を運営 ● 日本・アメリカ・イギリスでサービスを展開 ○ 社員数：約500人 ○ 拠点 : Tokyo / San Francisco / London / Portland...

Slide 8

Slide 8 text

8 日々、メルカリ or (mercari) の成長のために頑張ってる会社です

Slide 9

Slide 9 text

9 We Are BI Team

Slide 10

Slide 10 text

10 BI Teamとは Who we are ● Business Intelligence ● 平たく言うと「データ分析チーム」 ● メルカリにおける “データ分析” と “サービス戦略” を担う

Slide 11

Slide 11 text

Slide 12

Slide 12 text

12 BI Groupとは Who we are Business Intelligence データ BIチーム Machine Learning 企画チーム MLチームメルカリのカスタマー企画・UI などアルゴリズム

Slide 13

Slide 13 text

13 BIチームがやること What we are responsible for

Slide 14

Slide 14 text

14 何をしているのか

Slide 15

Slide 15 text

15 BIチームがやっていること ● メイン ○ プロダクトの改善・成長戦略のための分析 ○ 主に日本と US のメルカリに関わる ○ たまにUK も

Slide 16

Slide 16 text

16 BIチームのお仕事 What we are responsible for ➡プロダクトのマクロからミクロまで関わる Growth Strategy ¥ ~1,000,000,000 Marketing Campaign / CRM - Repeat Rate - Buy/Sell Conversion - Cohort Daily Trend User LTV / RFM User Addiction Micro Behavior - Funnel - Tap Rate - Feature Usage - Search Words 超ざっくりの数字感 ※あくまで桁感の話です # of action ¥ ~100,000,000 ¥ ~10,000 %

Slide 17

Slide 17 text

17 BIチームがやっていること ● メイン ○ プロダクトの改善・成長戦略のための分析 ○ 主に日本と US のメルカリに関わる ○ たまにUK も ● それ以外（色々ある） ○ PR ○ Customer Support ○ IR / Finance

Slide 18

Slide 18 text

やることいっぱいある写真：PAKUTASO

Slide 19

Slide 19 text

19 実際にどういう分析をしているの?

Slide 20

Slide 20 text

20 ちょっとした実例を Case Studies in Mercari US

Slide 21

Slide 21 text

21 BI のおしごと “4 Steps”

Slide 22

Slide 22 text

22 Step1. 目標を見極める Step2. 改善の方針を示す Step3. 改善施策の立案支援 Step4. 指標の変化をトラック経営レイヤーと企画メンバーとみんなで

Slide 23

Slide 23 text

23 これはある会社の US事業のおはなし

Slide 24

Slide 24 text

24 BI のおしごと Step1:目標を見極める

Slide 25

Slide 25 text

25 時間の都合と大人の事情で詳しく話せません

Slide 26

Slide 26 text

26 少しだけお話すると.... 経営指標を変更規模 ⇢ 質

Slide 27

Slide 27 text

27 もう少しだけお話すると.... 経営指標を変更質 = リピート率

Slide 28

Slide 28 text

28 さらにもう少しだけお話すると.... 経営指標を変更 BIチーム x 経営陣で缶詰合宿

Slide 29

Slide 29 text

BI × 経営メンバーで缶詰合宿をしたよ取締役取締役プロダクト担当執行役員 (のPC)

Slide 30

Slide 30 text

30 BI のおしごと Step2:改善方針を示す ※ここからはちゃんと少し詳しめに

Slide 31

Slide 31 text

Step2. そのための施策の大方針を作る 31 Step1.目標「リピート率を上げる」

Slide 32

Slide 32 text

Step2. 改善方針を示す方針①. リピート率には検索が大事 32 弱い強い ● 継続率に強い影響を与えるユーザ行動は検索 = ちゃんと商品をさがしてくれるか ● メルカリUSでは検索行動が十分に強くなっていない BI分析

Slide 33

Slide 33 text

Step3. 改善の施策づくりを分析で支援する 33 Step2.改善方針「検索をなんとかする」

Slide 34

Slide 34 text

34 Step3. 具体的な改善プランを支援する検索行動を促すようなUIに変更する方針に基づき検索を目立たせる After Before (日本と同じ) スワイプでカテゴリ切り替え ⬇ USでは利用率低なので廃止する検索導線を重視 BI分析

Slide 35

Slide 35 text

Step3. 改善の施策づくりを分析で支検索利用率 up⬆1.2x 援する 35 BI のおしごと Step4:指標を測定検索利用up⬆1.2x グローバルメニューより上部の検索バーの方が動線としては強い

Slide 36

Slide 36 text

36 ● リピートしないユーザは、ほとんどが初起動から30分以内にAppからいなくなる ● かなり浅いユーザ体験に基づいて判断をしている BI分析 Step2. 改善方針を示す方針2. 浅いユーザ体験をより重点的に改善 ※リピートしなかったユーザの最終アクセスタイミングの分析

Slide 37

Slide 37 text

Step3. 改善の施策づくりを分析で支援する 37 Step2.改善方針「深い体験より浅い箇所のUX に注力」登録ザッピング検索商品閲覧検討直近の重点購入受取りヘビー利用

Slide 38

Slide 38 text

Step3. 改善施策を支援する浅めのUX中心に >30のA/Bテストを設計・分析チュートリアル変更一覧画面で長方形対応検索時にカテゴリ補完商品画面UI変更・・・・

Slide 39

Slide 39 text

Step3. 改善の施策づくりを分析で支援する 39 Step4.指標測定 A/BテストのPDCAを超高速でまわす必要 ● 膨大な数のA/Bテスト ● Pとの簡単な共有体制が必須 ● 何が効いて何が効かなかったか一覧性が欲しい

Slide 40

Slide 40 text

A/BテストのKPIの標準化と分析の半自動化でSpeed-up BigQuery Google Sheet データの自動連携/更新 Data Scientist Producer ● Producerとは共有Google Sheetでコミュニケーション ● PlannerがA/Bテストを登録すれば結果は自動更新 ● 都度、結果をsheetを見てディスカッション Google App Script

Slide 41

Slide 41 text

Step3. 改善の施策づくりを分析で支援する 41 ほかにも色々... 分析⇢施策⇢分析のプロセスで沢山の知見を発見いくつかの施策方針

Slide 42

Slide 42 text

42 こんな感じで色んな手を打ちつつ

Slide 43

Slide 43 text

Step3. 改善の施策づくりを分析で支援する 43 Step4.指標測定 KPIダッシュボードを毎日みんなで観察 ● 全プランナーが日々注視 ● 気になる動きがあればすぐに分析で深掘り

Slide 44

Slide 44 text

44 絶え間ない機能のA/Bテストの嵐 up

Slide 45

Slide 45 text

YES!

Slide 46

Slide 46 text

46 つまり何が言いたいかというと

Slide 47

Slide 47 text

色んな場面で分析を活かしている! 写真：PAKUTASO

Slide 48

Slide 48 text

48 どんなチームなのか Talents in BI

Slide 49

Slide 49 text

London Tokyo San Francisco 2 5 2

Slide 50

Slide 50 text

50 東京オフィスのメンバー (５人) 日本のメルカリ / USのメルカリに主に関わる Sho Nonaka : Growth : User Behaviors Hikaru Kashida : Growth Strategies : KPI designs Shin Matsuda : User Acquisition Strategy : Marketing Kotaro Tanaka : Campaign Planning : Trend Analysis Manabu Hasebe (本日夏休み)

Slide 51

Slide 51 text

51 このあと是非お話しましょう

Slide 52

Slide 52 text

52 あと、多分皆さんが興味ありそうなこと

Slide 53

Slide 53 text

53 どんなツールを使って分析しているの?

Slide 54

Slide 54 text

54 ① 会社の技術ブログに書いたんで読んで下さい ② このあとのフリートークで中の人たちに聞いてください

Slide 55

Slide 55 text

よければ読んで下さい

Slide 56

Slide 56 text

56 メルカリの面白さ What gives uniqueness to BI in Mercari

Slide 57

Slide 57 text

57 ぶっちゃけ... データサイエンティストを楽しく働かせるってめっちゃ難しいと思う

Slide 58

Slide 58 text

58 勝手気儘データサイエンティストといえば

Slide 59

Slide 59 text

59 飽きっぽいデータサイエンティストといえば

Slide 60

Slide 60 text

60 好奇心重視データサイエンティストといえば

Slide 61

Slide 61 text

61 理屈っぽいデータサイエンティストといえば

Slide 62

Slide 62 text

62 ぶっちゃけ... データサイエンティストを楽しく働かせるってめっちゃ難しいと思う

Slide 63

Slide 63 text

Hasebe Tommy (USメルカリ責任者 ) Iyocchi (JPメルカリ責任者 ) Mattsun しかし、メルカリは...? 2016年秋 BIチーム×経営陣合宿より Me

Slide 64

Slide 64 text

楽しそう！ {"JoyLikelihood" : "very_likely"}

Slide 65

Slide 65 text

? そんな我儘人種データサイエンティストたちが何故メルカリでは楽しく働けるのか？（2017年弊社調査より）

Slide 66

Slide 66 text

66 1. “結構” データドリブンなカルチャー ● データに理解が有る組織 ○ プロデューサとか、凄い数字に頼ってくれる ○ 経営陣も数字が大好き ● A/BテストでMove Fast ○ 企画はやるかどうかで揉めるよりも A/Bテストで白黒つける ○ A/Bテストからの学びを次の企画に活かす

Slide 67

Slide 67 text

67 2. データが面白い ● User数多い ● Buy side & Sell side ○ サプライサイド・デマンドサイド両方のデータがあるのは貴重 ● 行動ログを残すように実装するカルチャー

Slide 68

Slide 68 text

68 3. 良好な働く環境 ● 自由 & 柔軟 ○ コアタイム12時-17時 / MTG少ない ○ Slackにいれば場所問わない / BIチームはみんなあまり自席にいない ... ● 優秀な人が多い ○ コミュニケーションコストが低く、ストレスフリー ○ 優秀な人ばかりと働けるのが最大の福利厚生かも

Slide 69

Slide 69 text

69 Mattsun in San Francisco この時まだ入社1週目... 4. 海外チャンスもあるよ

Slide 70

Slide 70 text

70 つまり何が言いたいかというと

Slide 71

Slide 71 text

メルカリのBIで働くのは凄く楽しい! 写真：PAKUTASO

Slide 72

Slide 72 text

写真：PAKUTASO 楽し過ぎてタスクで溺れそう....

Slide 73

Slide 73 text

73 We’re 超 Hiring! メルカリ取締役 Yuki Hamada (Productチームグローバル担当) とりあえずあと 20-30人くらいBIで採用しちゃって ※実話です