メルカリ社が運用する trocco & BigQuery のデータ分析基盤と経済性 #GoogleCloudDay / 20210526

2021年5月26日、Google社主催のイベント「Google Cloud Day: Digital ’21」にて、【メルカリ社が運営する trocco®️ x BigQueryのデータ分析基盤と経済性】というテーマで弊社COO新井が登壇いたしました。ゲストにはメルカリ社の横山氏（Data Management Team Technical Product Manager）をお招きし、データ分析基盤の構築事例とその経済効果について紹介しました。
登壇時の資料を公開します。

●trocco製品ページ
https://trocco.io/lp/index.html?utm_medium=event&utm_source=google_cloud_day&utm_campaign=2021_speakerdeck

●株式会社primeNumber
https://primenumber.co.jp/?utm_medium=event&utm_source=google_cloud_day&utm_campaign=2021_speakerdeck

Transcript

1. メルカリ社　　が運営する trocco® x BigQuery の データ分析基盤と経済性 新井 崇志 株式会社 primeNumber 執行役員 COO 兼 カスタマーサクセス本部 本部長
2. 田邊 雄樹 株式会社 primeNumber 代表取締役CEO “ あらゆるデータを、 ビジネスの力に変える。” primeNumber は、データテクノロジーカンパニー。 あらゆるデータが爆発的に増えていく時代に、誰もがすばやく、 簡単にデータを使える環境を構築し、データ活用までのプロセスを最適化。 高度なテクノロジーと独自のアイデアで、世界中のビジネスを支援します。
3. 事業概要 01. SaaS マネージドETL & ワークフロー サービス「trocco®」の開発・運営 02. PaaS 汎用型データエンジニアリング PaaS 「systemN ™」の開発・運営 活用プロジェクトリニアローンチ支援 03. Solution 自社および関連外部プロダクトとの 連携による各種環境構築から周辺の アプリケーション開発を含む データ活用伴走支援サービス
4. • メルカリ社が運営する trocco® x BigQueryの データ分析基盤と経済性 （メルカリ・横山様） • trocco® の紹介（primeNumber・新井） アジェンダ
5. メルカリ社　　が運営する trocco® x BigQueryの データ分析基盤と経済性 横山 翔 株式会社メルカリ Data Management Team・Technical Product Manager
6. 株式会社メルカリ 設立 事業内容 代表者 所在地 拠点 2013年2月1日 スマートフォン向けフリマアプリ 「メルカリ」の企画・開発・運営 山田進太郎 〒106-6118 東京都港区六本木6-10-1 六本木ヒルズ森タワー 東京、仙台、福岡 メルカリグループは、株式会社メルカリと、その連結子会社で構成されています。 設立 事業内容 代表者 所在地 2017年11月20日 金融関連の新規事業 青柳直樹 〒106-6143 東京都港区六本木 6-10-1 六本木ヒルズ森タワー 設立 事業内容 代表者 所在地 2014年1月 US版メルカリの企画・開発・運営 John Lagerling 1. Palo Alto, California 2. Portland, Oregon 3. Boston (Cambridge), Massachusetts 株式会社メルペイ Mercari, Inc. （US） 設立 事業内容 代表者 所在地 1991年10月1日 フットボールクラブ運営 小泉文明 茨城県立カシマサッカースタジアム指定管理 茨城県鹿嶋市粟生東山 2887番地 株式会社 鹿島アントラーズ・エフ・ シー 設立 事業内容 代表者 所在地 2021年1月28日 インターネットサービスの企画・開発・運営 石川 佑樹 〒106-6143 東京都港区六本木 6-10-1 六本木ヒルズ森タワー 株式会社ソウゾウ 会社概要
7. •サービス開始日：2013 年 7 月 •対応OS：Android、iOS ※Webブラウザからも利用可能 •利用料：無料 ※売れたときの手数料：販売価格の 10% •対応地域・言語：日本・日本語基本仕様 •累計出品数：20 億品を突破 (2020 年 12 月) それを必要とする人の手に渡り、使用されることに喜びを感じ、ま た購入者は、多彩かつユニークな商品の中から「宝探し」感覚で 掘り出し物を見つける買い物体験を楽しんでいます。さらに「メル カリ」では、物の売買だけではなく、出品者・購入者間のチャットや 「いいね！」機能を通じて、お客さま間のコミュニケーションも活発 に行われています。 フリマアプリ「メルカリ」は、個人が簡単に中古品の売買を行える CtoC マーケットプレイスです。出品者・購入者双方が、安全・安心 な取引を楽しんでいただけるサービスを目指し、「メルカリ」が一時 的に購入代金を預かるエスクロー決済を活用した取引環境の整 備や、簡単かつ手頃な価格の配送オプション、差別化されたユ ニークなお客さま体験を提供しています。多くの出品者は、自分に とって必要でなくなったモノが、 メルカリとは
8. 日本最大のフリマアプリを提供する株式会社メルカリのグ ループ会社である、株式会社メルペイが運営するスマホ決済 サービスです。 使わなくなったものをメルカリで売って得た売上金や、銀行 口座からチャージしたお金、また「メルペイスマート払い」を利 用して、「メルカリ」や全国 182 万か所のメルペイ加盟店での お支払いにご利用いただけます。 メルペイとは
9. 1. メルカリ社のデータ活用における課題と 課題解決に向けた検討 2. trocco® 選定理由と データ分析基盤構成の紹介 3. 経済効果やまとめ アジェンダ
10. メルカリ社の データ活用における課題と 課題解決に向けた検討 01
11. メルカリのデータ活用状況 データ利用規模の例（ BigQuery） • クエリ発行元 ユーザーアカウント → 約 700 〜 800 アカウント • クエリ発行元 システムアカウント → 約 300 〜 400 アカウント • クエリ発行元 Google Cloud プロジェクト → 約 200 〜 300 プロジェクト • クエリ発行数 → 約 500 万本 / 月 • 処理データ量 → 約 500 ~ 800 ペタバイト / 月
12. データ活用における社内の課題 • ビジネス課題 営業インセンティブ設計に改善余地 • 技術課題 データエンジニアの工数不足
13. ビジネス課題 営業インセンティブ設計に改善余地 目的：登録後の利用を促進したい 分析：営業活動と決済実績を紐付けて 　　　計測・評価したい 収集：サイロ化したデータの統合が必要 障壁：データエンジニアの工数不足 あああ 獲得 営業ファネルの前工程を基準にしていた
14. ビジネス課題 営業インセンティブ設計に改善余地 目的：登録後の利用を促進したい 分析：営業活動と決済実績を紐付けて 　　　計測・評価したい 収集：サイロ化したデータの統合が必要 障壁：データエンジニアの工数不足 あああ 獲得 営業ファネルの後工程を基準にしたい！ あああ 利用
15. ビジネス課題 あああ 獲得 セールススタッフ が使う顧客管理ツール （プロダクトの前の世界を扱うデータ） 　　ソフトウェア エンジニアが見るデータベース （プロダクトの中の世界を扱うデータ） データ元が違うから横断分析できなかった ここを 繋ぎたい 営業インセンティブ設計に改善余地 目的：登録後の利用を促進したい 分析：営業活動と決済実績を紐付けて 　　　計測・評価したい 収集：サイロ化したデータの統合が必要 障壁：データエンジニアの工数不足
16. 技術課題　エンジニアの工数不足 採用： 専門性が高く、母集団が少ない 保守： 連携システムの仕様変更に追従 開発： microservices や SaaSごとに実装 運用： 大規模データ転送のチューニング障害対応 ▶▶▶　　　　　　　　必要な作業とプロセス　　　　　　　▶▶▶
17. 課題解決に向けた検討プロセス システム構成の検討 1 内製 or 外部活用か 2 どの外部サービスを使うか 3 判断軸 期待する要件 Quality 内製と同等の品質か Cost 内製の人件費より安価か Delivery 営業部門が扱えるか Scope 多様なSaaSデータに対応可能か trocco® x BigQuery のデータ分析基盤導入へ
18. trocco® 選定理由と データ分析基盤構成の紹介 02
19. 本案件における trocco® 選定理由 #1 判断軸 期待する要件を満たした点 Quality セキュリティ対応、ハンズオンや Q&A サポート Cost GUI で設定でき開発不要 Delivery SaaS ですぐに導入できる、要望した機能開発のスピード *対応データソース拡充（JIRA、GitHub）、GitHub 設定管理機能、Backfilling 機能 Scope 豊富なデータソース 判断軸・期待要件を満たしている
20. 本案件における trocco® 選定理由 #2 Google Cloud の ETL ソリューション 他の ETL ソリューション 　営業部門が 　転送設定を追加できるか ◦ × ・カスタマイズ開発が必要 ・仕様の把握にリテラシーが必要 × 〜 ◦ 　社内稟議を 　通しやすいサポート体制か ◦ △ 〜 ◦ × 〜 ◦ ・日本語のドキュメントがない ・セキュリティチェックの対応が 　充実していない サイロ化の壁を超えて 営業部門が自らデータ活用できるソリューション
21. 課題解決を実現した分析環境 エンジニアが 内製で開発 （大規模データ） データ利用者 自身が設定 External SaaS SaaS Data Pipeline Datawarehouse & BI Batch Data Pipeline Stream Data Pipeline Micorservices BigQuery Data ow Pub/Sub Kubernetes Engine Data ow Cloud SQL Cloud Spanner Service A Ai ow Service B Service C Google Cloud 領域外のデータ連携は従来スクラッチ開発で対応していたが、trocco® によってデータエンジニアの稼働を割かずにデータ連携が可能になった Salesforce Kintone エンジニアが 内製で開発 （大規模データ）
22. BigQuery 課題解決を実現した分析環境
23. BigQuery 課題解決を実現した分析環境
24. BigQuery 課題解決を実現した分析環境
25. Proprietary + Confidential 経済効果とまとめ 03
26. 分析基盤の効果 # 1 ビジネス面 課題 実現した内容 数値的な効果 登録後の利用を促進したい 新 KPI に連動して利用促進施 策を次々と実施 前後比較で 30% の営業 CVR 向上 仮に1人月 100 万円、 スタッフ 100 名であれば 人件費換算 3,000 万円/月 の人員追加に相当 営業活動と決済実績を紐付けて計測・評価し たい 営業 KPI・インセンティブ設計 をアップデート サイロ化したデータの統合が必要 期待以上の QCDS で 統合に成功 データエンジニアの工数不足 技術面を参照
27. 技術面 課題 実現した内容 数値的な効果 採用：専門性が高く、母集団が少ない 追加人員ゼロで達成 エンジニア工数 3 人月 の創出に成功 開発：microservices や SaaS ごとに実装 新規連携時・データ追加時に 営業企画担当が画面操作す るだけ 保守：連携システムの仕様変更に追従 社内工数ゼロ、トラブル発生 時は primeNumber に相談 運用：大規模データ転送のチューニングや障 害対応 同上 分析基盤の効果 # 2
28. 「データをつなぐ」 リードタイム の変化 Before After 営業企画 データ マネジメント データ エンジニア 調査 実装 テスト リリース 相談 依頼 営業企画 1ヶ月 確認 1週間 リードタイム 3/4 を短縮 !! データ活用者自身で データを繋ぐことが可能に。 営業企画 trocco® で 設定 確認 ※複数の部門で連携が必要
29. ETL DWH BI データソース ユースケース Salesforce：加盟店営業 Kintone：加盟店管理 Zendesk：サポート （分析設計中） JIRA：チケット管理 Workday：人事マスタ 営業活動のファネル可視化 エンジニア組織の稼働可視化 QA チームによるバグ分析 社内ツールのアカウント更新、 グループ紐付けを自動化 (設計中) オペレーションスタッフの 運用業務をクイックに立ち上げ ＆成果をトラッキング BigQuery 本分析基盤の今後と trocco® が支援できること
30. 終わりに trocco® と BigQuery の活用で、データドリブン文化 を加速しています
31. ところで trocco® って何？ メルカリ グループ の データドリブン を サポートする trocco® についてご説明します。
32. 数多くのデータソースに対応した ETL データ分析業務に適した ワークフロー BigQuery 他、主要 DWH に対応した ELT 国内最大級の導入実績を有する 日本発の「マネージド ETL & ワークフロー サービス」です
33. 各種データソースから BigQuery の ETL 処理は trocco® で
34. 洗練された UI で、 データ整備や分析環境を「 素早く 簡単に」 実現できます 複雑な ETL パイプラインも、 わかりやすい GUI で定義 エラー要約付きのリアルタイムログで 迅速な対応が可能
35. trocco® が事業に寄与できること 営業管理 • 営業活動評価のための複数ツールデータ統合 • MA × SFA の連携 業務効率化全般 • 自社提供サービスの一部業務自動化 • エンジニア リソースの最適配置 • データ分析環境の運用標準化・安定化 マーケティング領域 • チャネルの貢献度評価 ( LTV、ROAS 等) • マーケティング分析時間の創出 • マーケティングデータの統合 事業分析・グロース • UI / UX 改善につながるユーザ利用分析 • 事業トレンドを把握するスナップ ショット分析
36. オプション機能 （2021年5月時点）最新情報は 製品ページをご確認ください。 https://trocco.io/lp/plan.html Web 行動ログ収集 SDK 多言語プログラミング ETL Git 設定変更管理 エージェント機能 API 機能 Lightプラン Standardプラン Enterpriseプラン データ無料転送枠 データ無料転送枠 データ無料転送枠 必要なデータ転送先/元とデータ転 送量に応じて無料転送枠を決定 500 GB 10 TB （約 5 億レコード） （約 100 億レコード） 随時お見積もり 料金 料金 料金 月額 万円〜 10 月額基本料金 + 使った分だけ従量課金でご利用いただけます 月額 万円 30
37. 本イベント primeNumber スポンサーページからアクセス可能 trocco® x BigQuery についてご興味がある方は 事例資料のダウンロードが可能です
38. Thank you.