大規模サービス開発におけるデータ運用の傾向と対策

4a7a5e64141c46d7c99955d844c5d9f7?s=47 shoei
September 06, 2019

 大規模サービス開発におけるデータ運用の傾向と対策

4a7a5e64141c46d7c99955d844c5d9f7?s=128

shoei

September 06, 2019
Tweet

Transcript

  1. 6.

    Self Introduction Ishida Shoei (twitter : @_ _shoei_ _) Data

    Analyst | Mgr @ mercari - Cross UX Team - NPS / RR - Registration Rate iOS Engineer @ eversense - Apps for Woman - Family-friendly Apps Data Engineer @ GENIEE - Datawarehouse for Ads (RTB) - ETL(Large Scale/Distributed) - Analytics Platform - Medium-term management plan ・サービス企画・分析からエンジニアリング ・プレイヤーからマネジメントまで
  2. 10.

    ・Google Slide
 ・Wiki
 ・Docs
 ・Slack
 ・etc
 
 粒度・重要度に応じて <物理環境> 分析環境

    思想 : 「生データ全部BQに置いとくからあとはよろしく」 BigQuery Client log Transaction DB 各マイクロサービス ETL Query Data Document ・SpreadSheet
 ・Python
 ・Colaboratory
 ・R
 ・etc
 
 データの加工ツールは個人の自由
 Data Analyst
  3. 11.

    <組織環境> 分析組織の立ち位置 各職能がTeamにアサイン。TeamによってPlanning重視or効果分析重視か、各種重点項目は異なる Engineer Backend / iOS / Android /

    QA 売上あげるTeam Designer Product Manager 出品者増やすTeam Analyst Xさん Aさん Hさん Oさん Yさん Bさん Iさん Pさん Zさん Cさん Jさん Qさん 横断的なUX改善Team
  4. 12.

    <思想> データアナリストのデータに対する考え方 意思決定の目的有りきでデータを活用する 成長戦略 重点項目決定 機能開発 クーポン配信 目的先行型 + Data

    な考え方
 データ先行型な考え方 + Data + Data + Data + Data 「このデータ、何かに活用できないだろうか」 データ処理を頑張る 出口を探して活用
  5. 16.

    大規模サービスのデータ三重苦の出現場所 広いゆえに見落とす 「あれ? その指標xxチームが見てるんじゃな いの?」 お客様の行動・事業進捗の把握 UXプランニング・効果予測 施策の効果分析・Pivot提案 理 想

    苦 現 実 重いゆえに遅い 「セグメント切って分析したいけど集計重 い...」 混沌ゆえに漏れる 「えっログ埋め込まないでリリースしてたっ て?えっ」
  6. 18.

    実施した(ている)こと3つをご紹介 広いゆえに見落とす 「あれ? その指標xxチームが見てるんじゃな いの?」 お客様の行動・事業進捗の把握 UXプランニング・効果予測 施策の効果分析・Pivot提案 理 想

    苦 現 実 重いゆえに遅い 「セグメント切って分析したいけど集計重 い...」 混沌ゆえに漏れる 「えっログ埋め込まないでリリースしてたっ て?えっ」 ① 横断モニタリング ② 誰でも中間テーブル ③ テスト設計FMT
  7. 22.

    KPIが抜け落ちる原因 組織は重点項目毎に切られる ≠ KGIのMECE分解 Engineer Backend / iOS / Android

    / QA 売上あげるTeam Designer Product Manager 出品者増やすTeam Analyst Xさん Aさん Hさん Oさん Yさん Bさん Iさん Pさん Zさん Cさん Jさん Qさん 横断的なUX改善Team え! XX(指標)ってYY(チーム)がみてるんじゃないの!? Aさん
  8. 27.

    ・Google Slide
 ・Wiki
 ・Docs
 ・Slack
 ・etc
 
 粒度・重要度に応じて 誰でも中間テーブル 思想

    : 「SQL書いたら誰でも中間テーブル作れるよ」 BigQuery Client log Transaction DB 各マイクロサービス ETL Query Data Document ・SpreadSheet
 ・Python
 ・Colaboratory
 ・R
 ・etc
 
 データの加工ツールは個人の自由
 Data Analyst 中間テーブル Query Data