SpinAppを支えるデータ収集基盤

2b2add9e3015b44a405350d778043424?s=47 munaita_
August 17, 2017

 SpinAppを支えるデータ収集基盤

2017/08/17の【一休 × JapanTaxi】サービスを支えるデータ分析基盤でのLT資料です

2b2add9e3015b44a405350d778043424?s=128

munaita_

August 17, 2017
Tweet

Transcript

  1. SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)

  2. - フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM

    - Twitter: @munaita_ 自己紹介
  3. 突然ですが 【宣伝】

  4. DATA AD アプリのマーケティングツール

  5. 便利そう って思った方、 懇親会で話しかけてください

  6. DATA AD 本日はSpinAppのデータ収集基盤の紹介

  7. - AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から

  8. 旧システムアーキテクチャ(AWS) 【しんどいP:LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP:Reashift】 データ増でコストUP 集計追いつかない

  9. GCPで作り直した

  10. - GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下

    - ダウン時の影響読みきれず なぜGCP?
  11. アーキテクチャ紹介

  12. GCPのアーキテクチャ

  13. うれしいこと

  14. - コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現

  15. たいへんなこと

  16. - フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue

    - BigQuery - なんとなくAWSに比べて障害多い気がする
  17. 話しきれないけど データ収集って 結構大変ですよね

  18. にご相談ください

  19. ありがとうございました