SpinAppを支えるデータ収集基盤

Transcript

1. SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)

2. - フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM

   - Twitter: @munaita_ 自己紹介

3. 突然ですが 【宣伝】

4. DATA AD アプリのマーケティングツール

5. 便利そう って思った方、 懇親会で話しかけてください

6. DATA AD 本日はSpinAppのデータ収集基盤の紹介

7. - AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から

8. 旧システムアーキテクチャ(AWS) 【しんどいP：LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP：Reashift】 データ増でコストUP 集計追いつかない

9. GCPで作り直した

10. - GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下

    - ダウン時の影響読みきれず なぜGCP?

11. アーキテクチャ紹介

12. GCPのアーキテクチャ

13. うれしいこと

14. - コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現

15. たいへんなこと

16. - フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue

    - BigQuery - なんとなくAWSに比べて障害多い気がする

17. 話しきれないけど データ収集って 結構大変ですよね

18. にご相談ください

19. ありがとうございました