SpinAppを支えるデータ収集基盤

2017/08/17の【一休 × JapanTaxi】サービスを支えるデータ分析基盤でのLT資料です

Transcript

1. SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)
2. - フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM - Twitter: @munaita_ 自己紹介
3. 突然ですが 【宣伝】
4. DATA AD アプリのマーケティングツール
5. 便利そう って思った方、 懇親会で話しかけてください
6. DATA AD 本日はSpinAppのデータ収集基盤の紹介
7. - AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から
8. 旧システムアーキテクチャ(AWS) 【しんどいP：LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP：Reashift】 データ増でコストUP 集計追いつかない
9. GCPで作り直した
10. - GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下 - ダウン時の影響読みきれず なぜGCP?
11. アーキテクチャ紹介
12. GCPのアーキテクチャ
13. うれしいこと
14. - コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現
15. たいへんなこと
16. - フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue - BigQuery - なんとなくAWSに比べて障害多い気がする
17. 話しきれないけど データ収集って 結構大変ですよね
18. にご相談ください
19. ありがとうございました