SpinAppを支えるデータ収集基盤

by munaita_

Slide 1

Slide 1 text

SpinAppを支えるデータ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤鈴木省吾(@munaita_)

Slide 2

Slide 2 text

- フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM - Twitter: @munaita_ 自己紹介

Slide 3

Slide 3 text

突然ですが【宣伝】

Slide 4

Slide 4 text

DATA AD アプリのマーケティングツール

Slide 5

Slide 5 text

便利そうって思った方、懇親会で話しかけてください

Slide 6

Slide 6 text

DATA AD 本日はSpinAppのデータ収集基盤の紹介

Slide 7

Slide 7 text

- AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていったまずは旧システムの紹介から

Slide 8

Slide 8 text

旧システムアーキテクチャ(AWS) 【しんどいP：LB直下のEC2】瞬間的ピークのために待ち受け -> コストUP 【しんどいP：Reashift】データ増でコストUP 集計追いつかない

Slide 9

Slide 9 text

GCPで作り直した

Slide 10

Slide 10 text

- GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下 - ダウン時の影響読みきれずなぜGCP?

Slide 11

Slide 11 text

アーキテクチャ紹介

Slide 12

Slide 12 text

GCPのアーキテクチャ

Slide 13

Slide 13 text

うれしいこと

Slide 14

Slide 14 text

- コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現

Slide 15

Slide 15 text

たいへんなこと

Slide 16

Slide 16 text

- フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue - BigQuery - なんとなくAWSに比べて障害多い気がする