Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SpinAppを支えるデータ収集基盤

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →
Avatar for munaita_ munaita_
August 17, 2017
Programming
1
880

 SpinAppを支えるデータ収集基盤

2017/08/17の【一休 × JapanTaxi】サービスを支えるデータ分析基盤でのLT資料です

Avatar for munaita_

munaita_

August 17, 2017
Tweet

More Decks by munaita_

See All by munaita_
GO/GAE + Pub/Subで 非同期タスクシステム作った
Avatar for munaita_ munaita_
0
1k
Tensorflowで"お姉さん"なのか"おばさん"なのかはっきりさせる
Avatar for munaita_ munaita_
1
900
請求書から見るAWSとGCPの比較.pdf
Avatar for munaita_ munaita_
0
960

Other Decks in Programming

See All in Programming
CSC307 Lecture 04
Avatar for Javier Gonzalez-Sanchez javiergs
PRO
0
650
Data-Centric Kaggle
Avatar for ねぼすけAI isax1015
2
760
Automatic Grammar Agreementと Markdown Extended Attributes
について
Avatar for Kishikawa Katsumi kishikawakatsumi
0
180
責任感のあるCloudWatchアラームを設計しよう
Avatar for アキキー akihisaikeda
3
160
フルサイクルエンジニアリングをAI Agentで全自動化したい 〜構想と現在地〜
Avatar for Kaito Minatoya kamina_zzz
0
400
高速開発のためのコード整理術
Avatar for sutetotanuki sutetotanuki
1
380
AI Agent の開発と運用を支える Durable Execution #AgentsInProd
Avatar for izumin5210 izumin5210
7
2.3k
CSC307 Lecture 08
Avatar for Javier Gonzalez-Sanchez javiergs
PRO
0
660
AI Agent Tool のためのバックエンドアーキテクチャを考える #encraft
Avatar for izumin5210 izumin5210
6
1.8k
Vibe Coding - AI 驅動的軟體開發
Avatar for Micky Li mickyp100
0
170
MDN Web Docs に日本語翻訳でコントリビュート
Avatar for uutan1108 ohmori_yusuke
0
640
Smart Handoff/Pickup ガイド - Claude Code セッション管理
Avatar for rasshii yukiigarashi
0
120

Featured

See All Featured
Getting science done with accelerated Python computing platforms
Avatar for Jacob Tomlinson jacobtomlinson
2
110
Lightning Talk: Beautiful Slides for Beginners
Avatar for Ines Montani inesmontani
PRO
1
430
Darren the Foodie - Storyboard
Avatar for Kevinho.art khoart
PRO
2
2.3k
The Hidden Cost of Media on the Web [PixelPalooza 2025]
Avatar for Tammy Everts tammyeverts
2
170
The innovator’s Mindset - 
Leading Through an Era of Exponential Change - McGill University 2025
Avatar for Jean-Marc De Jonghe jdejongh
PRO
1
88
The untapped power of vector embeddings
Avatar for Frank van Dijk frankvandijk
1
1.6k
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
Avatar for Ines Montani inesmontani
PRO
3
2k
Google's AI Overviews - The New Search
Avatar for Barry Adams badams
0
900
Leadership Guide Workshop - DevTernity 2021
Avatar for David Neal reverentgeek
1
200
Paper Plane (Part 1)
Avatar for Katie Cordina Lindsey katiecoart
PRO
0
4k
How to make the Groovebox
Avatar for あそなす asonas
2
1.9k
Claude Code どこまでも/ Claude Code Everywhere
Avatar for nwiizo nwiizo
61
52k

Transcript

  1. SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)

  2. - フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM

    - Twitter: @munaita_ 自己紹介

  3. 突然ですが 【宣伝】

  4. DATA AD アプリのマーケティングツール

  5. 便利そう って思った方、 懇親会で話しかけてください

  6. DATA AD 本日はSpinAppのデータ収集基盤の紹介

  7. - AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から

  8. 旧システムアーキテクチャ(AWS) 【しんどいP：LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP：Reashift】 データ増でコストUP 集計追いつかない

  9. GCPで作り直した

  10. - GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下

    - ダウン時の影響読みきれず なぜGCP?

  11. アーキテクチャ紹介

  12. GCPのアーキテクチャ

  13. うれしいこと

  14. - コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現

  15. たいへんなこと

  16. - フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue

    - BigQuery - なんとなくAWSに比べて障害多い気がする

  17. 話しきれないけど データ収集って 結構大変ですよね

  18. にご相談ください

  19. ありがとうございました