Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GO/GAE + Pub/Subで 非同期タスクシステム作った
Search
munaita_
October 24, 2017
0
990
GO/GAE + Pub/Subで 非同期タスクシステム作った
munaita_
October 24, 2017
Tweet
Share
More Decks by munaita_
See All by munaita_
SpinAppを支えるデータ収集基盤
munaita_
1
870
Tensorflowで"お姉さん"なのか"おばさん"なのかはっきりさせる
munaita_
1
890
請求書から見るAWSとGCPの比較.pdf
munaita_
0
920
Featured
See All Featured
Embracing the Ebb and Flow
colly
87
4.8k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
800
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Docker and Python
trallard
45
3.5k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Thoughts on Productivity
jonyablonski
70
4.8k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
Scaling GitHub
holman
463
140k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Transcript
GO/GAE + Pub/Subで 非同期タスクシステム作った GoビギナーズLT大会 2017/10/24 Suzuki Shogo(@munaita_)
自己紹介: 鈴木省吾 - 所属: フリーランス - 仕事: アドテク(サーバーサイド、インフラ) - Ruby,
GCP - 渋谷 -> 市ヶ谷 - 特技: 筋トレ、重いクエリは筋力で通す - twitter, qiita: @munaita_ - GOとの出会い: ログ収集基盤 - 保守メンテでちょっと触る程度
※なんだかGCPの話が多くなってしまいました。 申し訳ありません。
GAE Task Queue GAE request GCS Dataflow Pub Sub GAE
Big Query send request 動機: ログ収集基盤をざっくりと New!! GAE Pub Sub request Dataflow GAE Big Query send request こう変えたい
実現したいこと - 突然のピークに耐えきる - 5000qpsくらい - メッセージをPublishし、複数のサブスク リプションで受け取る - 非同期タスク成功したらキューから消す
- タスク失敗したら再実行
作ったもの GAE Pub/ Sub GAE GAE Slack msg1 msg2 request
CH2 CH1
デモ https://github.com/shogo807/go-gae-pubsub
苦労したこと - パッケージ管理 - Vendor管理(Dep, Glide)でGAEデプロイコケる - 同じパッケージを複数ファイル分割にした場合 - 独自パッケージを作った場合
- Slack投げすぎて止まる - ポインタの使い所なれない - GAEでのロギングなれない - 5000qpsの負荷試験できず(Mac + ABの限界)
今後やりたいこと - Pub/Sub -> Dataflow -> BQのストリーミング処理 - サービスでテスト運用 -
体脂肪率を落とす