Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GO/GAE + Pub/Subで 非同期タスクシステム作った
Search
munaita_
October 24, 2017
0
990
GO/GAE + Pub/Subで 非同期タスクシステム作った
munaita_
October 24, 2017
Tweet
Share
More Decks by munaita_
See All by munaita_
SpinAppを支えるデータ収集基盤
munaita_
1
860
Tensorflowで"お姉さん"なのか"おばさん"なのかはっきりさせる
munaita_
1
890
請求書から見るAWSとGCPの比較.pdf
munaita_
0
920
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
Navigating Team Friction
lara
187
15k
Being A Developer After 40
akosma
90
590k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Speed Design
sergeychernyshev
32
1k
A Modern Web Designer's Workflow
chriscoyier
695
190k
Typedesign – Prime Four
hannesfritz
42
2.7k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
KATA
mclloyd
30
14k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
830
Transcript
GO/GAE + Pub/Subで 非同期タスクシステム作った GoビギナーズLT大会 2017/10/24 Suzuki Shogo(@munaita_)
自己紹介: 鈴木省吾 - 所属: フリーランス - 仕事: アドテク(サーバーサイド、インフラ) - Ruby,
GCP - 渋谷 -> 市ヶ谷 - 特技: 筋トレ、重いクエリは筋力で通す - twitter, qiita: @munaita_ - GOとの出会い: ログ収集基盤 - 保守メンテでちょっと触る程度
※なんだかGCPの話が多くなってしまいました。 申し訳ありません。
GAE Task Queue GAE request GCS Dataflow Pub Sub GAE
Big Query send request 動機: ログ収集基盤をざっくりと New!! GAE Pub Sub request Dataflow GAE Big Query send request こう変えたい
実現したいこと - 突然のピークに耐えきる - 5000qpsくらい - メッセージをPublishし、複数のサブスク リプションで受け取る - 非同期タスク成功したらキューから消す
- タスク失敗したら再実行
作ったもの GAE Pub/ Sub GAE GAE Slack msg1 msg2 request
CH2 CH1
デモ https://github.com/shogo807/go-gae-pubsub
苦労したこと - パッケージ管理 - Vendor管理(Dep, Glide)でGAEデプロイコケる - 同じパッケージを複数ファイル分割にした場合 - 独自パッケージを作った場合
- Slack投げすぎて止まる - ポインタの使い所なれない - GAEでのロギングなれない - 5000qpsの負荷試験できず(Mac + ABの限界)
今後やりたいこと - Pub/Sub -> Dataflow -> BQのストリーミング処理 - サービスでテスト運用 -
体脂肪率を落とす