Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GO/GAE + Pub/Subで 非同期タスクシステム作った
Search
munaita_
October 24, 2017
0
880
GO/GAE + Pub/Subで 非同期タスクシステム作った
munaita_
October 24, 2017
Tweet
Share
More Decks by munaita_
See All by munaita_
SpinAppを支えるデータ収集基盤
munaita_
1
810
Tensorflowで"お姉さん"なのか"おばさん"なのかはっきりさせる
munaita_
1
780
請求書から見るAWSとGCPの比較.pdf
munaita_
0
710
Featured
See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
58
14k
Done Done
chrislema
178
15k
The Pragmatic Product Professional
lauravandoore
24
5.7k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
19
1.6k
How to name files
jennybc
62
92k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
124
32k
A Philosophy of Restraint
colly
195
15k
Side Projects
sachag
451
41k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
67
38k
Writing Fast Ruby
sferik
619
59k
Why Our Code Smells
bkeepers
PRO
330
56k
Fashionably flexible responsive web design (full day workshop)
malarkey
397
65k
Transcript
GO/GAE + Pub/Subで 非同期タスクシステム作った GoビギナーズLT大会 2017/10/24 Suzuki Shogo(@munaita_)
自己紹介: 鈴木省吾 - 所属: フリーランス - 仕事: アドテク(サーバーサイド、インフラ) - Ruby,
GCP - 渋谷 -> 市ヶ谷 - 特技: 筋トレ、重いクエリは筋力で通す - twitter, qiita: @munaita_ - GOとの出会い: ログ収集基盤 - 保守メンテでちょっと触る程度
※なんだかGCPの話が多くなってしまいました。 申し訳ありません。
GAE Task Queue GAE request GCS Dataflow Pub Sub GAE
Big Query send request 動機: ログ収集基盤をざっくりと New!! GAE Pub Sub request Dataflow GAE Big Query send request こう変えたい
実現したいこと - 突然のピークに耐えきる - 5000qpsくらい - メッセージをPublishし、複数のサブスク リプションで受け取る - 非同期タスク成功したらキューから消す
- タスク失敗したら再実行
作ったもの GAE Pub/ Sub GAE GAE Slack msg1 msg2 request
CH2 CH1
デモ https://github.com/shogo807/go-gae-pubsub
苦労したこと - パッケージ管理 - Vendor管理(Dep, Glide)でGAEデプロイコケる - 同じパッケージを複数ファイル分割にした場合 - 独自パッケージを作った場合
- Slack投げすぎて止まる - ポインタの使い所なれない - GAEでのロギングなれない - 5000qpsの負荷試験できず(Mac + ABの限界)
今後やりたいこと - Pub/Sub -> Dataflow -> BQのストリーミング処理 - サービスでテスト運用 -
体脂肪率を落とす