Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Heroku Container Registry & Runtime + digdagで お...
Search
shunsugai
September 05, 2018
Technology
0
400
Heroku Container Registry & Runtime + digdagで お手軽バッチ処理環境 を作ってみた
Heroku Meetup #22でLTした内容です。
shunsugai
September 05, 2018
Tweet
Share
More Decks by shunsugai
See All by shunsugai
反省 モジュラモノリス タイミーの試行錯誤と現在地
shunsugai
9
7.2k
RailsでModular Monolithを選択された御社に質問したいN個の疑問
shunsugai
5
3.8k
Other Decks in Technology
See All in Technology
ローカルLLMとLINE Botの組み合わせ その2(EVO-X2でgpt-oss-120bを利用) / LINE DC Generative AI Meetup #7
you
PRO
0
120
Introduction to Sansan for Engineers / エンジニア向け会社紹介
sansan33
PRO
5
43k
プロダクトのコードから見るGoによるデザインパターンの実践 #go_night_talk
bengo4com
1
2.7k
RDS の負荷が高い場合に AWS で取りうる具体策 N 連発/a-series-of-specific-countermeasures-available-on-aws-when-rds-is-under-high-load
emiki
7
4.4k
Kubernetes self-healing of your workload
hwchiu
0
300
OSSで50の競合と戦うためにやったこと
yamadashy
3
610
Claude Codeを駆使した初めてのiOSアプリ開発 ~ゼロから3週間でグローバルハッカソンで入賞するまで~
oikon48
10
5.2k
会社を支える Pythonという言語戦略 ~なぜPythonを主要言語にしているのか?~
curekoshimizu
1
160
[Codex Meetup Japan #1] Codex-Powered Mobile Apps Development
korodroid
2
1k
Contract One Engineering Unit 紹介資料
sansan33
PRO
0
8.9k
MCP ✖️ Apps SDKを触ってみた
hisuzuya
0
100
LLMプロダクトの信頼性を上げるには?LLM Observabilityによる、対話型音声AIアプリケーションの安定運用
ivry_presentationmaterials
0
710
Featured
See All Featured
The Art of Programming - Codeland 2020
erikaheidi
56
14k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
630
Building Better People: How to give real-time feedback that sticks.
wjessup
369
20k
Making the Leap to Tech Lead
cromwellryan
135
9.6k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
990
Keith and Marios Guide to Fast Websites
keithpitt
411
23k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
37
2.6k
Transcript
Heroku Container Registry & Runtime + digdagで お手軽バッチ処理環境 を作ってみた 2018-09-05
須貝俊
自己紹介 - 須貝俊 - IESHILというWebサービスでエンジニアやってます。 - 主にRailsアプリケーションの開発を担当。 - Heroku大好き。個人で2011年から利用してます。
僕が使い始めた頃のHeroku
一番右に(権利的に)ヤバいのがいる
今日一番伝えたかったこと 以上。
本題行きます
Heroku上で Docker動かすやつで バッチ処理走らす話
イエシルとは - IESHIL https://www.ieshil.com/ - マンションの査定価格を載せてるカ タログ的なサイト - Ruby on
Rails + Heroku
査定価格、災害リスクなどの住環境データ
新たに販売中の物件を掲載(8/1〜)
この機能の裏側で 頑張っているものが 今日の本題
作ったもの
作ったもの - データ提供元のFTPサーバにアクセスしてデータを取ってくる - それをTreasureDataに放り込む - TD上でIESHILの建物マスターデータと取得した物件データを 名寄せする - 名寄せしてフロント用に整形したデータをJSONL形式でS3に
吐き出す
なぜdigdag + embulkなのか? - TreasureDataを利用しているから - チーム内ですでに実績があるツールだから - ちなみにdigdagはローカルモードです
なぜHerokuなのか?(表向き) - 時間がなかったから。 - バッチ処理環境がないわけではないが、アドホックに立てた Digital Oceanのインスタンスで負債感あり。 - 別途、AWS上にdigdagサーバーを構築する動きがあったが、 今回のリリースには間に合わなそうだった。
- イエシル上の建物マスターデータと、販売物件データを名寄せ する処理に集中したかった。
なぜHerokuなのか?(裏) - Container Registry & Runtimeを本番で使ってみたかったか ら - だいたいのものはHerokuで動かせると思っているから -
Herokuが好きだから
どうやって作るのか - ドキュメントに詳しく書いてあります。 https://devcenter.heroku.com/articles/container-registry-and-runtime - Dockerfile書いてpushするだけ - リリース時はheroku container:releaseする必要あり
どうやって作るのか - Add-ons - Heroku Scheduler : 定期実行に必要 - Papertrail
: ログ収集 - Dead Man’s Snitch : 死活監視 - SendGrid : メール送信
Add-ons 全部無料ですみません
やってみた感想
感想:メリット - 本番相当の環境ですぐに動かせた - リリースが簡単 - 足りないものはAdd-onsでなんとかなる - とにかく楽
感想:デメリット - Heroku SchedulerはDailyだと時間が30分刻みでしか設定で きない - 実行時間が24時間以上になる場合は工夫する必要がある dynoは24時間 + αで再起動するため。
(今回は30分程度で終わる処理なので問題なし)
感想:余談 - 別途AWS上に構築したdigdagサーバーが本番運用されてい るので、今後そちらに移行していく予定。 - ただし傍から見ているとdigdagのサーバーモードはいろいろ 大変そうだなという印象。
おわり