Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Workflow engine with go
Search
Tsuji Daishiro
January 25, 2020
Technology
0
1.7k
Workflow engine with go
Tsuji Daishiro
January 25, 2020
Tweet
Share
More Decks by Tsuji Daishiro
See All by Tsuji Daishiro
Starting static analysis with Go
tutuz
0
1.9k
実務で役立つTCPクライアントの作り方
tutuz
6
4.9k
What's new Context in Go1.14
tutuz
2
1.4k
Workflow engine with go #2
tutuz
0
1.1k
Nginx cache pitfalls
tutuz
0
160
Check inline expansion with Go
tutuz
0
2.6k
Parallel-Simulated-Annealing
tutuz
3
4.4k
Other Decks in Technology
See All in Technology
今日から始める技術的負債の解消
leveragestech
3
460
SwiftSyntaxでUIKitとSwiftUIの使用率を完璧に計測できちゃう件について
ldf_tech
0
150
人工衛星開発のための C2A フレームワークとその開発体験
sksat
1
120
dbt-coreで実現するCore DataMartsのデータモデリング〜dbt編〜 / Core DataMarts Modeling with dbt-core
i125
0
180
Introduction to Indistinguishability/Ideal Obfuscation (iO)
sorasuegami
0
110
KMPプロジェクトでマニュアルDIを使う選択
rmakiyama
0
110
AWS Step Functionsのタスク入出力に秩序を与えよう
haku__hime
0
140
カメラ単体で物体の3次元 座標を扱う方法
kenmatsu4
1
190
안드로이드 기술 이력서의 최소 조건
pluu
1
1.2k
Reality is not an End-to-End Prediction Problem: Applied NLP in the Age of Generative AI
inesmontani
PRO
0
230
暴カワでビデオシンセサイザーを導入する技術
yuchi
2
130
データ分析基盤のためにS3を深堀りする~アーキテクチャ設計の考え方のヒントに~
nrinetcom
PRO
1
790
Featured
See All Featured
Typedesign – Prime Four
hannesfritz
39
2.4k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
Happy Clients
brianwarren
97
6.7k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
231
17k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
26
2k
Making the Leap to Tech Lead
cromwellryan
131
8.9k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
250
21k
Making Projects Easy
brettharned
115
5.9k
How to Think Like a Performance Engineer
csswizardry
18
1k
Optimising Largest Contentful Paint
csswizardry
31
2.9k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
504
140k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Transcript
ワークフローエンジンをGoで作る 2020/01/25 Umeda.go 2020 Winter 辻大志郎 @d_tutuz
None
Who are you? • 辻 大志郎(つじ だいしろう) @d_tutuz 渋谷区役所(~2014/9) Future
Architect(2014/10~) • 所属 Technology Innovation Group 競技プログラミング部
ワークフローエンジンとは 以下のようなことを実施するソフトウェア • 定期的なタスクの実行 • タスク間の依存関係を定義でき、順序関係を制御してタスクを実行 • タスクの実行状況/結果を管理
データ分析基盤などでよく用いられる • 定型業務の自動化 ◦ 大量のデータの収集 ◦ データの加工 ◦ データの集計
用語の定義(タスクとフロー) • タスク:処理の単位 • フロー:タスクの集合 タスク フロー データソース データレイク データマート
タスク タスク
既存のワークフローエンジン • たくさんある ◦ airflow ◦ argo ◦ rundeck ◦
cadence ◦ azkaban ◦ JP1 ◦ … • 十分に高機能&汎用的だが、扱いにくかったり... • ワークフローは業務と密に結合することが多い • シンプルなワークフローエンジンを作ってみたかった
Flowerを作った • フロー(Flow)を扱うソフトウェア(er)ということでFlower https://github.com/d-tsuji/flower
アーキテクチャ • Register(タスクの実行登録) • Watcher(タスクの実行監視/制御) • Worker(タスクの実行)
Flowerの特徴 • タスク管理 ◦ タスクの順序をマスタで一括管理 ◦ パラメータなどの埋め込みが可能 ◦ タスクを構成する処理はComponentとしてGoで実装 •
リカバリ/リラン ◦ エラー時にどのタスクでエラーになったかわかる仕組みを提供 ◦ テーブルのレコード更新でリランが可能 • 重複実行制御 • 流量制御
タスクの定義方法 • AirflowではPythonファイルとして処理と実行順序を記述 • タスクはGoのソースで、実行順序はマスタで管理できるようにしたかった タスク定義例 タスク例 タスク定義マスタ
タスク実行管理/制御 • タスクは管理テーブルで永続化 ◦ タスクのロスト、重複実行の制御は最重要な要素の一つ ◦ RDBMSが一番扱いやすい タスク管理テーブル exec_status 0:実行待ち
1:実行中 3:完了
重複実行制御 • 実行待ちタスクの行ロックを取得してから実行中に更新 • 実行中にステータスを更新して、workerにタスクをput • 同時に実行待ちタスクが参照されて二重にタスクが実行されることを防止 次に実行するタスクはこ のレコード 完了
実行待
流量制御 • 「実行中+実行待ちのタスク≦同時実行数」の場合はworkerにputしない 完了 実行中 実行中 実行待 実行待 例)同時実行数が2の場合 同時実行数を超えるので
zzzzzのフローのタスクは実行しない
落ち葉拾い • タスク監視のポーリング ◦ キュー(SQSとか)をはさめばイベント通知にできる • スケジューラ • 管理コンソール ◦
ほしいけど作っていない