Workflow engine with go
by
Tsuji Daishiro
Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
ワークフローエンジンをGoで作る 2020/01/25 Umeda.go 2020 Winter 辻大志郎 @d_tutuz
Slide 2
Slide 2 text
No content
Slide 3
Slide 3 text
Who are you? ● 辻 大志郎(つじ だいしろう) @d_tutuz 渋谷区役所(~2014/9) Future Architect(2014/10~) ● 所属 Technology Innovation Group 競技プログラミング部
Slide 4
Slide 4 text
ワークフローエンジンとは 以下のようなことを実施するソフトウェア ● 定期的なタスクの実行 ● タスク間の依存関係を定義でき、順序関係を制御してタスクを実行 ● タスクの実行状況/結果を管理
Slide 5
Slide 5 text
データ分析基盤などでよく用いられる ● 定型業務の自動化 ○ 大量のデータの収集 ○ データの加工 ○ データの集計
Slide 6
Slide 6 text
用語の定義(タスクとフロー) ● タスク:処理の単位 ● フロー:タスクの集合 タスク フロー データソース データレイク データマート タスク タスク
Slide 7
Slide 7 text
既存のワークフローエンジン ● たくさんある ○ airflow ○ argo ○ rundeck ○ cadence ○ azkaban ○ JP1 ○ … ● 十分に高機能&汎用的だが、扱いにくかったり... ● ワークフローは業務と密に結合することが多い ● シンプルなワークフローエンジンを作ってみたかった
Slide 8
Slide 8 text
Flowerを作った ● フロー(Flow)を扱うソフトウェア(er)ということでFlower https://github.com/d-tsuji/flower
Slide 9
Slide 9 text
アーキテクチャ ● Register(タスクの実行登録) ● Watcher(タスクの実行監視/制御) ● Worker(タスクの実行)
Slide 10
Slide 10 text
Flowerの特徴 ● タスク管理 ○ タスクの順序をマスタで一括管理 ○ パラメータなどの埋め込みが可能 ○ タスクを構成する処理はComponentとしてGoで実装 ● リカバリ/リラン ○ エラー時にどのタスクでエラーになったかわかる仕組みを提供 ○ テーブルのレコード更新でリランが可能 ● 重複実行制御 ● 流量制御
Slide 11
Slide 11 text
タスクの定義方法 ● AirflowではPythonファイルとして処理と実行順序を記述 ● タスクはGoのソースで、実行順序はマスタで管理できるようにしたかった タスク定義例 タスク例 タスク定義マスタ
Slide 12
Slide 12 text
タスク実行管理/制御 ● タスクは管理テーブルで永続化 ○ タスクのロスト、重複実行の制御は最重要な要素の一つ ○ RDBMSが一番扱いやすい タスク管理テーブル exec_status 0:実行待ち 1:実行中 3:完了
Slide 13
Slide 13 text
重複実行制御 ● 実行待ちタスクの行ロックを取得してから実行中に更新 ● 実行中にステータスを更新して、workerにタスクをput ● 同時に実行待ちタスクが参照されて二重にタスクが実行されることを防止 次に実行するタスクはこ のレコード 完了 実行待
Slide 14
Slide 14 text
流量制御 ● 「実行中+実行待ちのタスク≦同時実行数」の場合はworkerにputしない 完了 実行中 実行中 実行待 実行待 例)同時実行数が2の場合 同時実行数を超えるので zzzzzのフローのタスクは実行しない
Slide 15
Slide 15 text
落ち葉拾い ● タスク監視のポーリング ○ キュー(SQSとか)をはさめばイベント通知にできる ● スケジューラ ● 管理コンソール ○ ほしいけど作っていない