Digdagへ日次バッチを移行して幸せになるお話

B6d9eb9a3825f15c84b5e7588c56a405?s=47 DMM.com
June 08, 2017

 Digdagへ日次バッチを移行して幸せになるお話

DMM.comラボではビッグデータ基盤の日次バッチ(ETL処理)のワークフローエンジンとしてDigdagを採用しました。
ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。
Digdag選定理由や設計の勘所(サーバ構成・ワークフローの設計方針)、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決のために取り組んだ内容について紹介させていただきました!

B6d9eb9a3825f15c84b5e7588c56a405?s=128

DMM.com

June 08, 2017
Tweet