Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWSで始める実践Dagster入門

Avatar for キタガワ キタガワ
September 09, 2025

 AWSで始める実践Dagster入門

DevelopersIO 2025 Osaka #devio2025での登壇資料
関連ブログ:https://dev.classmethod.jp/articles/devio2025-osaka-aws-dagster-introduction/

Avatar for キタガワ

キタガワ

September 09, 2025
Tweet

Other Decks in Technology

Transcript

  1. データオーケストレーション 6 • アセットを第一級オブジェクト として扱う • 依存関係や最新性(freshness)を組み込み • 品質チェックの統合 •

    処理の再現性と信頼性を飛躍的に向上 従来のタスクベースのオーケストレーションでは解決できない課題をクリアする Dagster公式からはこんな記事も... Dagster vs Airflow: Feature Comparison データオーケストレーションとは?
  2. タスク中⼼からアセット中⼼への転換 9 • 直感的な理解しやすさ • 依存関係の⾃動管理 • 効率的な実⾏ • データリネージの可視化

    「どうやって処理するか」から「何を作り出すか」にパラダイムシフトする アセット指向だと何が嬉しいのか?
  3. 統合的なリネージ‧監視 12 • Dagster UIで一元管理 ◦ 実行ログ ◦ アセットの更新履歴 ◦

    依存関係グラフ • どのジョブがどのアセットに影 響したか即座に把握 • 障害発生時のトラブルシュー トが迅速
  4. 柔軟なスケーリングとCI/CD対応 15 • 同じコードをそのまま本番へ ◦ 設定ファイルを切り替えるだけでECS上にデプロイ • CI/CDツールと相性◎ ◦ GitHub

    Actionsでビルド→ECRプッシュ→タスク更新を自動化 • ECS Fargate対応 ◦ サーバレス運用でインフラ管理を最小化
  5. AWS環境構築の概要 31 • Dagster Webserver / Dagster Daemon / User

    Code を ECS それぞれ独立 サービス化 • RDS (PostgreSQL) にメタデータを永続化し冗長化 • Secrets Manager で資格情報を暗号化保管しタスクへ安全に注入 • Auto Scaling & Fargateでコスト最適化しながらピーク時にスケールアウト • IaC (Terraform / AWS CDK) によりデプロイや環境複製を自動化 この構成をやってみたブログがあります! Dagsterとdbt CoreをECS on Fargateで構築する | DevelopersIO
  6. 課題 34 • 学習コスト : ◦ アセット指向、リソースなど独自概念が多い ◦ ドキュメントや参考になるコード片がまだまだ少ない →生成AIもあまり賢く答えてくれない

    ◦ (嬉しいことでもあるが)更新が活発で既存のやり方がベストプラクティスではなくなるこ とも • 事例の少なさ : ◦ 本番環境での運用事例が(特に日本では)少ない ◦ 運用を見据えた構成の検討が難しい • 認証・権限 : ◦ OSS版は認証機能なし ◦ RBACなどももちろんなし
  7. Dagsterがもたらす価値 36 • 信頼性向上 : アセット中心の宣言的管理 • 開発速度向上 : テスト容易性と再利用性

    • 運用可視化 : 統合的な監視とリネージ → 使いこなすことができれば強力なツールになる → 可能性は無限大!
  8. 参考資料 37 • Dagster公式ドキュメント • Dagster + dbt統合ガイド • Dagster

    University • Dagsterとdbt CoreをECS on Fargateで構築する | DevelopersIO • dagsterの特徴「アセット指向のワークフロー」を理解する • Dagster vs Airflow: Feature Comparison • ゼロから始めるDagster・すぐに使える実践ガイド