Upgrade to Pro — share decks privately, control downloads, hide ads and more …

入門 Cloud Composer / 20190925

momota
February 12, 2022

入門 Cloud Composer / 20190925

社内勉強会で発表した資料です

momota

February 12, 2022
Tweet

More Decks by momota

Other Decks in Technology

Transcript

  1. 目次 • Cloud Composerについて ◦ managed service • Airflow について

    ◦ workflow ◦ DAG ◦ Operator ◦ code sample • Demo ◦ Cloud Composer実演 • Conclusion
  2. Airflow Airflow is a platform to programmatically author, schedule and

    monitor workflows. プログラムでワークフローを作成・スケジューリング・監視する為のプラットフォーム。 つまり「ワークフロー」を「コード」で「管理」出来る Ref: https://airflow.apache.org/
  3. • Airflowにおけるタスクを実行する為のテンプレみたいなもの。 • 色々な種類がある ◦ BashOperator, PythonOperator, BigQueryOperator, DataFlowJavaOperator etc

    … ◦ 一覧は下のリンク先に このOperatorを用いてタスクを記述し、そのタスクに依存関係を持たせる事でフローの作成、つまり DAG(ワーク フロー)の作成が可能となる Ref https://github.com/apache/airflow/tree/master/airflow/operators https://github.com/apache/airflow/tree/master/airflow/gcp/operators Operator Airflow