Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
入門 Cloud Composer / 20190925
Search
momota
February 12, 2022
Technology
0
80
入門 Cloud Composer / 20190925
社内勉強会で発表した資料です
momota
February 12, 2022
Tweet
Share
More Decks by momota
See All by momota
医療データの利活用を支えるデータプラットフォーム / 20220517
momota
0
89
【輪読会】実践的データ基盤への処方箋 / 20220120
momota
1
54
Other Decks in Technology
See All in Technology
Navigation3でViewModelにデータを渡す方法
mikanichinose
0
220
Amazon S3標準/ S3 Tables/S3 Express One Zoneを使ったログ分析
shigeruoda
4
550
Witchcraft for Memory
pocke
1
470
GitHub Copilot の概要
tomokusaba
1
140
SalesforceArchitectGroupOsaka#20_CNX'25_Report
atomica7sei
0
200
Wasm元年
askua
0
150
250627 関西Ruby会議08 前夜祭 RejectKaigi「DJ on Ruby Ver.0.1」
msykd
PRO
2
330
Node-RED × MCP 勉強会 vol.1
1ftseabass
PRO
0
160
Oracle Cloud Infrastructure:2025年6月度サービス・アップデート
oracle4engineer
PRO
2
270
GeminiとNotebookLMによる金融実務の業務革新
abenben
0
240
Lambda Web Adapterについて自分なりに理解してみた
smt7174
5
130
低レイヤを知りたいPHPerのためのCコンパイラ作成入門 完全版 / Building a C Compiler for PHPers Who Want to Dive into Low-Level Programming - Expanded
tomzoh
4
3.3k
Featured
See All Featured
Designing for humans not robots
tammielis
253
25k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
GraphQLとの向き合い方2022年版
quramy
49
14k
Producing Creativity
orderedlist
PRO
346
40k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
We Have a Design System, Now What?
morganepeng
53
7.7k
The Cult of Friendly URLs
andyhume
79
6.5k
Transcript
入門 Cloud Composer Momota Sasaki
目次 • Cloud Composerについて ◦ managed service • Airflow について
◦ workflow ◦ DAG ◦ Operator ◦ code sample • Demo ◦ Cloud Composer実演 • Conclusion
Cloud Composer
Cloud Composer 一言で言うと、GCPで使えるAirflow(後述)のマネージドサービス マネージドサービス 平たく言うとベンダーが提供している、特定の機能に関する 運用管理がア ウトソースされたービス。 具体的なサービス名で言うと 「CloudSQL(RDBのマネージドサービス )」や「Cloud
Memorystore(Redisの マネージドサービス)」などが相当する。 Ref: https://cloud.google.com/composer/
Cloud Composer マネージドサービスなので必要な項目をポチポチ設定するだけで Airflowの環境が出来上がり、構成の変更なども管理画面上で完 結。 この管理コストの低さがマネージドサービスの売り。 あとはSLAが担保されている事など。 一方で、 • 管理対象ソフトウェアのバージョンはベンダー依存
• 自前ではないので好き勝手には弄れない • ベンダーロックイン などのデメリットもあるので天秤にかけて総合的に判断する。
Airflow
Airflow Airflow is a platform to programmatically author, schedule and
monitor workflows. プログラムでワークフローを作成・スケジューリング・監視する為のプラットフォーム。 つまり「ワークフロー」を「コード」で「管理」出来る Ref: https://airflow.apache.org/
リソース(資源)を体系的に組織化した反復可能な業務活動のパターンである。 ワークフローは、物質の加工、サービスの提供、情報の処理など、何らかの具体的意図をもって設計される。 …. 「Airflowにおけるworkflow」 の文脈で噛み砕くと、 「複数のタスクを用いて構築した一連の処理の流れの事」をいう Ref: https://ja.wikipedia.org/wiki/ワークフロー workflow Airflow
None
workflow
workflow DAG?
Directed Acyclic Graph(有向非巡回グラフ) グラフ理論における閉路のない有向グラフのこと。 ≒ 枝に向きが有り、サイクルがない。 AirflowではDAGの作成をもってワークフローを作成したことになる Ref https://ja.wikipedia.org/wiki/有向非巡回グラフ https://mathwords.net/dag
DAG Airflow
https://cloud.google.com/composer/docs/how-to/using/writing-dags
None
None
Operator?
• Airflowにおけるタスクを実行する為のテンプレみたいなもの。 • 色々な種類がある ◦ BashOperator, PythonOperator, BigQueryOperator, DataFlowJavaOperator etc
… ◦ 一覧は下のリンク先に このOperatorを用いてタスクを記述し、そのタスクに依存関係を持たせる事でフローの作成、つまり DAG(ワーク フロー)の作成が可能となる Ref https://github.com/apache/airflow/tree/master/airflow/operators https://github.com/apache/airflow/tree/master/airflow/gcp/operators Operator Airflow
sample code Airflow https://gist.github.com/momota10/c14e9c78ef248b7334914fdc37f24b87
Demo
Demo 1. cloud composer環境の作成 2. DAGファイルのupload 3. ワークフローの実行 w/ Airflow
GUIの体験
Conclusion
Conclustion 1. Cloud ComposerはAirflowのマネージドサービス 2. Airflowはワークフローの管理プラットフォーム 3. Airflowはタスクを記述して依存関係をもたせ、DAGを作成す る事が出来る 4.
入門 Cloud Composer といいつつ実態はほぼ入門 Airflow
Thank you