Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
入門 Cloud Composer / 20190925
Search
momota
February 12, 2022
Technology
0
80
入門 Cloud Composer / 20190925
社内勉強会で発表した資料です
momota
February 12, 2022
Tweet
Share
More Decks by momota
See All by momota
医療データの利活用を支えるデータプラットフォーム / 20220517
momota
0
89
【輪読会】実践的データ基盤への処方箋 / 20220120
momota
1
54
Other Decks in Technology
See All in Technology
Data Engineering Study#30 LT資料
tetsuroito
1
190
「Chatwork」のEKS環境を支えるhelmfileを使用したマニフェスト管理術
hanayo04
1
400
An introduction to Claude Code SDK
choplin
2
1.1k
「現場で活躍するAIエージェント」を実現するチームと開発プロセス
tkikuchi1002
3
350
QuickSight SPICE の効果的な運用戦略~S3 + Athena 構成での実践ノウハウ~/quicksight-spice-s3-athena-best-practices
emiki
0
290
Autify Company Deck
autifyhq
2
44k
組織内、組織間の資産保護に必要なアイデンティティ基盤と関連技術の最新動向
fujie
0
270
スタックチャン家庭用アシスタントへの道
kanekoh
0
120
データ戦略部門 紹介資料
sansan33
PRO
1
3.3k
Copilot coding agentにベットしたいCTOが開発組織で取り組んだこと / GitHub Copilot coding agent in Team
tnir
0
190
TLSから見るSREの未来
atpons
2
310
伴走から自律へ: 形式知へと導くSREイネーブリングによる プロダクトチームの信頼性オーナーシップ向上 / SRE NEXT 2025
visional_engineering_and_design
3
460
Featured
See All Featured
Git: the NoSQL Database
bkeepers
PRO
430
65k
It's Worth the Effort
3n
185
28k
Statistics for Hackers
jakevdp
799
220k
Code Review Best Practice
trishagee
69
19k
Fireside Chat
paigeccino
37
3.5k
A designer walks into a library…
pauljervisheath
207
24k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Visualization
eitanlees
146
16k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Transcript
入門 Cloud Composer Momota Sasaki
目次 • Cloud Composerについて ◦ managed service • Airflow について
◦ workflow ◦ DAG ◦ Operator ◦ code sample • Demo ◦ Cloud Composer実演 • Conclusion
Cloud Composer
Cloud Composer 一言で言うと、GCPで使えるAirflow(後述)のマネージドサービス マネージドサービス 平たく言うとベンダーが提供している、特定の機能に関する 運用管理がア ウトソースされたービス。 具体的なサービス名で言うと 「CloudSQL(RDBのマネージドサービス )」や「Cloud
Memorystore(Redisの マネージドサービス)」などが相当する。 Ref: https://cloud.google.com/composer/
Cloud Composer マネージドサービスなので必要な項目をポチポチ設定するだけで Airflowの環境が出来上がり、構成の変更なども管理画面上で完 結。 この管理コストの低さがマネージドサービスの売り。 あとはSLAが担保されている事など。 一方で、 • 管理対象ソフトウェアのバージョンはベンダー依存
• 自前ではないので好き勝手には弄れない • ベンダーロックイン などのデメリットもあるので天秤にかけて総合的に判断する。
Airflow
Airflow Airflow is a platform to programmatically author, schedule and
monitor workflows. プログラムでワークフローを作成・スケジューリング・監視する為のプラットフォーム。 つまり「ワークフロー」を「コード」で「管理」出来る Ref: https://airflow.apache.org/
リソース(資源)を体系的に組織化した反復可能な業務活動のパターンである。 ワークフローは、物質の加工、サービスの提供、情報の処理など、何らかの具体的意図をもって設計される。 …. 「Airflowにおけるworkflow」 の文脈で噛み砕くと、 「複数のタスクを用いて構築した一連の処理の流れの事」をいう Ref: https://ja.wikipedia.org/wiki/ワークフロー workflow Airflow
None
workflow
workflow DAG?
Directed Acyclic Graph(有向非巡回グラフ) グラフ理論における閉路のない有向グラフのこと。 ≒ 枝に向きが有り、サイクルがない。 AirflowではDAGの作成をもってワークフローを作成したことになる Ref https://ja.wikipedia.org/wiki/有向非巡回グラフ https://mathwords.net/dag
DAG Airflow
https://cloud.google.com/composer/docs/how-to/using/writing-dags
None
None
Operator?
• Airflowにおけるタスクを実行する為のテンプレみたいなもの。 • 色々な種類がある ◦ BashOperator, PythonOperator, BigQueryOperator, DataFlowJavaOperator etc
… ◦ 一覧は下のリンク先に このOperatorを用いてタスクを記述し、そのタスクに依存関係を持たせる事でフローの作成、つまり DAG(ワーク フロー)の作成が可能となる Ref https://github.com/apache/airflow/tree/master/airflow/operators https://github.com/apache/airflow/tree/master/airflow/gcp/operators Operator Airflow
sample code Airflow https://gist.github.com/momota10/c14e9c78ef248b7334914fdc37f24b87
Demo
Demo 1. cloud composer環境の作成 2. DAGファイルのupload 3. ワークフローの実行 w/ Airflow
GUIの体験
Conclusion
Conclustion 1. Cloud ComposerはAirflowのマネージドサービス 2. Airflowはワークフローの管理プラットフォーム 3. Airflowはタスクを記述して依存関係をもたせ、DAGを作成す る事が出来る 4.
入門 Cloud Composer といいつつ実態はほぼ入門 Airflow
Thank you