Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps初心者がApache Airflowを触る / Apache Airflow Introduction for an MLOps Beginner
Search
Henry Cui
May 27, 2023
Programming
0
140
MLOps初心者がApache Airflowを触る / Apache Airflow Introduction for an MLOps Beginner
Henry Cui
May 27, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
Direct Preference Optimization
zchenry
0
110
Diffusion Model with Perceptual Loss
zchenry
0
61
レンズの下のLLM / LLM under the Lens
zchenry
0
88
Go with the Prompt Flow
zchenry
0
94
Mojo Dojo
zchenry
1
130
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
150
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
110
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
57
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
100
Other Decks in Programming
See All in Programming
Enhancing Applications with Accessibility API
kishikawakatsumi
3
1k
OpenAPI を守るのは難しい
ohmori_yusuke
2
150
App Router への移行は「改善」となり得るのか?/ Can migration to App Router be an improvement
takefumiyoshii
1
140
TCA魔法学入門🪄
dazy
0
280
WinUI 3デモ - "CommunityToolkit.Mvvm"NuGetパッケージ編
andrewkeepcoding
0
140
Building a Smaller App Binary
kateinoigakukun
2
220
15分間でふんわり理解するDocker @ Matsuriba MAX
ukwhatn
PRO
1
340
Open Source Swiftc Workshop
kitasuke
1
290
DDDはなぜ難しいのか / 良いコードの定義と設計能力の壁
pospome
25
7.6k
ここ1~2年くらいで 使えるようになった(主要ブラウザーの最新版 がすべて対応した ) ウェブの新機能について ランダムに喋る!
myzkyy
9
6.5k
WasmOS: Wasmを実行する自作Microkernel
riru
0
380
受託開発でGitLab CI を活用していく
xiombatsg
1
130
Featured
See All Featured
Stop Working from a Prison Cell
hatefulcrawdad
265
19k
For a Future-Friendly Web
brad_frost
170
8.9k
We Have a Design System, Now What?
morganepeng
42
6.7k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3k
Git: the NoSQL Database
bkeepers
PRO
421
63k
GitHub's CSS Performance
jonrohan
1023
450k
Testing 201, or: Great Expectations
jmmastey
27
6.3k
Mobile First: as difficult as doing things right
swwweet
215
8.5k
The Cult of Friendly URLs
andyhume
73
5.6k
Designing Experiences People Love
moore
135
23k
The Pragmatic Product Professional
lauravandoore
24
5.7k
The World Runs on Bad Software
bkeepers
PRO
60
6.6k
Transcript
MLOps初心者がApache Airflowを触る 機械学習の社会実装勉強会第23回 Henry 2023/5/27
内容 ▪ Apache Airflowについて ▪ Dockerを利用した起動方法 ▪ Taskflow API 2
Apache Airflowについて ▪ タスクの自動実行をやってくれるライブラリ • Crontabのような自動実行 • タスク間の依存関係 • Pythonのライブラリ
• ログ・可視化が完備 • 競合の中に一番 Github Star数が多い(弊者調べ) • その分大きなコミュニティに使われている ▪ 向かないケースもある • ストリーミングデータに向いてない • 可視化あるがコード書きたくない人に向いてない 3
Dockerを利用した起動方法 ▪ docker-compose.ymlを入手 • 自分は https://airflow.apache.org/docs/apache-airflow/2.6.1/docker-compose.yaml • Dockerfileが不要なのはymlファイルの中で公開コンテナを使う ▪ docker
compose up airflow-init で初期化 ▪ docker compose up で諸々のコンポーネントを起動 4
Apache Airflow の諸々の概念 ▪ 全体のアーキテクチャ ▪ 初心者が扱う概念 • DAG:有向非巡回グラフ ▪
一つのまとまりのジョブ、タスク間の依存関係が定義される • タスク:実行したいジョブの最小単位、DAGの要素 5
Taskflow API ▪ 今までより扱いやすくなったDAG定義の書き方 ▪ 詳しくは画面共有しながら説明する • https://airflow.apache.org/docs/apache-airflow/stable/tutorial/taskfl ow.html も参照
• Task decoratorのパラメータは https://github.com/apache/airflow/blob/2.4.0/airflow/decorators/ba se.py#L546-L557 参照 ▪ カスタムDAGファイルも認識できる • 今のところairflowサーバーの再起動が必要 6