Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps初心者がApache Airflowを触る / Apache Airflow Int...
Search
Henry Cui
May 27, 2023
Programming
0
310
MLOps初心者がApache Airflowを触る / Apache Airflow Introduction for an MLOps Beginner
Henry Cui
May 27, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
200
Direct Preference Optimization
zchenry
0
380
Diffusion Model with Perceptual Loss
zchenry
0
410
レンズの下のLLM / LLM under the Lens
zchenry
0
180
Go with the Prompt Flow
zchenry
0
160
Mojo Dojo
zchenry
0
210
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
580
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
250
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
120
Other Decks in Programming
See All in Programming
AI時代のドメイン駆動設計-DDD実践におけるAI活用のあり方 / ddd-in-ai-era
minodriven
15
5.5k
No Install CMS戦略 〜 5年先を見据えたフロントエンド開発を考える / no_install_cms
rdlabo
0
480
What's new in Adaptive Android development
fornewid
0
140
令和最新版手のひらコンピュータ
koba789
13
7.7k
画像コンペでのベースラインモデルの育て方
tattaka
3
1.7k
Dart 参戦!!静的型付き言語界の隠れた実力者
kno3a87
0
200
バイブコーディング × 設計思考
nogu66
0
120
AIコーディングエージェント全社導入とセキュリティ対策
hikaruegashira
16
9.8k
なぜ今、Terraformの本を書いたのか? - 著者陣に聞く!『Terraformではじめる実践IaC』登壇資料
fufuhu
4
600
オホーツクでコミュニティを立ち上げた理由―地方出身プログラマの挑戦 / TechRAMEN 2025 Conference
lemonade_37
2
470
Google I/O Extended Incheon 2025 ~ What's new in Android development tools
pluu
1
270
Portapad紹介プレゼンテーション
gotoumakakeru
1
130
Featured
See All Featured
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Documentation Writing (for coders)
carmenintech
73
5k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.4k
Fireside Chat
paigeccino
39
3.6k
Writing Fast Ruby
sferik
628
62k
Music & Morning Musume
bryan
46
6.7k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
How STYLIGHT went responsive
nonsquared
100
5.7k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
Transcript
MLOps初心者がApache Airflowを触る 機械学習の社会実装勉強会第23回 Henry 2023/5/27
内容 ▪ Apache Airflowについて ▪ Dockerを利用した起動方法 ▪ Taskflow API 2
Apache Airflowについて ▪ タスクの自動実行をやってくれるライブラリ • Crontabのような自動実行 • タスク間の依存関係 • Pythonのライブラリ
• ログ・可視化が完備 • 競合の中に一番 Github Star数が多い(弊者調べ) • その分大きなコミュニティに使われている ▪ 向かないケースもある • ストリーミングデータに向いてない • 可視化あるがコード書きたくない人に向いてない 3
Dockerを利用した起動方法 ▪ docker-compose.ymlを入手 • 自分は https://airflow.apache.org/docs/apache-airflow/2.6.1/docker-compose.yaml • Dockerfileが不要なのはymlファイルの中で公開コンテナを使う ▪ docker
compose up airflow-init で初期化 ▪ docker compose up で諸々のコンポーネントを起動 4
Apache Airflow の諸々の概念 ▪ 全体のアーキテクチャ ▪ 初心者が扱う概念 • DAG:有向非巡回グラフ ▪
一つのまとまりのジョブ、タスク間の依存関係が定義される • タスク:実行したいジョブの最小単位、DAGの要素 5
Taskflow API ▪ 今までより扱いやすくなったDAG定義の書き方 ▪ 詳しくは画面共有しながら説明する • https://airflow.apache.org/docs/apache-airflow/stable/tutorial/taskfl ow.html も参照
• Task decoratorのパラメータは https://github.com/apache/airflow/blob/2.4.0/airflow/decorators/ba se.py#L546-L557 参照 ▪ カスタムDAGファイルも認識できる • 今のところairflowサーバーの再起動が必要 6