【PIXIV DEV MEETUP 2024】AirflowのKubernetes移行 ~ Kubernetesで運用するのは思ったより難しくない ~

PIXIV DEV MEETUP 2024の発表資料です。

https://conference.pixiv.co.jp/2024/dev-meetup

Transcript

1. Airflowの Kubernetes移行 kashira ~ Kubernetesで運用するのは 思ったより難しくない 〜
2. 全社のデータインフラ・データマ ネジメントを担当しています kashira
3. このLTで話さないこと • 全社Airflowの運用の工夫・残っている課題 • 移行での苦しみ • インフラ構成の細かい話 Ask the Speakerで話しましょう
4. みなさん Airflowを運用していますか？
5. データパイプラインの基盤として利用
6. なおさら、Kubernetes(k8s)での運用なん てやばくない？ Airflowは運用が大変と よく聞きませんか？
7. 大変です... けど思ったより簡単でした (ピクシブの場合)
8. なぜ簡単だと思ったのか？ これについて話します
9. 移行前の構成
10. 移行前は課題がいっぱい(抜粋) • これ以上垂直スケール出来ないと言われた • サーバーがインフラの管理なので手が出しにくい • チームAのタスクが問題でチームBのタスクが遅延する
11. 根本解決には 大規模な構成の変更が必要
12. でもデータエンジニアには 難しそう...
13. とりあえずインフラチームに相談 • Google CloudのCloud Composerに乗せる ◦ オンプレのDBとの接続がネック • (採用) オンプレk8sの上にHelm管理で入れる ◦ 一から全部作るの難しそう 解決策
14. 解決策がまとまったので やってみる！💪
15. 移行後の構成
16. Templateに従うだけで 完成度の高いリソース構成 が出来た
17. あれ、思ったより簡単？
18. 簡単だと思った要因 • 社内のインフラチームに聞けば大抵解決する • Argo CDなどのk8s運用で便利な仕組みが整っている • Helmを使ってパラメータをいじるだけでほぼ完成する ◦ 構成の完成度も高い
19. 安心してください(?) 辛いところもありました
20. 辛いところ • 社内共用のk8sクラスタに乗るので制約がある • やっぱり学習コストは重い ◦ Kubernetesの基礎 ◦ Helmの基礎 ◦ Argo CDの基礎 ◦ Airflowの深い理解
21. 制約による課題 • Airflow(バッチ)の特性上、特定の時間に負荷が集まる ◦ 何も考えずに一気に移行すると他のサービスに影響を与える 可能性が高い • リソース消費の激しい処理は事前に調整が必要 • ストレージ周りの運用で細かい調整が必要だった ◦ テンプレートをそのまま使えない
22. 移行には一工夫した 移行は気合いで乗り切った • 全チームの約200個のDAGを数個ずつ、インフラと調整 しつつ、6ヶ月かけて1人で移行した ◦ 合わせて、ピーク時間の調整・平滑化を行った • Airflow起因で他サービスに影響を与えることはなかった
23. 苦労したけど、 移行して良かった！！
24. 移行前より確実に運用しやすい • Airflowの変更がデータ基盤チームで完結する • 学習コストは高いけど、Argo CDやk8sクラスタの運用は 無いので十分に運用できる • 水平スケール出来る・タスクリソースの分離が可能
25. データ基盤チームとインフラチームは部が違う 2024年9月6日時点
26. Before After
27. 運用すべきものは実は少ない インフラ管理 データ基盤管理 責務が分離されていれば Airflowのみに集中できる
28. Airflowをk8sで運用するのは 思ったより簡単
29. k8sに詳しい仲間と 相乗りできるk8s基盤があれば
30. 一番大変で重要なことは Airflowを深く理解すること
31. Ask the Speakerで！！ • 全社Airflowを運用する上での工夫 • Airflowを深く理解していなくて苦労した話 • Airflowのベストプラクティス • インフラ構成の細かい話 • 社内に残っているAirflow関連の課題