Deferrable Operators入門

Transcript

1. Deferrable Operators入門 Hank Ehly
2. よろしくお願いします Hank Ehly（名:ハンク 姓:イーリー） アメリカ、カンザス州出身 ENECHANGE株式会社 (エンジニア) • qiita.com/hankehly • github.com/hankehly • linkedin.com/in/hankehly • twitter.com/hankehly • connpass.com/user/hankehly
3. OperatorsとSensorsの復習 • Operatorは、アクションを起こす • Sensorは、指定の条件が満たされるまで待つ • 1 worker_slot が必要 ◦ Taskの最大同時実行数 ＝ worker_slotの数 ◦ Poolレコードとして管理される ◦ default_pool: 128 slot
4. 問題例 x128 実行中 実行待ち Airflowタスク キュー Sensorの 待機処理 レポート作成 Sparkジョブ POINT 重要なタスクがあるのに「待機処理」で忙 しくて worker_slot が足りない 実行完了
5. Sensorのpokeとrescheduleモード worker_slotを確保したまま、待ち続ける 00:00 01:00 02:00 03:00 04:00 pokeモード worker_slot確保時間 rescheduleモード 00:00 01:00 02:00 03:00 04:00 指定条件が満たされない場合、 worker_slotを解放して タスクを再スケジューリングする
6. • 2.2.0+ (2021年10月〜) • worker_slot を使わずに、待機処理できるOperator/Sensor • 処理を中断（英:defer）し、Trigger に待機処理を任せる • Triggerは実行中、worker_slotを使わない ◦ 別途「triggerer」プロセスが実行してくれる ◦ worker_slot の節約ができる Deferrable Operatorsとは
7. 待機処理で worker_slot を使わなくて済む • Performance: タスク開始〜終了までの時間（ターンアラウンドタイム）短縮 • Cost(¥): Workerを減らせるから、お金が節約できる Deferrable Operatorsの利点
8. 実践編
9. Deferrable Operatorsの処理の流れ Sparkジョブの終了を待つ (2時間) 結果のURLをXcom にPushする Sparkジョブを 開始する (worker_slot 確保中) 実行開始 ① self.defer(trigger) ② (worker_slot 確保中) タスクを再開する ④ Trigger実行 ③ (triggerer プロセス)
10. Deferrable Operatorsの使い方 (Triggererプロセス) Web Server Worker Scheduler Triggerer （数を増やせば可用性が高まる） services: airflow-triggerer: <<: *airflow-common command: triggerer healthcheck: test: ["CMD-SHELL", 'airflow jobs check --job-type TriggererJob --hostname "$${HOSTNAME}"'] interval: 10s timeout: 10s retries: 5 restart: always depends_on: <<: *airflow-common-depends-on airflow-init: condition: service_completed_successfully 公式 docker-compose.yaml : https://airflow.apache.org/docs/apache-airflow/2.5.2/docker-compose.yaml
11. Deferrable Operatorsの使い方 (Triggererプロセス) $ airflow webserver|scheduler|worker|triggerer
12. Deferrable Operatorsの使い方 (DAG実装) from airflow.decorators import dag from airflow.providers.google.cloud.operators.bigquery import BigQueryInsertJobOperator @dag(...) def example_dag(): load_data = BigQueryInsertJobOperator( task_id="load_data", configuration={ "load": { "sourceUris": ["gs://my-bucket/my-5TB-dataset/*.parquet"], "destinationTable": "my_dataset.my_table" } } ) worker_slot を ずっと確保したまま
13. from airflow.decorators import dag -from airflow.providers.google.cloud.operators.bigquery import BigQueryInsertJobOperator 　 +from astronomer.providers.google.cloud.operators.bigquery import ( 　 + BigQueryInsertJobOperatorAsync as BigQueryInsertJobOperator 　 +) 　 @dag(...) def example_dag(): load_data = BigQueryInsertJobOperator( task_id="load_data", configuration={ "load": { "sourceUris": ["gs://my-bucket/my-5TB-dataset/*.parquet"], "destinationTable": "my_dataset.my_table" } } ) Deferrable Operatorsの使い方 (DAG実装) クラスの差し替えだけ (pip install astronomer-providers)
14. Deferrable Operatorsの書き方 from datetime import timedelta from airflow.sensors.base import BaseSensorOperator from airflow.triggers.temporal import TimeDeltaTrigger class WaitOneHourSensor(BaseSensorOperator): def execute(self, context): self.defer(trigger=TimeDeltaTrigger(timedelta(hours=1)), method_name="execute_complete") def execute_complete(self, context, event=None): # We have no more work to do here. Mark as complete. return 処理を中断する Triggerオブジェクトを渡す （待機処理を行う） どこから再開するか Triggerの実行結果
15. Triggerの書き方 import asyncio from airflow.triggers.base import BaseTrigger, TriggerEvent from airflow.utils import timezone class DateTimeTrigger(BaseTrigger): def __init__(self, moment): super().__init__() self.moment = moment def serialize(self): return ("airflow.triggers.temporal.DateTimeTrigger", {"moment": self.moment}) async def run(self): while self.moment > timezone.utcnow(): await asyncio.sleep(1) yield TriggerEvent(self.moment) 一致するように書く 待機処理後に TriggerEvent を yield して 元のタスクを再開する 待機処理 triggerer 側で再インスタンス化 するための情報 asyncioで実装
16. まとめ • Deferrable Operators で Worker リソースの節約ができる（時間/円） • Trigger は、Operatorの代わりに「待機処理」をしてくれる • Trigger は、triggerer プロセスが実行する（worker_slot不要） x128 実行中 実行待ち （詰まっている） • 待機処理が多いDAGにおすすめ たくさんのSensorタスク
17. ご清聴ありがとうございます ドキュメント • Deferrable Operators & Triggers — Airflow Documentation • Deferrable operators | Astronomer Documentation Youtube • Airflow: Save Tons of Money by Using Deferrable Operators - Kaxil Naik, Astronomer • Love for writing deferrable operators Why and how to defer • All About Deferrables