Airflow – платформа для разработки, планирования и мониторинга рабочих процессов

Дина Сафина, Юрий Емельянов и Олег Ильинский (Mail.Ru Group) @ Moscow Python Meetup 52
"Команда DWH игрового направления Mail.Ru Group расскажет о своем проекте, основных понятиях и архитектуре Airflow; фичах и программируемых операторах Airflow. А также резюмируют, где можно и нужно Airflow, а где можно, но не нужно :)"
Видео: http://www.moscowpython.ru/meetup/52/airflow/

Transcript

1. Airflow – платформа для разработки, планирования и мониторинга рабочих процессов Юрий Емельянов Архитектор DWH t.me/yuryemelyanov Дина Сафина Разработчик DWH t.me/aniiid Олег Ильинский Разработчик DWH t.me/olin32e
2. 2. О чем расскажем • О нас, о нашем проекте • Что такое Airflow, основные понятия • Свои операторы, генерация задач • Резюмируем…
3. 3. О нас Mail.Ru Group БЮ БЮ … БЮ Игры Студия 1 Студия 2 … Студия N
4. 4. Игры • Мобильные (Android, iOS) • Консоли (PS, XBOX) • PC • Браузерные • Россия • Европа • Штаты • Китай
5. 5. Аналитика игр • Финансовая • Маркетинговая • Стандартизированная аналитика: • Экономики • Конверсии • … • Продуктовая • Кросспроектная
6. Потребители Транспорт данных в хранилище Сервисы для работы с данными Хранение и вычисление 6. Архитектура платформы DB logs api DB DB Игра #1 DB logs api DB DB Игра #2 … DB logs api DB DB Игра #N DB logs api DB DB Кросс- игровые сервисы GAMESTAT Hue Zeppelin Jupyter Hub ETL ETL Продюсеры .. Менеджеры .. Аналитики .. Геймдизы .. Команды разработки ...
7. 7. Хранилище в цифрах 300+ источников 2000+ таблиц 130+ ТБ данных 7500+ ежедневных процессов 3000+ ad-hoc запросов 20+ потребителей ad-hoc анализа данных ~ 1,5 года
8. Что такое Airflow
9. 9. История Apache Airflow • Октябрь 2014 – первый коммит в Airflow • Июнь 2015 – анонс на GitHub’е • Март 2016 – передан Apache
10. … платформа для разработки, планирования и мониторинга рабочих процессов 10. Airflow – это …
11. 11. Установка Airflow • pip install apache-airflow • airflow initdb • airflow webserver -p 8080 Результат: http://localhost:8080
12. 12. Архитектура Airflow Airflow Webserver Airflow Scheduler Worker DAG MetaStore Log
13. 13. Основной интерфейс
14. 14. DAG – Directed Acyclic Graph
15. 15. Дерево состояний
16. 16. Интерфейс соединений
17. 17. Интерфейс глобальных переменных
18. 18. Операторы Airflow • BaseOperator (абстрактный) • PythonOperator • BashOperator • MySqlOperator, PostgresOperator, OracleOperator,… • HiveOperator, HiveToMySqlTransfer, MsSqlToHiveTransfer,… • HttpOperator • EmailOperator • BranchPythonOperator • DummyOperator • …
19. 19. Сенсоры Airflow • BaseSensorOperator • ExternalTaskSensor • SqlSensor • TimeSensor, TimeDeltaSensor • HttpSensor • HdfsSensor • NamedHivePartitionSensor • …
20. 20. Пример простого DAG’а default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': datetime(2018, 1, 1), 'email': ['airflow@example.com'], 'email_on_failure': True, 'email_on_retry': False, 'retries': 1, 'retry_delay': timedelta(minutes=5) }
21. 21. Пример простого DAG’а dag = DAG('tutorial', default_args=default_args)
22. 22. Пример простого DAG’а t1 = BashOperator(task_id='print_date', bash_command='date', dag=dag) t2 = BashOperator(task_id='sleep', bash_command='sleep 5', retries=3, dag=dag)
23. 23. Пример простого DAG’а templated_command = """ {% for i in range(5) %} echo "{{ ds }}" echo "{{ macros.ds_add(ds, 7)}}" {% endfor %} """ t3 = BashOperator( task_id='templated', bash_command=templated_command, dag=dag)
24. 24. Пример простого DAG’а t2 << t1 >> t3 t2.set_upstream(t1) t3.set_upstream(t1)
25. 25. Пример простого DAG’а
26. Разработка своих операторов, генерация задач
27. 27. Airflow Plugins • В Airflow существует plugins manager для интеграции внешних модулей в ядро Airflow • $AIRFLOW_HOME/plugins.
28. 28. Базовые классы • BaseHook – базовый класс для всех hook’ов, переопределяем __init__, run, get_conn • BaseOperator – базовый класс для всех операторов, переопределяем __init__, execute • BaseSensorOperator – базовый класс для всех сенсоров, переопределяем __init__, poke • AirflowException – базовое исключение
29. 29. Мой Hook class MyRestApiHook(HttpHook): def __init__(self, http_conn_id='conn_MyRestApi_api'): self.http_conn_id = http_conn_id def get_conn(self, endpoint, params=None): <do something> return session def run(self, params=None): logging.info("Run something")
30. 30. Мой Operator class MyRestApiOperator(BaseOperator): template_fields = ('my_rest_api_param',) template_ext = () ui_color = '#f4a460' @apply_defaults def __init__(self, my_rest_api_param, *args, **kwargs): super(MyRestApiOperator, self).__init__(*args, **kwargs) def execute(self, context): logging.info("Execute loading")
31. 31. Мой Sensor class MyRestApiSensor(BaseSensorOperator): template_fields = ('xcom_task_id',) @apply_defaults def __init__(self, *args, **kwargs): … def poke(self, context): …
32. 32. Видимость Plugin’ов class MyRestApiPlugin(AirflowPlugin): name = "my_rest_api_plugin" operators = [MyRestApiSensor, MyRestApiRequestOperator] hooks = [MyRestApiHook]
33. 33. Генерация задач и DAG’ов в Airflow Если • Процессы однотипные с разной параметризацией • Просто большое количество однотипных задач или DAG’ов Генерация задач • Цикл внутри DAG’а • Отдельная функция • Отдельный модуль
34. 34. Генерация тасков и дагов в Airflow { "connection_id": "source_conn_mysql", "schema_name": "source_schema", "table_name": "source_table", "columns_list": "id, time, user_id, user_level, …", "hive_schema_name": "target_schema", "hive_table_name": "target_table", "load_type": "increment", "hive_partition_column": "log_dt", "timestamp_column": "time", "timestamp_format": "unix_timestamp" } load_from_source_to_hive_tasks('tables.json')
35. Итоги
36. 36. Airflow – это история … Про НЕ про Batch-процессы Streaming, MQ Сравнительно небольшой командой делать много и быстро Большие команды Open Source и грамотного про-активного DevOps-а Enterprise, консалтинг, поддержка вендора Новый источник/потребитель, знаем специфику, делаем оператор – Profit! Новый источник/потребитель, ждем патч/версию с нужным коннектором/драйвером, который не будет работать так как вам хочется
37. 37. Аналоги Airflow https://github.com/spotify/luigi Pinball https://github.com/pinterest/pinball
38. 38. Хабрахабр https://habrahabr.ru/company/mailru/blog/339392/ Airflow — инструмент, чтобы удобно и быстро разрабатывать и поддерживать batch-процессы обработки данных https://habrahabr.ru/company/mailru/blog/344398/ Airflow Workshop: сложные DAG’и без костылей
39. 39. Телеграмм группа https://t.me/ruairflow @ruairflow
40. Спасибо! Юрий Емельянов Архитектор DWH t.me/yuryemelyanov Дина Сафина Разработчик DWH t.me/aniiid Олег Ильинский Разработчик DWH t.me/olin32e Вопросы?