Moscow Python Meetup №111. Как мы изобретали Temporal, пытаясь просто создать приложение

Ларин Андрей. Старший разработчик, группа разработки IDP, Яндекс.

Видео: https://moscowpython.ru/meetup/111/inventing-temporal/

Moscow Python: http://moscowpython.ru
Курсы Learn Python: http://learn.python.ru
Moscow Python Podcast: http://podcast.python.ru
Заявки на доклады: https://bit.ly/mp-speaker

Transcript

1. Как мы изобретали Temporal Старший разработчик Ларин Андрей пытаясь просто создать приложение
2. Кто я? Старший разработчик, Группа разработки IDP, Яндекс ▪ 8+ лет в Python ▪ 3+ года в Яндекс Ларин Андрей 2
3. Введение 01 1 3
4. Введение Бизнес задача создание приложения по кнопке 01 1 4
5. Введение Бизнес задача создание приложения по кнопке 01 1 1. Создать приложение в БД 5
6. Введение Бизнес задача создание приложения по кнопке 01 1 1. Создать приложение в БД 2. Завести задачу в трекере 6
7. Введение Бизнес задача создание приложения по кнопке 01 1 1. Создать приложение в БД 2. Завести задачу в трекере 3. Дождаться аппрува от СИБ 7
8. Введение Бизнес задача создание приложения по кнопке 01 1 1. Создать приложение в БД 2. Завести задачу в трекере 3. Дождаться аппрува от СИБ 4. Запустить и дождаться CI 8
9. Введение Бизнес задача создание приложения по кнопке 01 1 1. Создать приложение в БД 2. Завести задачу в трекере 3. Дождаться аппрува от СИБ 4. Запустить и дождаться CI 5. Развернуть инфру 9
10. 02 Наивный подход на Django + Celery 10
11. Идеальный мир (Синхронный код) В мире, где сеть не моргает, а серверы не падают, код выглядит как спецификация. 11
12. Распределенная реальность (Celery) Берем Celery. Разрываем красивый код на куски (стейт-машину) и связываем через БД. 12
13. Серверы падают Воркер Celery может упасть (OOM, деплой) в самый неподходящий момент. Как это решают обычно: 1. Reconciler (Cron-джоба) 2. Transactional Outbox 13
14. Гонки Пример: Ручной рестарт 1. CI упал пока step4_poll_ci ждал в очереди. Пользователь жмет "Перезапустить CI". 2. Django запускает новый пайплайн: launch #2. 3. В брокере всё еще висит отложенная задача step4_poll_ci от первого запуска. 4. Старая задача просыпается, видит, что старый launch #1 упал, и пишет в БД: state = FAILED. 5. Итог: Новый launch #2 успешно работает, но приложение в БД уже помечено как упавшее.
15. Гонки Пример: Ручной рестарт 1. CI упал пока step4_poll_ci ждал в очереди. Пользователь жмет "Перезапустить CI". 2. Django запускает новый пайплайн: launch #2. 3. В брокере всё еще висит отложенная задача step4_poll_ci от первого запуска. 4. Старая задача просыпается, видит, что старый launch #1 упал, и пишет в БД: state = FAILED. 5. Итог: Новый launch #2 успешно работает, но приложение в БД уже помечено как упавшее.
16. Гонки Пример: Ручной рестарт 1. CI упал пока step4_poll_ci ждал в очереди. Пользователь жмет "Перезапустить CI". 2. Django запускает новый пайплайн: launch #2. 3. В брокере всё еще висит отложенная задача step4_poll_ci от первого запуска. 4. Старая задача просыпается, видит, что старый launch #1 упал, и пишет в БД: state = FAILED. 5. Итог: Новый launch #2 успешно работает, но приложение в БД уже помечено как упавшее.
17. Решение проблемы гонки – ввести поколения 17
18. Осознание Мы хотели просто создать приложение, а написали свой собственный Workflow Engine: 1.Стейт-машина в БД 2.Поллинг на отложенных задачах 3.Reconciler / Outbox для зависших процессов 4.Система поколений от гонок 03 18
19. Осознание Мы хотели просто создать приложение, а написали свой собственный Workflow Engine: 1.Стейт-машина в БД 2.Поллинг на отложенных задачах 3.Reconciler / Outbox для зависших процессов 4.Система поколений от гонок 03 И это для 5 шагов! В реальности в нашем проекте их ~20. Это 20 "Опасных зон". 19
20. Что такое Temporal? Описание раздела в одну или две строки 04 20
21. Что такое Temporal? Temporal - это клей для распределенных систем, который гарантирует, что ваша бизнес-логика выполнится до конца 04 21
22. Спасение (Код на Temporal) 22
23. Спасение (Код на Temporal) 23
24. Спасение (Код на Temporal) Workflow: Здесь описывается общая бизнес-логика процесса в виде кода. Обязан быть детерминированным. 24
25. Спасение (Код на Temporal) Workflow: Здесь описывается общая бизнес-логика процесса в виде кода. Обязан быть детерминированным. Activity: Содержит непосредственную бизнес-логику и выполняет конкретную задачу. Может быть недетерминированным. 25
26. Спасение (Код на Temporal) Workflow: Здесь описывается общая бизнес-логика процесса в виде кода. Обязан быть детерминированным. Activity: Содержит непосредственную бизнес-логику и выполняет конкретную задачу. Может быть недетерминированным. 26
27. Спасение (Код на Temporal) Ожидание выполнения определенного условия внутри Workflow. Не блокирует CPU 27
28. Спасение (Код на Temporal) Ожидание выполнения определенного условия внутри Workflow. Не блокирует CPU Обработчик обновлений Workflow. В данном случае переключает флаг для wait_condition 28
29. Спасение (Код на Temporal) Восстановление состояния. Если Workflow внезапно упал (например, из-за нехватки памяти или перезагрузки сервера), Temporal не теряет прогресс. 29
30. Спасение (Код на Temporal) Можем перезапустить Workflow из любой части истории выполнения Повисли в ожидании 30
31. Детерминизм и недетерминизм 05 31
32. Детерминизм и недетерминизм 05 Workflow обязан выдавать один и тот же результат при каждом запуске (Replay). 32
33. Детерминизм и недетерминизм 05 Недетермензм гарантированно приводит к поломке и остановке бизнес-процесса и его очень сложно потом чинить. 33
34. Строго запрещено внутри Workflow: datetime.now() random.random() uuid.uuid4() Сетевые запросы или походы в БД напрямую 34
35. Строго запрещено внутри Workflow: datetime.now() random.random() uuid.uuid4() Сетевые запросы или походы в БД напрямую Решение: Использовать детерминированные аналоги из SDK Temporal. 35
36. Проблема изменения кода Что если у нас 1000 запущенных процессов, а мы выкатили новый код, добавив шаг в середину? 36
37. Проблема изменения кода Что если у нас 1000 запущенных процессов, а мы выкатили новый код, добавив шаг в середину? При Replay старые процессы попытаются пройти по новому коду. История скажет: "следующий шаг B", а код скажет: "нет, теперь тут шаг C". 37
38. Проблема изменения кода Что если у нас 1000 запущенных процессов, а мы выкатили новый код, добавив шаг в середину? При Replay старые процессы попытаются пройти по новому коду. История скажет: "следующий шаг B", а код скажет: "нет, теперь тут шаг C". Решение 1: Использовать Inline Patching 38
39. Проблема изменения кода Что если у нас 1000 запущенных процессов, а мы выкатили новый код, добавив шаг в середину? При Replay старые процессы попытаются пройти по новому коду. История скажет: "следующий шаг B", а код скажет: "нет, теперь тут шаг C". Решение 2: Версионирование (Создание V2) 39
40. Проблема изменения кода Что если у нас 1000 запущенных процессов, а мы выкатили новый код, добавив шаг в середину? При Replay старые процессы попытаются пройти по новому коду. История скажет: "следующий шаг B", а код скажет: "нет, теперь тут шаг C". Решение 2: Версионирование (Создание V2) 1. Вы создаете CreateApplicationWorkflowV2. 2. Воркер слушает и V1, и V2. 3. Новые запросы идут в V2. Старые дорабатывают по V1. 40
41. Архитектура Temporal 06 41
42. Temporal Server ├ Task Queues ├ Event History ├ Timers / State 42
43. Temporal Server ├ Task Queues ├ Event History ├ Timers / State Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless 43
44. Temporal Server ├ Task Queues ├ Event History ├ Timers / State GRPC Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless 44
45. Temporal Server ├ Task Queues ├ Event History ├ Timers / State GRPC GRPC GRPC Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless 45
46. Temporal Server ├ Task Queues ├ Event History ├ Timers / State GRPC GRPC GRPC На старте Workflow история событий Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless 46
47. Temporal Server ├ Task Queues ├ Event History ├ Timers / State На старте Workflow история событий GRPC GRPC GRPC Запланируй activity Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless 47
48. Temporal Server ├ Task Queues ├ Event History ├ Timers / State На старте Workflow история событий GRPC GRPC GRPC Запланируй activity Выполни activity Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless 48
49. Temporal Server ├ Task Queues ├ Event History ├ Timers / State На старте Workflow история событий GRPC GRPC GRPC Запланируй activity Выполни activity Результат Activity Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless Worker Process ├ Workflow Code ├ Activity Code ├ SDK ├ Stateless 49
50. Python SDK Temporal 07 50
51. Temporal Python SDK запускает код Workflow в строгой песочнице (sandbox), чтобы защитить вас от случайного недетерминизма. Песочница перехватывает импорты и блокирует доступ к сети, файловой системе и потокам. 51
52. Temporal Python SDK запускает код Workflow в строгой песочнице (sandbox), чтобы защитить вас от случайного недетерминизма. Песочница перехватывает импорты и блокирует доступ к сети, файловой системе и потокам. Решение: Прокинуть модуль в песочницу можно через imports_passed_through 52
53. Temporal Python SDK построен вокруг asyncio Но позволяет запускать синхронный код внутри Activities. 53
54. Temporal Python SDK построен вокруг asyncio Но позволяет запускать синхронный код внутри Activities. 54
55. Сборка и запуск Воркера 55
56. Сборка и запуск Воркера Определяем какие Workflows и Activities будут работать в воркере 56
57. Сборка и запуск Воркера Определяем как будут запускаться синхронные activities, через потоки или процессы Определяем какие Workflows и Activities будут работать в воркере 57
58. Сборка и запуск Воркера Определяем как будут запускаться синхронные activities, через потоки или процессы Определяем какие Workflows и Activities будут работать в воркере Декоратор async_to_sync для запуска воркера в синхронном коде 58
59. Выводы 08 59
60. Выводы 08 Когда брать Temporal Сложные бизнес-процессы (много шагов) Long-running flows (ожидание днями) Нужна надежность при падениях 60
61. Выводы 08 Когда НЕ брать Простые фоновые задачи (Celery) Cron без состояния (Celery Beat) Коротко живущие процессы 61
62. Вопросы? Ларин Андрей Старший разработчик 62