Решение проблемы консистентности распределенных данных в микросервисах для Python-проектов

Павел Лонкин (Ingram Micro Cloud) @ Moscow Python Meetup 64
"Сталкивались ли вы с проблемой: как быть с разделяемыми данными для приложения с микросервисной архитектурой? Как держать их в консистентом состоянии? Как сделать так, чтобы API для работы с этими данными не тормозили? Расскажу, какой подход мы выбрали в рамках нашего продукта и почему".
Видео: http://www.moscowpython.ru/meetup/64/data-consistency/

Transcript

1. РЕШЕНИЕ ПРОБЛЕМЫ КОНСИСТЕНТНОСТИ РАСПРЕДЕЛЕННЫХ ДАННЫХ В МИКРОСЕРВИСАХ ДЛЯ PYTHON-ПРОЕКТОВ
2. Pavel.lonkin@ingrammicro.com @d3rky Лонкин Павел Ingram Micro Cloud Team Lead
5. Service A Service B Model A Model B
6. AuthN & AuthZ Reports Account Report User
7. Требования 1. Не добавлять жестких связей между сервисами 2. Поддержка разных баз данных 3. Простота решения 4. Минимальная дублирование данных 5. Возможность доступа к массиву данных 6. Целостность данных
8. Требования к API
10. Общая БД
11. Композиция API
12. Композиция API Использует готовые API Дополнительные запросы Производительность при запросе списка Сложно фильтровать по полям объектов, на которые ссылаемся
13. Репликация Базы Данных Database A Replica А Service A Database B Service B
14. Репликация Базы Данных Работает из коробки Целостность данных Database A Replica А Service A Database B Service B
15. Репликация Базы Данных Работает из коробки Целостность данных Жесткая связь Нельзя использовать разные базы Нельзя сделать частичную репликацию таблицы Дублирование данных Database A Replica А Service A Database B Service B
16. Программная репликация Database A Service A Database B Service B Message Brocker
17. Программная репликация Целостность данных Эффективный доступ Удобный доступ к связанным данным Частичная репликация Database A Service A Database B Service B Message Brocker
18. Программная репликация Целостность данных Эффективный доступ Удобный доступ к связанным данным Сохраняем только те данные, которые требуются Дублирование данных Eventual Consistency Database A Service A Database B Service B Message Brocker
19. Требования к решению • Поддержка Django Models • Должно быть просто сказать какие модели отправляем • Должно быть просто сказать какие модели должны слушать изменения • Должна быть возможность синхронизировать данные или срез данных по запросу
20. AuthN & AuthZ Reports Account Report User
21. AuthN & AuthZ Reports
22. AuthN & AuthZ Reports
23. AuthN & AuthZ Reports
24. AuthN & AuthZ Reports
25. AuthN & AuthZ DB Reports DB Account Report User
26. AuthN & AuthZ DB Reports DB Account Report User Signals RabbitMQ
27. AuthN & AuthZ DB Reports DB Account AccountReference Report User UserReference Signals RabbitMQ
28. AuthN & AuthZ DB Reports DB Account AccountReference Report User UserReference Sidecar RabbitMQ Signals
29. Resync • Простая Django команда • Умеет пересылать сообщения для конкретной модели • Умеет пересылать сообщения для среза данных
30. Результаты • Решили проблему в соответствии с требованиями • Написали библиотеку • Это стало работать быстро • Разработчики счастливы • Клиенты счастливы
31. Todo • Bulk операции (create, update, delete) • Поддержать миграцию source модели на target модели • Open source
32. Todo • Bulk операции (create, update, delete) • Поддержать миграцию source модели на target модели • Open source
33. Todo • Bulk операции (create, update, delete) • Поддержать миграцию source модели на target модели • Open source
34. Pavel.lonkin@ingrammicro.com @d3rky