Как поддерживать согласованность в микросервисной архитектуре

Как мы поддерживаем согласованность API между микросервисами в ЦИАН.
Выступление на PyCon Russia 2018

Transcript

1. 1 Как поддерживать согласованность API в микросервисной архитектуре Максим Мазаев
2. О себе - Работаю в ЦИАН, пишу на Python - 5 лет в разработке 2
3. О ЦИАН - 11 млн покупателей и арендаторов в месяц - Ресурс федерального уровня - 10x разработка за 2014-2018 3
4. Почему вам будет интересно? 4 Мы прошлись по граблям И делимся опытом
5. 2016 год Монолит на Django 5
6. 2016 год Монолит на Django 6 2018 год 100+ микросервисов Python, С#, Node.js *и остатки монолита
7. Почему мы используем микросервисы? 7 • Легче поддерживать и релизить
8. Почему мы используем микросервисы? 8 • Легче поддерживать и релизить • Ограниченная зона ответственности
9. Почему мы используем микросервисы? 9 • Легче поддерживать и релизить • Ограниченная зона ответственности • Платформонезависимость
10. Почему мы используем микросервисы? 10 • Легче поддерживать и релизить • Ограниченная зона ответственности • Платформонезависимость • Масштабирование
11. Почему мы используем микросервисы? 11 • Легче поддерживать и релизить • Ограниченная зона ответственности • Платформонезависимость • Масштабирование • Отказоустойчивость
12. Но есть и проблемы 12 • Накладные расходы на каскадные вызовы
13. Но есть и проблемы 13 • Накладные расходы на каскадные вызовы • Много точек отказа
14. Но есть и проблемы 14 • Накладные расходы на каскадные вызовы • Много точек отказа • Сложно поддерживать согласованность
15. • Не знаем, кто потребитель микросервиса Проблема согласованности 15
16. • Не знаем, кто потребитель микросервиса • Мы не защищены от одностороннего изменения контракта Проблема согласованности 16
17. • Не знаем, кто потребитель микросервиса • Мы не защищены от одностороннего изменения контракта • Меняется семантика поля существующего контракта, а мы не в курсе Проблема согласованности 17
18. • Не знаем, кто потребитель микросервиса • Мы не защищены от одностороннего изменения контракта • Меняется семантика поля существующего контракта, а мы не в курсе • Сложно поддерживать множество микросервисов Проблема согласованности 18
19. Контракты API 19 HTTP API - Найти пользователя по ID - Получить список объявлений
20. Контракты API 20 Отчетные события RabbitMQ Информируем внешний мир о результатах своей работы - Пользователь сменил тариф - Объявление отредактировано
21. Контракты API 21
22. Проблема №1. Кто клиент API? 22 /api/v1/get_data → /api/v2/get_data Хотим обновить всех клиентов и не поддерживать устаревшую версию Но как их найти?
23. Решение. Фиксируем контракты 23 pip install marshmallow - Описываем Request/Response схемы - Сериализуем/Десериализуем - Валидируем
24. Решение. Фиксируем контракты 24 class CreateUserRequestSchema(Schema): name = fields.String(required=True) age = fields.Integer() >>> schema = CreateUserRequestSchema() >>> user = schema.load({'name': 'Ivan'}) <User(name='Ivan')> >>> schema.dump(user) {'name': 'Ivan'}
25. Запросы к микросервисам 25 # фабрика API-клиентов users_api = Api(‘users’) get_user = users_api.make_client( path='/v1/get-user-by-id', method=GET, request_schema=GetUserSchema, response_schema=GetUserResponseSchema, ) user = get_user(id=1)
26. Решение. Генерируем Swagger 26 Зафиксировали схемы - можем сгенерировать Swagger - HTTP API - HTTP API клиентов - Отчетные события RabbitMQ
27. Решение. Генерируем Swagger 27 m_name = '%s.http.apis' % APP_NAME module = importlib.import_module(m_name) for obj in module.__dict__.values(): if isinstance(obj, Api): yield obj Получаем информацию об API-клиентах Генерируем Swagger и отдаем его по адресу <microservice_host>/swagger/
28. Несогласованность контрактов - боль Проблема №2. Кто сломал API? 28
29. Несогласованность контрактов - боль • Мы знаем все связи между микросервисами • Давайте на лету проверять согласованность Проблема №2. Кто сломал API? 29
30. github/zallek/swagger-diff/ error-code Решение. Сравниваем схемы клиента и сервера 30 В методе /api/get-map-data/ есть обязательное поле location, которого нет в microservice-offers delete-object- property-required error-description
31. Решение. Сравниваем схемы клиента и сервера 31 Встраиваем проверку в Jenkins-flow
32. • Контракт соответствует • Бизнес-логика вычисления поля изменилась. Проблема №3. Сломалась бизнес-логика 32
33. Решение. Автотесты 33 Запускаем тесты на проде каждый час Генерируем запросы по swagger-схеме Смотрим отчеты в Allure Framework
34. Хотим: - своевременно обновлять зависимости - всегда иметь под рукой swagger Проблема №4. Микросервисов стало слишком много 34
35. 35 Решение. Реестр микросервисов
36. - Все микросервисы - Все зависимости Решение. Реестр микросервисов 36 - Актуальность зависимостей - swagger-схемы
37. Бонус. Кодогенерация API- клиентов 37 [cian-codegen:users] swagger_url = users.msc.cian.ru/swagger/ output_dir = repositories/users_repository paths = /v1/get-user-by-email/ Задача: - Писать меньше кода - Абстрагировать разработчика от HTTP-вызовов
38. Бонус. Кодогенерация API- клиентов 38 user = get_user_by_email(‘user@example.org’) <User(id=8793874, name='Ivan')> Результат: - Генерируем схемы и API-клиенты - Работаем с API сервиса как с обычной функцией
39. Выводы 39 • Фиксируем схемы запросов
40. Выводы 40 • Фиксируем схемы запросов • Автоматизируем проверку в CI
41. Выводы 41 • Фиксируем схемы запросов • Автоматизируем проверку в CI • Пишем функциональные автотесты API
42. Выводы 42 • Фиксируем схемы запросов • Автоматизируем проверку в CI • Пишем функциональные автотесты API • Больше кодогенерации!
43. ? Максим Мазаев email: mazaev.maxim@gmail.com facebook.com/mazaev.maksim