Как отпилить часть монолита и завернуть ее в Go-микросервис – Павел Лакосников

Transcript

1. 1 Павел Лакосников Как отпилить часть монолита и завернуть ее в Go-микросервис
2. Для чего Авито микросервисы - Долго и трудно тестировать* - Сложный и большой поток изменений* - Долго деплоить и откатывать* - Высокая связность кода и большие издержки времени при разработке* + Легче протестировать* + Малое количество единовременных изменений* + Быстро деплоить и откатывать* + Меньшая связность* Монолит Микросервис 2
3. * Не пытайтесь повторить это дома !3
4. Сервис сессий !4
5. Что представляли из себя сессии раньше •Redis •Правила формирования ключей !5
6. • Генерация sessionID — уникального cookie посетителя • Привязка sessionID к UserID • Хранение данных, связанных непосредственно с сессией !6
7. • 528 млн ключей в Redis кластере • 200 гигабайт данных • 400к RPS операций с данными !7
8. Почему не JWT !8 • Легаси приложений • Желание держать единый способ авторизации • Возможность управления выписанными сессиями
9. Исследование бизнес-области !9 Исследование бизнес-логики Модуляризация Написание сервиса Развязка внешних зависимостей Переключение нагрузки Окончательный вынос из монолита
10. • Кто потребитель? • Какие задачи и сценарии решает? • Какие зависимости? • Какие NFR/SLA? !10
11. Кто потребитель? !11
12. Кто использует сервис сессий •Мессенджер •Сервис гейтвея •Сервис объявлений •Сервис профилей •Сервис авторизации !12
13. Задачи сервиса !13
14. Сервис сессий до исследования 14
15. 15 Сервис сессий после исследования
16. 16 Сервис сессий после исследования
17. 17 Сервис сессий после исследования
18. Зависимости !18
19. •Базы данных, хранящие наши сущности •Список других сервисов, в которые делаются запросы 19
20. Зависимости сервиса сессий 1. PostgreSQL • Хранение refresh-tokens • Хранение истории • Триггеры, хранимые процедуры, вложенные подзапросы 20 2. Redis • Хранение основных данных 3. Другие сервисы • Сервис пользователей • Шина данных
21. NFR/SLA !21
22. !22 Response time Error rate P75 P99 P99.9 1мс 10мс 25мс 99.99
23. В итоге получим !23
24. •API сервиса •Список внешних зависимостей •Требование к надежности 24
25. !25 Модуляризация !25 Исследование бизнес-логики Модуляризация Написание сервиса Развязка внешних зависимостей Переключение нагрузки Окончательный вынос из монолита
26. Как выглядел код в монолите !26
27. Роутеры 27
28. Бэкофис 28
29. Авторизация 29
30. Мессенджер 30
31. Наследники 31
32. Модуляризация 1.Собираем код в отдельный модуль 2.Пишем тесты 3.Подключаем как внешнюю библиотеку !32
33. Зачем? •Контроль за изменениями •Изоляция всех внешних зависимостей •Проверка удобства API •Первичное исследование предполагаемой нагрузки 33
34. Зачем? •Контроль за изменениями •Изоляция всех внешних зависимостей •Проверка удобства API •Первичное исследование предполагаемой нагрузки 34
35. Зачем? •Контроль за изменениями •Изоляция всех внешних зависимостей •Проверка удобства API •Первичное исследование предполагаемой нагрузки 35
36. Зачем? •Контроль за изменениями •Изоляция всех внешних зависимостей •Проверка удобства API •Первичное исследование предполагаемой нагрузки 36
37. В итоге получим !37
38. •Отдельный модуль, содержащий логику микросервиса •Модуль подключен к монолиту как внешняя библиотека •Монолит отрефакторен под использование интерфейса модуля 38
39. Пишем сам сервис !39 Исследование бизнес-логики Модуляризация Написание сервиса Развязка внешних зависимостей Переключение нагрузки Окончательный вынос из монолита
40. Не забывать про то, что сервис на GO •Memory-кеш •Удобные Goroutines •Асинхронность •Пулы коннектов •Добавляем Circuit Breaker 40
41. Стандартизируйте разработку !41 •Общий boilerplate для сервисов •Общий протокол •Общий формат описания API •Общий набор метрик
42. Метрики 42 • Memory • CPU • Тротлинг • Рестарты реплик • Общая нагрузка в разрезе потребителя
43. Метрики 43 • RPS в разрезе методов и кодов • Server ResponseTime • Client ResponceTime • Состояние пулов коннектов • ErrorRate и ResponceTime при работе с хранилищами • Объемы сохраняемых данных
44. Промежуточный этап !44
45. Промежуточная схема сервиса сессий !45 Сервис Другие сервисы Монолит session service База Монолита Redis storage Redis кеш Шина данных Сервис пользователей База Сервис События авторизации Репликация Запись Чтение
46. Итоговая схема сервиса сессий !46 Сервис Другие сервисы session service Redis storage Redis кеш Шина данных Сервис пользователей База Сервис События авторизации Чтение и запись
47. Работа с базой данных. 
 Как ее отпилить? 47
48. Трудности •Структура хранилища не готова к выносу •Триггеры, хранимые процедуры базы, view, подзапросы и join’ы •Сильно денормализованный способ хранения данных сервиса •Постоянная REALTIME нагрузка •Сложность в переключении 48
49. Трюки •Работа над инкапсуляцией данных сервиса в одном месте •Сервис использует отдельного пользователя с доступом только в нужные таблицы при работе с монолитом •Используем кеш 49
50. Кеш на промежуточном этапе распила • Ускорение ответа • Снижение нагрузки на базу • … 50
51. Консистентность! !51
52. Запрос на запись Клиент Сервис База сервиса База монолита Ответ 200 Репликация Создать id 123 Сохранение в базу Прочитать id 123 Чтение id 123 Ответ 404 !52
53. Запрос на запись Клиент Сервис База сервиса База монолита Ответ 200 Репликация Создать id 123 Сохранение в базу Прочитать id 123 Чтение id 123 Ответ 200 Кеш Сохранили Запись в кеш !53
54. В итоге получим !54
55. •Микросервис с публичным API, совпадающий с модулем •Без живой нагрузки •Использующий две базы (свою и базу монолита) 55
56. Даём нагрузку на сервис !56 Исследование бизнес-логики Модуляризация Написание сервиса Развязка внешних зависимостей Переключение нагрузки Окончательный вынос из монолита
57. Переключение трафика 57
58. !58
59. Режим компаратора !59
60. Сравнение ответов !60
61. Переключение боевой нагрузки !61
62. В итоге получим !62
63. •Микросервис обрабатывает 100% нагрузки •Модуль в монолите перестал использоваться 63
64. Окончательный вынос из монолита !64 Исследование бизнес-логики Модуляризация Написание сервиса Развязка внешних зависимостей Переключение нагрузки Окончательный вынос из монолита
65. Промежуточная схема сервиса сессий !65 Сервис Другие сервисы Монолит session service База Монолита Redis storage Redis кеш Шина данных Сервис пользователей База Сервис События авторизации Репликация Запись Чтение
66. Итоговая схема сервиса сессий !66 Сервис Другие сервисы session service Redis storage Redis кеш Шина данных Сервис пользователей База Сервис События авторизации Чтение и запись
67. •Пишем в свою базу в сервисе вместо монолита •Удаляем из базы монолита неиспользуемые сущности •Удаляем модуль из монолита 67
68. !68
69. Что в итоге получилось !69 !69 !69 !69 Исследование бизнес-логики Модуляризация Написание сервиса Развязка внешних зависимостей Переключение нагрузки Окончательный вынос из монолита
70. Что хорошо •Покрытие тестами подняли до 90% •Оптимизировали сериализацию данных •Ускорили всех потребителей •Получили возможность масштабироваться независимо от монолита 70
71. Что плохо • Сервис-мейкер теперь немножко девопс • Неоднократно в процессе выноса сервис падал • Бесшовная выкатка — это трудно 71
72. !72 Итоговая схема
73. •Исследование бизнес-области •Модуляризация •Написание сервиса •Развязка внешних зависимостей •Переключение нагрузки •Окончательный вынос из монолита 73
74. Спасибо за внимание !74 facebook: https://www.facebook.com/shaman.s.bubnom telegram: shaman_s_bubom