Рефакторинг монолита в микросервисы на Go

Слайды с выступления на GDG DevFest 2016 в Алматы и Бишкеке

Transcript

1. Рефакторинг монолита в микросервисы на Go Минкин Андрей
2. Кто я • TeamLead в MadDevs.io • Nambataxi.com • Nambafood.kg • Cybernamba.com • Kuppi.kg • Moika.kg • House.kg
3. Namba Taxi • 4 года на рынке Бишкека
4. Namba Taxi • 4 года на рынке Бишкека • Не менее 8к заказов в сутки
5. Namba Taxi • 4 года на рынке Бишкека • Не менее 8к заказов в сутки • 600+ водителей на линии
6. Namba Taxi • 4 года на рынке Бишкека • Не менее 8к заказов в сутки • 600+ водителей на линии • 300к довольных клиентов
7. Namba Taxi • 4 года на рынке Бишкека • Не менее 8к заказов в сутки • 600+ водителей на линии • 300к довольных клиентов • 300 рпс на серверах
8. AVG response time • Водители 20 ms • Операторы 2.5 ms
9. Что такое такси
10. Что такое такси • Клиенты • Водители • Операторы КЦ • Контроль качества • Back office
11. Как вызвать такси
12. Как вызвать такси • Приложение
13. Как вызвать такси • Приложение • СМС
14. Как вызвать такси • Приложение • СМС • Сайт
15. Как вызвать такси • Приложение • СМС • Сайт • IPTV
16. Как вызвать такси • Приложение • СМС • Сайт • IPTV • Сторонние приложения (вызов по API)
17. Как вызвать такси • Приложение • СМС • Сайт • IPTV • Сторонние приложения (вызов по API) • Позвонить оператору
18. Водители
19. Водители
20. Что делает оператор
21. Что делает оператор • Клиенты • Входящие/исходящие звонки
22. Что делает оператор • Клиенты • Входящие/исходящие звонки • Заказы • Наблюдение
23. Что делает оператор • Клиенты • Входящие/исходящие звонки • Заказы • Наблюдение • Водители • Тревога • Подержка
24. Контроль качества
25. Back-office • Отчеты • Отчеты • Отчеты
26. Что по архитектуре • SOA
27. Что по архитектуре • SOA • Redis
28. Storage • Percona • Redis • Elasticsearch
29. Что по архитектуре • Django монолит • Go, Twisted
30. Раньше • Ruby • Node.js
31. Сервисы? Какие сервисы • Отправщик пушей.
32. Сервисы? Какие сервисы • Отправщик пушей. • Отправщик СМС
33. Сервисы? Какие сервисы • Отправщик пушей. • Отправщик СМС • Backend для водителей
34. Сервисы? Какие сервисы • Отправщик пушей. • Отправщик СМС • Backend для водителей • Бекенд для клиентов
35. А еще у нас есть Docker
36. Что в Django • Отдел контроля качества • Прием платежей • Учетное ядро • Отчеты • API для водителей • Менеджерская для управления
37. Проблемы • Приложение – один большой кусок, который нужно выкатывать очень часто • Невозможно параллельно, многопоточно выполнять какие- то задачи • Много интеграций со сторонними сервисами
38. Решения • Поддерживать существующее и жить дальше • Все переписать :trollface:
39. И пока не случилось
40. Давай в микросервисы
41. Давай в микросервисы
42. Микросервисы • Маленькие
43. Микросервисы • Маленькие • Сфокусированные
44. Микросервисы • Маленькие • Сфокусированные • Слабосвязанные
45. Микросервисы • Маленькие • Сфокусированные • Слабосвязанные • Высокосогласованные
46. Микросервисы • Малый размер • Тонкое масштабирование • Быстрый деплой • Легкость тестирования • Любой язык
47. Синхронный подход © Nginx.com
48. Асинхронный подход © Nginx.com
49. А почему Go • Строготипизированный • Компилируемый • Goroutine • sync.WaitGroup
50. Что есть в Go • Go-kit • Gizmo • Micro • Echo • Gin • Mux
51. Как рефакторить • Четкие границы в коде между модулями
52. Как рефакторить • Четкие границы в коде между модулями • Понимание, что выносить
53. Как рефакторить • Четкие границы в коде между модулями • Понимание, что выносить • Нет повторений в коде и копипасты
54. Как рефакторить • Четкие границы в коде между модулями • Понимание, что выносить • Нет повторений в коде и копипасты • Тесты
55. Как рефакторить • Четкие границы в коде между модулями • Понимание, что выносить • Нет повторений в коде и копипасты • Тесты • Много тестов
56. Как рефакторить • Четкие границы в коде между модулями • Понимание, что выносить • Нет повторений в коде и копипасты • Тесты • Много тестов • Очень много тестов
57. Tradeoffs
58. Tradeoffs • Latency
59. Tradeoffs • Latency • Распределенные блокировки
60. Tradeoffs • Latency • Распределенные блокировки • Eventual consistency
61. Разделение на микросервисы • Учетное ядро ака биллинг • Сервис отчетов • Сервис тарификации • Операторская • Бекенд водителей
62. Ок, кто первый? • Учетное ядро ака биллинг
63. Наш путь • Синхронный подход • Проще • Легче • В случае фейла все повторится • HTTP REST API • Go • Echo • GORM • JWT
64. Наш путь • Написали на Go • Написали тестов • Написали e2e тесты • Прогнали все • Собрали в докер • Спланировали • Задеплоили
65. Заблуждения
66. Заблуждения • Более чистый код
67. Заблуждения • Более чистый код • Это легче
68. Заблуждения • Более чистый код • Это легче • Это быстрее
69. Заблуждения • Более чистый код • Это легче • Это быстрее • Это лучше для инженеров
70. Заблуждения • Более чистый код • Это легче • Это быстрее • Это лучше для инженеров • Это лучше масштабируется
71. Какие бенефиты?
72. Какие бенефиты? • Меньше расход ресурсов
73. Какие бенефиты? • Меньше расход ресурсов • Можем масштабировать отдельную фичу
74. Какие бенефиты? • Меньше расход ресурсов • Можем масштабировать отдельную фичу • Поддерживать код стало чуть легче
75. Какие проблемы и подводные камни • Конкурентный доступ • Балансировка
76. Конкурентный доступ • Percona • Транзакции + select … for update • Redis • Setnx
77. Балансировка • Неравномерное использование ресурсов
78. Выводы
79. Выводы • Не нужно добавлять сетевое ограничение чтобы оправдать написание лучшего кода
80. Выводы • Не нужно добавлять сетевое ограничение чтобы оправдать написание лучшего кода • Распределенные транзакции никогда не легче
81. Выводы • Не нужно добавлять сетевое ограничение чтобы оправдать написание лучшего кода • Распределенные транзакции никогда не легче • К микросервисам нужно прийти
82. Выводы • Не нужно добавлять сетевое ограничение чтобы оправдать написание лучшего кода • Распределенные транзакции никогда не легче • К микросервисам нужно прийти • Лучше планируйте
83. Выводы • Не нужно добавлять сетевое ограничение чтобы оправдать написание лучшего кода • Распределенные транзакции никогда не легче • К микросервисам нужно прийти • Лучше планируйте • Преждевременно не оптимизируйте
84. Выводы • Не нужно добавлять сетевое ограничение чтобы оправдать написание лучшего кода • Распределенные транзакции никогда не легче • К микросервисам нужно прийти • Лучше планируйте • Преждевременно не оптимизируйте • Рефакторите итеративно
85. Вопросы?
86. Контакты • https:/ /github.com/maddevsio • https:/ /github.com/gen1us2k • chaka@maddevs.io • http:/ /gen1us2k.com • Слайды • http:/ /bit.ly/gdgalmaty2016