Как и зачем мы сделали своё чат-решение?

Мое выступление на конференции CrossConf 09-10 сентября 2022 года. Я рассказываю о том как мы сделали свою омниканальную чат-платформу.

https://www.youtube.com/watch?v=rlgPOJdWgJY

Transcript

1. { Денис Аникин https://xfenix.ru Как и зачем мы сделали своё чат- решение?
2. Денис Аникин 2 Кто я такой: — работаю в Райффайзен банке https://xfenix.ru
3. Денис Аникин 3 Кто я такой: — работаю в Райффайзен банке — team lead в команде Chat https://xfenix.ru
4. Денис Аникин 4 Кто я такой: — работаю в Райффайзен банке — team lead в команде Chat — community lead в Python Community https://xfenix.ru
5. Денис Аникин 5 Кто я такой: — работаю в Райффайзен банке — team lead в команде Chat — community lead в Python Community — fullstack: разрабатываю на back на python и front на typescript, занимаюсь devops https://xfenix.ru
6. Тем, кто делает свои решения, связанные с чатами Кому будет полезна презентация? 6 1
7. Тем, кто делает свои решения, связанные с чатами Кому будет полезна презентация? 7 1 Тем, кто делает решения, связанные с websocket 2
8. Тем, кто делает свои решения, связанные с чатами Кому будет полезна презентация? 8 1 Тем, кто делает решения, связанные с websocket 2 Тем, кто пишет или хочет писать на python 3
9. Тем, кто делает свои решения, связанные с чатами Кому будет полезна презентация? 9 1 Тем, кто делает решения, связанные с websocket 2 Тем, кто пишет или хочет писать на python 3 Тем, кто работает с микросервисной архитектурой 4
10. 5 Тем, кто делает свои решения, связанные с чатами Кому будет полезна презентация? 10 1 Людям, которым интересны кейсы успешной продуктовой разработки Тем, кто делает решения, связанные с websocket 2 Тем, кто пишет или хочет писать на python 3 Тем, кто работает с микросервисной архитектурой 4
11. 5 Тем, кто делает свои решения, связанные с чатами Кому будет полезна презентация? 11 1 Людям, которым интересны кейсы успешной продуктовой разработки Тем, кто делает решения, связанные с websocket 2 Тем, кто выбирает стек для проектов 6 Тем, кто пишет или хочет писать на python 3 Тем, кто работает с микросервисной архитектурой 4
12. 5 Тем, кто делает свои решения, связанные с чатами Кому будет полезна презентация? 12 1 Людям, которым интересны кейсы успешной продуктовой разработки Тем, кто делает решения, связанные с websocket 2 Тем, кто выбирает стек для проектов 6 Тем, кто пишет или хочет писать на python 3 Тем, кто работает с микросервисной архитектурой 4 Тем, кому интересны лайфхаки из продакшена 7
13. Что делает наша система? 13
14. 14 Наша система Чат-решение WA TG Моб. приложения Веб … Операторы
15. Что было не так с решением до этого? 15
16. Расскажу о том, что было 16 — Это «коробка» Поговорим о плюсах
17. Расскажу о том, что было 17 — Это «коробка» — Омниканальность и все необходимые функции в наличи Поговорим о плюсах
18. Расскажу о том, что было 18 — Это «коробка» — Омниканальность и все необходимые функции в наличи — Есть админка: РМО (рабочее место оператора), РМГ/РМС (рабочее место главного специалиста/супервизора) Поговорим о плюсах
19. А теперь о минусах 19 И это не для всех будет так — Абонентская плата
20. А теперь о минусах 20 И это не для всех будет так — Абонентская плата — Производительность
21. А теперь о минусах 21 И это не для всех будет так — Абонентская плата — Производительность — Безопасность
22. А теперь о минусах 22 И это не для всех будет так — Абонентская плата — Производительность — Безопасность — Качество
23. Что не так с доработками? 23 — Разработка велась медленно и непредсказуемо — Доработки нередко могли попадать в основную систему и к конкурентам К сожалению, в крупной системе без них никак
24. Производительность 24 Самое сложное Внутри системы находилось ядро на python 2.7 Не использовалась нативная асинхронность Система не поддерживала масштабирование вообще (никакое!)
25. В чём проблема с асинхронность? 25 Ответ запутанный — это GIL
26. В чём проблема с асинхронность? 26 Ответ запутанный — это GIL
27. А что с масштабированием? 27 Вот это самое печальное — Не вертикальное — Не горизонтальное … — Никакое!
28. Архитектура 28
30. 30 Ключевые технологии
31. 31 Ключевые технологии Кстати, есть ещё dragonfly и skytable
33. Почему keydb? 33
34. Настройка кластера 34 Про HA — у нас 3 реплики
35. Настройка кластера 35 Про HA — у нас 3 реплики — а так же 3 sentinel
36. Настройка кластера 36 Про HA — у нас 3 реплики — а так же 3 sentinel — всё ради HA и быстрого failover
37. Настройка кластера 37 Про HA — у нас 3 реплики — а так же 3 sentinel — всё ради HA и быстрого failover — мы не используем шардирование
39. Лайфхак из продакшена #1 39 Супер важно Вам необходимо мониторить количество коннекшенов
40. Лайфхак из продакшена #1 40 Супер важно Вам необходимо мониторить количество коннекшенов
41. Лайфхак из продакшена #2 41 Ещё важнее — Вам необходим пулинг соединений со стороны приложений
42. Лайфхак из продакшена #2 42 Ещё важнее — Вам необходим пулинг соединений со стороны приложений — Наиболее это важно для высококонкурентных приложений: асинхронных, например, или полагающихся на green threads
43. Лайфхак из продакшена #2 43 Ещё важнее — Вам необходим пулинг соединений со стороны приложений — Наиболее это важно для высококонкурентных приложений: асинхронных, например, или полагающихся на green threads — Вам может понадобится ограничивать concurrency со стороны приложения
45. Почему docker & kubernetes? 45
46. 46 Ну в конце концов 2022 год на дворе…
47. Почему Kubernetes? 47 И мы выбираем подход «оркестрация» (не будем о «хореографии») У нас > 1 машины
48. Почему Kubernetes? 48 И мы выбираем подход «оркестрация» (не будем о «хореографии») У нас > 1 машины ReplicaSet, HPA и еще несколько концепций — и мы в дамках Нам нужно масштабирование
49. Почему Kubernetes? 49 И мы выбираем подход «оркестрация» (не будем о «хореографии») У нас > 1 машины ReplicaSet, HPA и еще несколько концепций — и мы в дамках Нам нужно масштабирование Здесь на помощь спешит control loop, probes, service mesh и много всего разного Нам нужна надежность
50. Почему Kubernetes? 50 И мы выбираем подход «оркестрация» (не будем о «хореографии») У нас > 1 машины ReplicaSet, HPA и еще несколько концепций — и мы в дамках Нам нужно масштабирование Здесь на помощь спешит control loop, probes, service mesh и много всего разного Нам нужна надежность Разработчики сами описывают то как их сервисы работают в продакшене Мы желаем удобства разработчикам
51. Почему Kubernetes? 51 И мы выбираем подход «оркестрация» (не будем о «хореографии») У нас > 1 машины ReplicaSet, HPA и еще несколько концепций — и мы в дамках Нам нужно масштабирование Здесь на помощь спешит control loop, probes, service mesh и много всего разного Нам нужна надежность Разработчики сами описывают то как их сервисы работают в продакшене Мы желаем удобства разработчикам Никаких больше тонн баш скриптов, разбросанных по компьютерам и запрятанных под мастрас ансибл плейбуков Мы хотим IAC
52. Почему Kubernetes? 52 И мы выбираем подход «оркестрация» (не будем о «хореографии») У нас > 1 машины ReplicaSet, HPA и еще несколько концепций — и мы в дамках Нам нужно масштабирование Здесь на помощь спешит control loop, probes, service mesh и много всего разного Нам нужна надежность Разработчики сами описывают то как их сервисы работают в продакшене Мы желаем удобства разработчикам Никаких больше тонн баш скриптов, разбросанных по компьютерам и запрятанных под мастрас ансибл плейбуков Мы хотим IAC Техника, которую довольно трудно реализовывать руками, здесь нам достается вообще бесплатно! Rolling update
53. Почему python? 53
54. Сложно объяснить…
55. Давайте о плюсах Python 55 Нас интересует версия 3 конечно Асинхронность из коробки 1
56. Давайте о плюсах Python 56 Нас интересует версия 3 конечно Асинхронность из коробки 1 Динамическая типизация == разработка очень быстрая 2
57. Давайте о плюсах Python 57 Нас интересует версия 3 конечно Асинхронность из коробки 1 Динамическая типизация == разработка очень быстрая 2 Аннотации типов устраняют проблемы предыдущего пункта 3
58. Давайте о плюсах Python 58 Нас интересует версия 3 конечно Асинхронность из коробки 1 Динамическая типизация == разработка очень быстрая 2 Аннотации типов устраняют проблемы предыдущего пункта 3 Язык #1 по куче рейтингов 4
59. Давайте о плюсах Python 59 Нас интересует версия 3 конечно Асинхронность из коробки 1 Динамическая типизация == разработка очень быстрая 2 Аннотации типов устраняют проблемы предыдущего пункта 3 Язык #1 по куче рейтингов 4 Производительности хватает на приличную нагрузку + язык серьезно ускоряется 5
60. Давайте о плюсах Python 60 Нас интересует версия 3 конечно Асинхронность из коробки 1 Динамическая типизация == разработка очень быстрая 2 Аннотации типов устраняют проблемы предыдущего пункта 3 Язык #1 по куче рейтингов 4 Производительности хватает на приличную нагрузку + язык серьезно ускоряется 5 Есть миллион готовых библиотек 6
63. Выводы по Python 63 Мое спорное мнение Python — первый язык, с которого вы можете начать любой бекенд
64. Выводы по Python 64 Мое спорное мнение Python — первый язык, с которого вы можете начать любой бекенд Когда вам не хватает его скорости, вы берете go, java/kotlin или rust
65. Kafka 65
66. Её плюсы 66 Всё из-за её архитектуры Потрясющая скорость
67. Её плюсы 67 Всё из-за её архитектуры Потрясющая скорость Наши сообщения надежно хранятся и доставляются Отменная надежность, масштабирование
68. Её плюсы 68 Всё из-за её архитектуры Потрясющая скорость Наши сообщения надежно хранятся и доставляются Отменная надежность, масштабирование Это одно из самых важных Гарантия порядка доставки
69. Про производительность 69 — Нам действительно важно сочетание масштабирования и гарантии порядка доставки
70. Про производительность 70 — Нам действительно важно сочетание масштабирования и гарантии порядка доставки — Нам действительно важно держать много RPS в купе с low latency
71. Некоторые минусы 71 Изучить кафку непросто Высокая сложность Почему, возможно, вы не захотите у себя иметь кафку
72. Некоторые минусы 72 Изучить кафку непросто Высокая сложность По сравнению с, например, RabbitMQ у нас здесь просто распределенный лог Не очень много возможностей Почему, возможно, вы не захотите у себя иметь кафку
73. Лайфхак из продакшена #1 73 Супер важно Обязательно необходимо мониторить topic lag
74. Лайфхак из продакшена #1 74 Супер важно Обязательно необходимо мониторить topic lag
75. Лайфхак из продакшена #2 75 Тоже важно — Вам понадобится поддерживать dead letter
76. Лайфхак из продакшена #2 76 Тоже важно — Вам понадобится поддерживать dead letter — Вам понадбится поддерживать dead letter + timeout + retry
77. Немного о вебсокетах 77
78. Про сам протокол 78 Его плюсы — Нативно асинхронен
79. Про сам протокол 79 Его плюсы — Нативно асинхронен — Реализован под все платформы
80. Про сам протокол 80 Его плюсы — Нативно асинхронен — Реализован под все платформы — Быстр
81. Про сам протокол 81 Минусы — Непривычная семантика для тех, кто всю жизнь с HTTP
82. Про сам протокол 82 Минусы — Непривычная семантика для тех, кто всю жизнь с HTTP — Нет ничего, протокол очень примитивный, все приходится делать самим
83. Про сам протокол 83 Минусы — Непривычная семантика для тех, кто всю жизнь с HTTP — Нет ничего, протокол очень примитивный, все приходится делать самим — Есть конкурент в лице SSE
84. Про сам протокол 84 Минусы — Непривычная семантика для тех, кто всю жизнь с HTTP — Нет ничего, протокол очень примитивный, все приходится делать самим — Есть конкурент в лице SSE — По мнению некоторых уже много лет не нужен в силу пункта выше
85. Про сам протокол 85 Минусы — Непривычная семантика для тех, кто всю жизнь с HTTP — Нет ничего, протокол очень примитивный, все приходится делать самим — Есть конкурент в лице SSE — По мнению некоторых уже много лет не нужен в силу пункта выше — Много вопросов с аутентификацией
86. Про сам протокол 86 Минусы — Непривычная семантика для тех, кто всю жизнь с HTTP — Нет ничего, протокол очень примитивный, все приходится делать самим — Есть конкурент в лице SSE — По мнению некоторых уже много лет не нужен в силу пункта выше — Много вопросов с аутентификацией — Если «сессия» истекла, надо рвать соединение
87. Про сам протокол 87 Минусы — Непривычная семантика для тех, кто всю жизнь с HTTP — Нет ничего, протокол очень примитивный, все приходится делать самим — Есть конкурент в лице SSE — По мнению некоторых уже много лет не нужен в силу пункта выше — Много вопросов с аутентификацией — Если «сессия» истекла, надо рвать соединение — Кто-то должен держать пул соединений
88. Двусторонний роутинг 88 Мы решали эту проблему Мы берем сообщение снаружи и кидаем в кафку Когда мы «пушим» в систему, всё просто
89. Двусторонний роутинг 89 Мы решали эту проблему Мы берем сообщение снаружи и кидаем в кафку Когда мы «пушим» в систему, всё просто Вот это совсем непросто и готовых решений в интернете нет Но как попасть «обратно»?
90. Двусторонний роутинг 90 Мы решали эту проблему Мы берем сообщение снаружи и кидаем в кафку Когда мы «пушим» в систему, всё просто Вот это совсем непросто и готовых решений в интернете нет Но как попасть «обратно»? Выступление на moscow python conf ++ 2021 Ответ есть в нашем докладе
91. И в заключение чего достигли 91
92. Подводим итоги 92 Мы достигли следующего: Дизайн в общем для банка стиле
93. Подводим итоги 93 Мы достигли следующего: Дизайн в общем для банка стиле Горизонтальное масштабирование
94. Подводим итоги 94 Мы достигли следующего: Дизайн в общем для банка стиле Горизонтальное масштабирование Отказоустойчивость
95. Подводим итоги 95 Мы достигли следующего: Дизайн в общем для банка стиле Горизонтальное масштабирование Отказоустойчивость Полный контроль над своей системой
96. Подводим итоги 96 Мы достигли следующего: Дизайн в общем для банка стиле Горизонтальное масштабирование Отказоустойчивость Полный контроль над своей системой Предсказуемая скорость разработки
97. Подводим итоги 97 Мы достигли следующего: Дизайн в общем для банка стиле Горизонтальное масштабирование Отказоустойчивость Полный контроль над своей системой Предсказуемая скорость разработки Безопасность
98. / Спасибо 98 Денис Аникин https://xfenix.ru/