Михаил Гурбанов – Are you NATS? @ PythoNN

Transcript

1. Are you NATS? Гурбанов Михаил Техлид в Virtual Assistants 1
2. Обо мне 2 • Тимлид в райфе • Выступаю и пишу статейки • Пишу на python, typescript, rust • Иногда захожу на гитхаб
3. Натс или натс? 3
4. А может натс? 4
5. NATS • Быстрый брокер сообщений • Миллионы сообщений в секунду • Легко конфигурировать • Очень легковесный 5
6. История • Создан в 2011-м году • Написан на go • Развивается как часть CNCF 6
7. Основные концепции • Subject-based Messaging • Publish/Subscribe (Pub/Sub) • Request/Reply (RPC) • Jetstream (Persistent) 7
8. Subjects 8
9. Иерархия time.us time.us.east time.us.east.atlanta time.us.west time.us.west.seattle 9
10. Wildcard: * 10
11. Wildcard: * 11
12. Wildcard: * 12
13. Wildcard: * 13
14. Wildcard: * 14
15. Wildcard: > 15
16. Wildcard: > 16
17. Wildcard: > 17
18. Wildcard: > 18
19. Wildcard: > 19
20. Pub/Sub 20
21. Pub/Sub • Без персистентности • Много subsriber’ов • Множественная подписка 21
22. Pub/Sub • Без персистентности • Много subsriber’ов • Множественная подписка • База 22
23. Request-Reply 23
24. Request-Reply 24
25. Request-Reply 25
26. Request-Reply 26
27. Request-Reply 27
28. Request-Reply • На основе Pub/Sub • Паблишеры сами объединяются в группы • Одинаковые ответы отбрасываются автоматически 28
29. Request-Reply • Легковесное • Отлично подходит для межсервисной коммуникации • Легкий способ достичь EDA 29
30. Jetstream Если хотите большего 30
31. Jetstream 31
32. Jetstream • Persistent • Много subject в jetstream • Иерархия сохраняется • ACK на сообщения 32
33. Retention • LimitsPolicy • WorkQueuePolicy • InterestPolicy Когда удалять старые сообщения? 33
34. LimitsPolicy • Кол-во сообщений • Размер jetstream • Возраст сообщений • Кол-во сообщений в subjetct При достижении лимита 34
35. WorkQueuePolicy • Один получатель для каждого subject • Если отправлен ACK - сообщение удаляется Одноразовые сообщения 35
36. InterestPolicy • Получателей может быть несколько • Если все отправили ACK сообщение удаляется Очень жестоко 36
37. DiscardPolicy • При определении >= 1 лимита из LimitsPolicy • DiscardOld или DiscardNew Если не влезает 37
38. Mirror stream • Копировать сообщения только из одного Jetstream • Писать в mirror нельзя 38
39. Source stream • Копировать сообщения только из многих Jetstream • Можно писать в копию 39
40. Dead Letter Queue • Просто задать ретраи • NATS сам откинет • Можно как-то обработать 40
41. Consumers Они хотят забрать сообщения 41
42. Consumers • At least once • Pull/Push • Durable/Ephemeral 42
43. Pull consumer • Клиент забирает батчами • Хорошо масштабируется • Реализованный backpressure • Все к ним привыкли 43
44. Push consumer • Jetstream отправляет сам • Мгновенно при появлении • Можно убить консьюмеры • Если очень надо быстро обработать 44
45. Durable consumer • Pull или Push • Сохраняет стейт вычитки • Надо указать durable_name • Несколько консьюмеров могут иметь одинаковый durable_name 45
46. Ephemeral consumer • Pull или Push • НЕ сохраняет стейт вычитки • Не получится восстановить после отказа • Без лишней конфигурации 46
47. Дополнительные настройки • AckPolicy - как делаем ACK • DeliverPolicy - с какого сообщения доставляем • FilterSubjects - как фильтруем • … 47
48. Недавний релиз 2.11.0 • Per-message-TTLs • PriorityGroup, PriorityPolicy • PauseUntil • max_buffered_size, max_buffered_msgs 48
49. KV Storage Кэш видишь? А он есть 49
50. KV Storage • Кладем в бакеты • Все persistent • get, put, delete, keys, purge 50
51. KV Storage • Кладем в бакеты • Все persistent • get, put, delete, keys, purge • watch, watch_all 51
52. KV Storage • Кладем в бакеты • Все persistent • get, put, delete, keys, purge • watch, watch_all • Типа вместо redis и больше 52
53. Использование Дайте уже потрогать 53
54. Развертывание • Можно через HELM • Или в докере • Можно один инстанс • А можно как кластер 54
55. Подключение • Можно по логопассам • Или по токенам • Либо же по сертам • Еще можно через NKEYS • А можно и просто так 55
56. Использование в Python • nats.py - от разработчиков • faststream - от Никиты Наконец-то 56
57. Nats.py • Писали гошники • Код не лучшего качества • Поддержаны все фичи • Использовать не хочется, но приходится Гошники, что поделаешь 57
58. Nats.py - пример Pull подписка 58
59. Nats.py - пример Pull подписка 59
60. Nats.py - пример Pull подписка 60
61. Nats.py - пример Pull подписка 61
62. Nats.py - пример Pull подписка 62
63. Nats.py - пример Pull подписка 63
64. Nats.py - пример Pull подписка 64
65. Nats.py - пример Pull подписка 65
66. Nats.py - пример Использование KV storage 66
67. Nats.py - пример Использование KV storage 67
68. Nats.py - пример Использование KV storage 68
69. Nats.py - пример Использование KV storage 69
70. Nats.py - пример Использование KV storage 70
71. Nats.py - пример Использование KV storage 71
72. Nats.py - пример Использование KV storage 72
73. Nats.py - пример Использование KV storage 73
74. Faststream • Код - топ • Хорошо написано • Поддержаны все фичи • Лучше использовать это Намного лучше 74
75. Faststream - пример Pull подписка 75
76. Faststream - пример Pull подписка 76
77. Faststream - пример Pull подписка 77
78. Faststream - пример Pull подписка 78
79. Faststream - пример Pull подписка 79
80. Faststream - пример Pull подписка 80
81. Faststream - пример Pull подписка 81
82. Faststream - пример Использование KV storage 82
83. Faststream - пример Использование KV storage 83
84. Faststream - пример Использование KV storage 84
85. Faststream - пример Использование KV storage 85
86. Faststream - пример Использование KV storage 86
87. Faststream - пример Использование watch из KV storage 87
88. Faststream - хочется • Более точный healthcheck • Единый интерфейс* • Поддержите релизные фичи И так все супер, но 88
89. Сравнение Так надо использовать или нет? 89
90. Сравнение • NATS • Kafka • RabbitMQ 90
91. Сравнение: Архитектура • NATS - Pub/Sub, RPC, KV, Jetstream, Cluster setup • Kafka • RabbitMQ 91
92. Сравнение: Архитектура • NATS - Pub/Sub, RPC, KV, Jetstream, Cluster setup • Kafka - Persistent Pub/Sub, Cluster setup, Аля KV через Logs Storage • RabbitMQ 92
93. Сравнение: Архитектура • NATS - Pub/Sub, RPC, KV, Jetstream, Cluster setup • Kafka - Persistent Pub/Sub, Cluster setup, Аля KV через Logs Storage • RabbitMQ - Pub/Sub, Persistent Pub/Sub, Cluster setup (тяжело) 93
94. Сравнение: Тип доставки • NATS - at-least-once, at-most-once, exactly-once* • Kafka • RabbitMQ 94
95. Сравнение: Тип доставки • NATS - at-least-once, at-most-once, exactly-once* • Kafka - at-least-once, at-most-once, exactly-once • RabbitMQ 95
96. Сравнение: Тип доставки • NATS - at-least-once, at-most-once, exactly-once* • Kafka - at-least-once, at-most-once, exactly-once • RabbitMQ - at-least-once 96
97. Сравнение: Производительность • NATS - 6 млн/сек • Kafka • RabbitMQ 97
98. Сравнение: Производительность • NATS - 6 млн/сек • Kafka - 2 млн/сек • RabbitMQ 98
99. Сравнение: Производительность • NATS - 6 млн/сек • Kafka - 2 млн/сек • RabbitMQ - 60 тыс/сек 99
100. Сравнение: Развертывание • NATS - легко разворачивать в кластере и без • Kafka • RabbitMQ 100
101. Сравнение: Развертывание • NATS - легко разворачивать в кластере и без • Kafka - сложная настройка, как для кластера, так и без него • RabbitMQ 101
102. Сравнение: Развертывание • NATS - легко разворачивать в кластере и без • Kafka - сложная настройка, как для кластера, так и без него • RabbitMQ - легко разворачивать, но требуется настройка 102
103. Сравнение: Сценарии использования • NATS - IoT, микросервисы, real-time приложения • Kafka • RabbitMQ 103
104. Сравнение: Сценарии использования • NATS - IoT, микросервисы, real-time приложения • Kafka - потоковая обработка данных, ETL, логирование, шины данных • RabbitMQ 104
105. Сравнение: Сценарии использования • NATS - IoT, микросервисы, real-time приложения • Kafka - потоковая обработка данных, ETL, логирование, шины данных • RabbitMQ - Микросервисы, асинхронные задачи 105
106. Вывод 🔍 Параметр ⚡ NATS 🏛 Kafka 🐇 RabbitMQ 🌐 Архитектура Pub/Sub, RPC, KV, Jetstream, Cluster setup Persistent Pub/Sub, Logs Storage, Cluster setup Persistent Pub/Sub, Exchange 📦 Гарантии доставки At-least-once, At-most-once, Exactly-once* At-least-once, At-most-once, Exactly-once At-least-once 🚀 Производительность Очень высокая Высокая Средняя 🏗 Сложность развертывания Низкая Высокая Низкая* 🌍 Сценарии использования IoT, микросервисы, real-time приложения Потоковая обработка данных, ETL, логирование Микросервисы, фоновые задачи 106
107. t.me/mygurbanov Вопросы 107