Михаил Мезенцев — Отказоустойчивость в высоконагруженных и масштабируемых системах

Transcript

1. Ozon Tech 2023 Отказоустойчивость в высоконагруженных и маштабируемых системах Михаил Мезенцев Старший разработчик
2. 1.Окружение 2.Прием сообщений A.DLQ Kafka B.DLQ Db C.Inbox 3.Отправка сообщение / запись D.Outbox План
3. Окружение 1
6. gRPC
7. gRPC
8. gRPC
9. 5 gRPC
10. 5 gRPC
11. 5 gRPC
12. 5 gRPC
13. 5 gRPC
14. 5 gRPC
15. Прием сообщений 2
16. Конкурентность
17. gRPC
18. gRPC { "id":10, data: {…} } { "id":10, data: {…} } { "id":10, data: {…} }
19. Как так вышло?
20. 1. Несколько раз отправили одно и тоже сообщение Как так вышло?
21. 1. Несколько раз отправили одно и тоже сообщение Как так вышло? • Баг
22. 1. Несколько раз отправили одно и тоже сообщение Как так вышло? • Баг • Ретраи
23. 1. Несколько раз отправили одно и тоже сообщение Как так вышло? 2. В сообщениях в Kafka не используется key • Баг • Ретраи
24. 1. Несколько раз отправили одно и тоже сообщение Как так вышло? 2. В сообщениях в Kafka не используется key • Баг • Ретраи • Каждое следующее сообщение попадает в следующую партицию
25. Kafka Key must have!
26. gRPC
27. gRPC { "id":10, data: {…} } { "id":10, data: {…} } { "id":10, data: {…} }
28. Дубли
29. At most once At least once Exactly once
30. At most once At least once Exactly once Сообщение придет максимум один раз
31. At most once At least once Exactly once Сообщение придет максимум один раз Сообщение придет как минимум один раз
32. At most once At least once Exactly once Сообщение придет максимум один раз Сообщение придет как минимум один раз Сообщение придет только один раз
33. At most once At least once Exactly once Сообщение придет максимум один раз Сообщение придет как минимум один раз Сообщение придет только один раз Потеря сообщений
34. At most once At least once Exactly once Сообщение придет максимум один раз Сообщение придет как минимум один раз Сообщение придет только один раз Потеря сообщений Дубли
35. At most once At least once Exactly once Сообщение придет максимум один раз Сообщение придет как минимум один раз Сообщение придет только один раз Потеря сообщений Дубли Возможно только в рамках одного источника данных
36. At most once At least once Exactly once Сообщение придет максимум один раз Сообщение придет как минимум один раз Сообщение придет только один раз Потеря сообщений Дубли Возможно только в рамках одного источника данных
37. At most once At least once Exactly once Сообщение придет максимум один раз Сообщение придет как минимум один раз Сообщение придет только один раз Потеря сообщений Дубли Возможно только в рамках одного источника данных
38. At most once At least once Exactly once Сообщение придет максимум один раз Сообщение придет как минимум один раз Сообщение придет только один раз Потеря сообщений Дубли Возможно только в рамках одного источника данных
39. At most once At least once Exactly once Сообщение придет максимум один раз Сообщение придет как минимум один раз Сообщение придет только один раз Потеря сообщений Дубли Возможно только в рамках одного источника данных
40. EventId и L1/L2 кэш
41. 1. В теле сообщения есть поле «EventId» • Оно может быть любого типа (обычно Guid) 2. «EventId» должен быть одинаковый для повторяющихся сообщений EventId
42. { "eventId": "10", "data": {…} } { "eventId": "10", "data": {…} } Global Cache (L2) L1 L1 L1
43. { "eventId": "10", "data": {…} } { "eventId": "10", "data": {…} } Global Cache (L2) L1 L1 L1
44. { "eventId": "10", "data": {…} } Global Cache (L2) L1 L1 L1
45. { "eventId": "10", "data": {…} } Global Cache (L2) L1 L1 L1
46. { "eventId": "10", "data": {…} } Global Cache (L2) L1 L1 L1
47. { "eventId": "10", "data": {…} } Global Cache (L2) L1 L1 L1
48. { "eventId": "10", "data": {…} } Global Cache (L2) Business logic check L1 L1 L1
49. Ошибки
50. GRPC { "id":10, data: {…} } { "id":11, data: {…} } { "id":12, data: {…} }
51. GRPC { "id":10, data: {…} } { "id":11, data: {…} } { "id":12, data: {…} }
52. GRPC { "id":11, data: {…} } { "id":12, data: {…} }
53. GRPC { "id":11, data: {…} } { "id":12, data: {…} } { "id":11, data: {…} }
54. GRPC { "id":11, data: {…} } { "id":12, data: {…} } { "id":11, data: {…} } ? ? ?
55. DLQ
56. DLQ Kafka { "id":10, data: {…} } { "id":11, data: {…} } Topic 1 DLQ Topic Сервис
57. DLQ Kafka { "id":10, data: {…} } { "id":11, data: {…} } Topic 1 DLQ Topic Сервис
58. DLQ Kafka { "id":10, data: {…} } { "id":11, data: {…} } Topic 1 DLQ Topic Сервис
59. DLQ Kafka { "id":11, data: {…} } Topic 1 DLQ Topic Сервис
60. DLQ Kafka { "id":11, data: {…} } Topic 1 DLQ Topic Сервис
61. DLQ Kafka { "id":11, data: {…} } Topic 1 DLQ Topic Сервис
62. DLQ Kafka { "id":11, data: {…} } Topic 1 DLQ Topic Сервис
63. DLQ Kafka { "id":11, data: {…} } Topic 1 DLQ Topic Сервис
64. DLQ Kafka { "id":11, data: {…} } Topic 1 DLQ Topic Сервис
65. DLQ Kafka { "id":11, data: {…} } Topic 1 DLQ Topic Сервис
66. • Плюсы • Сообщения либо вообще не пишутся в базу • Распределение нагрузки по инстансам • Минусы • Не гарантируется сохранение последовательности • Невозможно вручную запустить ретрай • Тяжело понять, что именно сейчас происходит с ретраями DLQ Kafka
67. DLQ DB { "id":10, data: {…} } { "id":11, data: {…} } Topic 1 Сервис
68. DLQ DB { "id":10, data: {…} } { "id":11, data: {…} } Topic 1 Сервис
69. DLQ DB { "id":10, data: {…} } { "id":11, data: {…} } Topic 1 Сервис
70. DLQ DB { "id":11, data: {…} } Topic 1 Сервис
71. DLQ DB { "id":11, data: {…} } Topic 1 Сервис
72. DLQ DB { "id":11, data: {…} } Topic 1 Сервис
73. DLQ DB { "id":11, data: {…} } Topic 1 Сервис
74. DLQ DB { "id":11, data: {…} } Topic 1 Сервис
75. DLQ DB { "id":11, data: {…} } Topic 1 Сервис
76. DLQ DB { "id":11, data: {…} } Topic 1 Сервис
77. DLQ DB { "id":11, data: {…} } Topic 1 Сервис
78. DLQ DB { "id":11, data: {…} } Topic 1 Сервис
79. DLQ DB { "id":11, data: {…} } Topic 1 Сервис
80. • Плюсы • Сообщения пишутся в базу только при ошибке • Возможность ручного ретрая • Легко делать выборку и анализ упавших сообщений • Минусы • Не гарантируется сохранение последовательности • Требуется самим распределять нагрузку по инстансам DLQ Db
81. Inbox
82. Inbox { "id":10, data: {…} } { "id":11, data: {…} } Сервис
83. Inbox { "id":10, data: {…} } { "id":11, data: {…} } Сервис
84. Inbox { "id":10, data: {…} } { "id":11, data: {…} } Сервис
85. Inbox { "id":10, data: {…} } { "id":11, data: {…} } Сервис
86. Inbox { "id":10, data: {…} } { "id":11, data: {…} } Сервис
87. Inbox { "id":10, data: {…} } { "id":11, data: {…} } Сервис
88. Inbox { "id":10, data: {…} } { "id":11, data: {…} } Сервис
89. Inbox { "id":10, data: {…} } { "id":11, data: {…} } Сервис
90. Inbox { "id":10, data: {…} } { "id":11, data: {…} } Сервис
91. Inbox { "id":10, data: {…} } { "id":11, data: {…} } Сервис
92. Inbox { "id":10, data: {…} } { "id":11, data: {…} } Сервис
93. Inbox { "id":10, data: {…} } { "id":11, data: {…} } Сервис
94. Inbox { "id":11, data: {…} } Сервис
95. Inbox { "id":11, data: {…} } Сервис
96. Inbox Сервис
97. • Плюсы • Ретраи при ошибках • Сохранения последовательности обработки сообщений • Возможность реализовать более сложную логику выборки на выполнения • Минусы • На каждое сообщение запись в базе • Джоба должна успевать обрабатывать сообщения • Требуется самим распределять нагрузку по инстансам Inbox
98. Inbox Очередь
99. Inbox Я сегодня сдам товар Очередь
100. Inbox Я сегодня сдам товар Очередь
101. Inbox Я сегодня сдам товар Очередь
102. Inbox Я сегодня сдам товар Очередь
103. Inbox Я сегодня сдам товар Очередь
104. Inbox Я сегодня сдам товар Очередь
105. Inbox Походу сегодня не получится Очередь
106. Inbox Походу сегодня не получится Cancel Очередь
107. Inbox Походу сегодня не получится Cancel Очередь
108. Inbox Походу сегодня не получится Cancel Очередь
109. Inbox Походу сегодня не получится Cancel Очередь
110. Inbox Походу сегодня не получится Cancel Очередь
111. Inbox Походу сегодня не получится Иди в очередь Cancel Очередь
112. Inbox Походу сегодня не получится Cancel Очередь
113. Inbox Походу сегодня не получится Очередь
114. Отправка сообщений 3
115. Outbox Сервис gRPC gRPC
116. Outbox Сервис gRPC gRPC
117. Outbox Сервис gRPC gRPC
118. Outbox Сервис gRPC gRPC
119. Outbox Сервис gRPC gRPC
120. Outbox Сервис gRPC gRPC
121. Outbox Сервис gRPC gRPC Окей, я заретраю
122. Outbox Сервис gRPC gRPC ? ? ? Окей, я заретраю
123. Идемпотентность — наше все!
124. Outbox Сервис GRPC gRPC
125. Outbox Сервис GRPC gRPC А я не умею ретраить
126. Outbox Сервис GRPC gRPC А я не умею ретраить
127. Outbox Сервис GRPC gRPC
128. Outbox Сервис GRPC gRPC А я не идемпотентный
129. Outbox Сервис GRPC gRPC А я не идемпотентный
130. Outbox
131. Outbox Сервис GRPC gRPC
132. Outbox Сервис GRPC gRPC Транзакция Изменение данных Call GRPC Produce to Kafka
133. Outbox Сервис GRPC gRPC Транзакция Изменение данных Call GRPC Produce to Kafka
134. Outbox Сервис GRPC gRPC Транзакция Изменение данных Call GRPC Produce to Kafka Call GRPC Produce to Kafka
135. Outbox Сервис GRPC gRPC Транзакция Изменение данных Call GRPC Produce to Kafka Call GRPC Produce to Kafka
136. Outbox Сервис GRPC gRPC Транзакция Изменение данных Call GRPC Produce to Kafka Call GRPC Produce to Kafka
137. Outbox Сервис GRPC gRPC Транзакция Изменение данных Call GRPC Produce to Kafka Call GRPC Produce to Kafka
138. Outbox Сервис GRPC gRPC Транзакция Изменение данных Call GRPC Produce to Kafka Call GRPC Produce to Kafka
139. • Плюсы • Ретраи при ошибках • Если с базой все хорошо, то будет Exactly Once • Возможность реализовать более сложную логику выборки на выполнения • Гарантирует сохранение последовательности выполнения • Минусы • На каждое сообщение несколько записей в базе • Джоба должна успевать обрабатывать сообщения • Это все равно не Exactly Once • Требуется самим распределять нагрузку по инстансам Outbox
140. mezencev.m.v@mail.ru Спасибо за внимание Михаил Мезенцев Старший разработчик