Данил Арендарский — Реализация паттерна Outbox для Apache Kafka

Transcript

1. Ozon Tech 2023 Данил Арендарский, старший разработчик в отделе центральных логистических систем
4. 4 Проверили ключ идемпотентност и
5. 5 Распределили нагрузку по подам
7. Pod 1 Pod 3 Pod 2 Пачка данных 1 Пачка данных 2 Пачка данных 3 ? 7 Partition 0 Partition 1 Partition 2 Kafka Pod leader Produce
10. Failed Превышено количество попыток Дата следующей попытки Pending Handled Processing 10
11. 11 статус = Pending дата следующей попытки текущей Ретрай статус = Pending
12. 12 На примере проекта по выдаче заказов курьерам
14. 14 Кладовщик запустил завершение выдачи Создали перевозку Сформировали документы по выдаче … Завершили выдачу
15. Топик выдач на завершение inbox_message ( , topic, key, payload) outbox_request (id, , type , status, attempt, next_attempt_date) * : Создать документы Создать перевозку … 15
22. Hosted Service PostgreSQL 22 BEGIN; SELECT FOR UPDATE FROM outbox_request WHERE status = Pending, next_attempt_date < now(); Kafka { "OutboxRequestId": 1 } Produce outbox_request.id UPDATE status = Processing; END;
30. Kafka outbox_request.id PostgreSQL Pod SELECT FOR UPDATE FROM outbox_request WHERE status = Processing, id = :id Consume 30
31. Kafka PostgreSQL Pod Handle SELECT FOR UPDATE FROM outbox_request WHERE status = Processing, id = :id outbox_request.id Consume UPDATE status = Handled/Failed/Pending, attempt_date = now() + interval 31
44. Shard 1 Shard 2 44 Entity bucket_id Алгоритм шардирования Service Bucket 1 Bucket 2 Bucket 3 Bucket 4
45. Pod 1 Pod 3 Pod 2 45 Partition 0 Partition 1 Partition 2 Kafka Pod leader Produce
46. Pod 1 Pod 3 Pod 2 46 Shard 1 Bucket 1 Bucket 2 Shard 2 Bucket 3 Bucket 4 Partition 0 Partition 1 Partition 2 Kafka Pod leader Produce
47. 47 Shard 1 Bucket 1 Bucket 2 Shard 2 Bucket 3 Bucket 4 Pod 3 Pod 2 etcd/Zookeper/Redis Pod 1
48. Telegram: @arendarskydd Спасибо за внимание Данил Арендарский, старший разработчик в отделе центральных логистических систем