Брокер сообщений Kafka в условиях повышенной нагрузки

Kafka - распределённый брокер сообщений, нашедший широкое применение как универсальная шина для больших данных. Kafka позволяет как реализовать realtime-обработку большого числа событий, так и построить батчевый pipeline по доставке логов.

Почему мы используем Kafka? Если коротко - унификация. А если чуть подробнее - десятки поставщиков, терабайты логов каждый день, онлайн- и офлайн-pipeline'ы - без единой высокопроизводительной шины данных с этим крайне сложно совладать.

Из доклада вы узнаете о том, почему мы перешли на Kafka, и как она вписалась в наш pipeline. Поймёте, как обеспечить exactly once доставку данных. Узнаете о том, как из-за одной опечатки в несколько раз выросла нагрузка на Kafka, и что мы из этого выяснили. Выясните, какие метрики Kafka стоит мониторить и как по ним понять, что что-то идёт не так.

Transcript

1. Kafka в условиях повышенной нагрузки Выборнов Артём, Rambler&Co
4. Чем мы занимаемся? • Сегментация аудитории • Эвристики • Классификация • Lookalike • Прогноз трафика • Предсказание CTR • Аналитика • Рекомендации • ...
5. Было
6. Было
7. Было
8. Было
9. Стало
10. Стало
11. Стало
12. Kafka в условиях повышенной нагрузки • Как обеспечить семантику exactly once?
13. Kafka в условиях повышенной нагрузки • Как обеспечить семантику exactly once? • Какие существуют узкие места?
14. Kafka в условиях повышенной нагрузки • Как обеспечить семантику exactly once? • Какие существуют узкие места? • Какие метрики стоит мониторить?
15. Архитектура Kafka
16. Архитектура топика Kafka
17. Архитектура топика Kafka
18. Архитектура топика Kafka
19. Репликация
20. Репликация
21. Переизбрание лидеров
22. Переизбрание лидеров • С потерями данных (Unclean leader election) • “Без потерь” данных (Clean leader election)
23. Переизбрание лидеров • С потерями данных (Unclean leader election) — Δ > const • “Без потерь” данных (Clean leader election) — Δ < const
24. Переизбрание лидеров • В любом случае теряете данные
25. Переизбрание лидеров • В любом случае теряете данные • Переизбрание может происходить когда всё идёт хорошо
26. Переизбрание лидеров (без потерь) (producer) request.required.acks = 0
27. (producer) request.required.acks = 1 Переизбрание лидеров (без потерь)
28. (producer) request.required.acks = -1 (kafka) min.insync.replicas.per.topic = topic:1 Переизбрание лидеров (без потерь)
29. (producer) request.required.acks = -1 (kafka) min.insync.replicas.per.topic = topic:2 Переизбрание лидеров (без потерь)
30. Переизбрание лидеров (без потерь) • Нельзя писать в партицию, если количество живых реплик меньше числа insync.replicas
31. Переизбрание лидеров (без потерь) • Нельзя писать в партицию, если количество живых реплик меньше числа insync.replicas • Решение: • insync.replicas = 2 • replication factor = 3
32. Отступы
33. Отступы
34. Сохранение отступов • Автоматическое сохранение
35. • Сохранение вручную (at least once) Сохранение отступов
36. Сохранение отступов • Сохранение вне Kafka (возможность exactly once)
37. Сохранение в HDFS (exactly once) 1. hdfs dfs -mv /tmp/file1 /logs/file 2. hdfs dfs -mv /tmp/file2 /logs/file 3. hdfs dfs -mv /tmp/offsets /runtime/offsets
38. Всё хорошо • Producer получает ответ об успешной записи данных • Kafka реплицирует данные • Consumer атомарно сохраняет данные и отступы
39. Но начались проблемы • Запаздывание логов • Дубли сообщений (at least once)
40. Проблемы consumer’ов • Медленная работа consumer’а на микробатчах
41. Проблемы consumer’ов • Медленная работа consumer’а на микробатчах • Падения consumer’ов с ошибками: • Не могу получить лидеров • Не могу получить отступы
42. Проблемы consumer’ов • Медленная работа consumer’а на микробатчах • Падения consumer’ов с ошибками: • Не могу получить лидеров • Не могу получить отступы • Причина: Kafka медленно отвечает на простейшие запросы • Отдельные ноды отвечают по несколько минут
43. Выросла нагрузка на чтение • 150 MByte/s → 600 MByte/s 600 MB/s 150 MB/s
44. Неравномерное распределение нагрузки • Нагрузка на чтение в разрезе нод 150 MB/s
45. Неравномерное распределение нагрузки • Неравномерно распределены партиции • Неравномерно распределены лидеры
46. Неравномерное распределение нагрузки • Даже при нормальной работе кластера Kafka ошибается
47. Неравномерное распределение нагрузки • Даже при нормальной работе кластера Kafka ошибается • Распределяем руками
48. Неравномерное распределение нагрузки • Повышаем репликацию
49. Неравномерное распределение нагрузки • Повышаем репликацию
50. • Повышаем репликацию Неравномерное распределение нагрузки
51. • Повышаем репликацию • Помогаем Kafka не ошибаться Неравномерное распределение нагрузки
52. Классические проблемы • Сеть — часть нод в стойке с 1Gb uplink
53. Классические проблемы • Сеть — часть нод в стойке с 1Gb uplink • Диски — Kafka не дружит с RAID 5
54. В итоге • Равномерно размазали нагрузку по нодам • Все ноды в стойках с 10Gb uplink • Не используем RAID 5 • Kafka стала отвечать за разумное время • Нагрузка осталась высокой
55. Разгадка • Повторное скачивание данных (at least once)
56. Разгадка • Повторное скачивание данных (at least once) • Отступы всех топиков camus попали в одну папку • Иногда терялись отступы после успешного фетча • Иногда успешно обновлялись
57. • Нагрузка на чтение Было 600 MB/s
58. • Нагрузка на чтение Стало 150 MB/s
59. Немного цифр
60. Мониторинг • Узкие места • Сеть • Диски • Распределение нагрузки по нодам • Распределение лидеров толстых топиков
61. • Нагрузка на чтение в разрезе нод Мониторинг 150 MB/s
62. Мониторинг • Узкие места • Сеть • Диски • Распределение нагрузки по нодам • Распределение лидеров толстых топиков • Переизбрание лидеров
63. Мониторинг • Узкие места • Сеть • Диски • Распределение нагрузки по нодам • Распределение лидеров толстых топиков • Переизбрание лидеров • Рассинхронизация партиций • Число несинхронных партиций (UnderReplicatedPartitions) • Максимальный лаг репликации (ReplicaFetcherManager.MaxLag)
64. • Максимальный лаг репликации Мониторинг 20 K 0
65. Мониторинг • Узкие места • Сеть • Диски • Распределение нагрузки по нодам • Распределение лидеров толстых топиков • Переизбрание лидеров • Рассинхронизация партиций • Число несинхронных партиций (UnderReplicatedPartitions) • Максимальное отставание (ReplicaFetcherManager.MaxLag) • Время ответа на простейшие запросы
66. • Время ответа на запросы consumer’а Мониторинг 10 s
67. Kafka в условиях повышенной нагрузки • Exactly once это про все элементы pipeline: producer, consumer, Kafka
68. Kafka в условиях повышенной нагрузки • Exactly once это про все элементы pipeline: producer, consumer, Kafka • Узкие места: сеть, диски, баланс нагрузки
69. Kafka в условиях повышенной нагрузки • Exactly once это про все элементы pipeline: producer, consumer, Kafka • Узкие места: сеть, диски, баланс нагрузки • Стоит также мониторить: переизбрание лидеров, отставание партиций, время ответа
70. Выборнов Артём • Почта: art-vybor@ya.ru • Рабочая почта: a.vybornov@rambler-co.ru