Odnoklassniki DWH evolving

Transcript

1. Развлекательная социальная сеть Одноклассники 2019 Эволюция DWH в Одноклассниках
2. 2 Обо мне • Денис Габайдулин • Software Engineer, DWH Tech team • denis.gabaydulin@corp.mail.ru
3. 3 Что я делаю в OK? • Делаю инфраструктурные задачи • Копаюсь в распределенных системах ◦ базы данных, Spark, Hadoop • Решаю проблемы производительности
4. 4 Что такое DWH в Одноклассниках? Мы помогаем нашим заказчикам получать ответы на вопросы и принимать решения на основе данных.
5. 5 Кто наши заказчики? • Менеджеры (включая топ-менеджмент и CEO) • Разработчики • Аналитики • Продуктовые менеджеры • Маркетинг и PR • Другие компании в Mail Ru Group
6. 6 Краткая история DWH
7. 2015 2016 2017 2018 • Windows / MS SQL 2019
8. 2016 2017 2018 • Hadoop ◦ Миграция в Hadoop ◦ HIVE (MR/TEZ) 2019
9. 2017 2018 • Новый проект KPI • Spark • HBase + Kylin (кубы) 2019
10. 2018 • Kafka • Планировщик • Визуальный мониторинг • Убрали Kylin (кубы) 2019
11. 2019 • Structured Streaming • Убрали HBase
12. 12 DWH сегодня • 5000+ ядер • 40+ TB памяти • 11+ PB хранилище • 1000+ регулярных расчетов
13. 13 О чем сегодня поговорим? Поговорим о таком важном компоненте как планировщик задач и его роли в инфраструктуре.
14. Развлекательная социальная сеть Одноклассники 1 Как выполнять 1000+ регулярных расчетов ежедневно
15. 15 Определения Расчет (задача) - это какие то вычисления на Hive или Spark. Воркер - программа, которая запускает расчет. Воркер запускает расчеты последовательно. Параллельный запуск расчетов требует n воркеров.
16. 16 Как выполнять 1000+ регулярных расчетов Если у вас 10-100 регулярных расчетов, можно поддерживать граф вычислений вручную. У нас было именно так. К каждому воркеру статически были привязаны конкретные расчеты.
17. 17 Проблемы
18. 18 Что с ресурсами? Ресурсов у нас было достаточно, но мы не умели использовать их эффективно.
19. 19 Проблемы 50 25
20. 20 Проблемы 50 25 Половина воркеров не загружены
21. 21 Проблемы 50 25
22. 22 Проблемы 50 25 Половина воркеров не загружены Много работы после 10 часов
23. 23 Проблемы • Значительная часть расчетов не готова к утру • При добавлении расчета надо руками определять, где он будет запускаться • Разные системы имеют свой механизм распределения задач • Кластер используется неэффективно
24. 24 Сформулируем требования • Все задачи готовы до 10 утра (лучше раньше) • Быстрое восстановление после аварий и инцидентов • Совместимость со всеми системами расчетов (Spark, HIVE, custom) • Простое масштабирование системы
25. 25 Теория • Сделать все воркеры одного типа равноправными • Выполнять расчеты в оптимальном порядке • Эффективно утилизировать доступные ресурсы
26. 26 Оптимальный порядок выполнения • Задачи с максимальным суммарным временем выполнения должны выполняться первыми (жадность) • Задачи должны выполняться только тогда, когда их зависимости уже посчитаны
27. 27 Теория В идеале нужно построить взвешенный ориентированный ациклический граф. И обойти его согласно топологической сортировки, по правилам описанным выше.
28. 28 Определения • Вершина - конкретный расчет. • Ребро - зависимость между расчетами. • In-degree - кол-во ребер, направленных в вершину. • Вес - среднее время расчета из n-последних.
29. 29 Определения 10 1 1 2 1 1 1 2 B -> C = B родитель C C -> E = C родитель E или C зависит от B E зависит от C
30. 30 Граф На первом шаге посчитаем суммарный вес для каждой вершины, учитывая зависимости.
31. 31 Граф Вершина Вес A 10 B 9 C 5 D 4 E 3 F 3 G 1 H 1 10 1 1 2 1 1 1 2 10 1 1 2 1 1 1 2
32. 32 Граф Оптимальный порядок: A, B, C, D, E | F, G | H Вершина Вес A 10 B 9 C 5 D 4 E 3 F 3 G 1 H 1
33. 33 Упрощенный алгоритм Подсчитаем для каждой вершины количество ребер, направленных в нее.
34. 34 Упрощенный алгоритм Используем “кучу” для того, чтобы выполнить условие: Задачи с максимальным суммарным временем выполнения должны выполняться первыми (жадность).
35. 35 Упрощенный алгоритм Добавим в очередь все “корни”. Вершины, in-degree которых, 0.
36. 36 Упрощенный алгоритм
37. 37 Упрощенный алгоритм. BFS
38. 38 Упрощенный алгоритм. BFS Будем добавлять в очередь только те вершины, для которых in-degree становится 0.
39. 39 Можно ли еще проще? Можно еще больше упростить сортировку, опираясь только на вес, а обновление in-degree убрать. Практика показала, что даже это уже дает значительное улучшение.
40. 40 Обобщение Для сортировки достаточно чтобы вес родителя > суммы весов всех детей. Минимальный вес > 0.
41. 41 Реализация
42. 42 Реализация Планировщик на регулярной основе проверяет изменения в метаданных и статистике и обновляет граф.
43. 43 Реализация
44. 44 Реализация • Воркер запрашивает задачи у планировщика • Планировщик контролирует состояние всех расчетов • Планировщик гарантирует корректность. Одна и та же задача не достанется нескольким воркерам одновременно.
45. 45 Почему мы не взяли Luigi?
46. 46 Почему мы не взяли Luigi? • Постепенное и бесшовное внедрение • Контроль над алгоритмом обхода графа (topsort) • На первом этапе достаточно библиотеки для клиента, и не нужна сложная инфраструктура в виде сервисов • Python, а у нас все на Java
47. 47 Результат 50 20 Основные расчеты выполнены до 5 утра Почти все воркеры загружены
48. 48 Результат ~ 400 < 50 Количество не посчитанных задач
49. 49 Результаты 90 Готово к 7-8 утра в среднем %
50. Развлекательная социальная сеть Одноклассники 2 Интеграция Spark и планировщика
51. 51 Интеграция Spark и Scheduler Spark джобы обычно запускают через банальный submit.
52. 52 Интеграция Spark и Scheduler А если джобов много? Самые умные берут Spark Jobserver или Livy.
53. 53 Интеграция Spark и Scheduler Общее решение - выполнять разные расчеты в одном Spark context. Так же делает Spark Jobserver.
54. 54 Интеграция Spark и Scheduler Общее решение - выполнять разные расчеты в одном Spark context. Несколько spark actions параллельно (CompletableFuture внутри).
55. 55 Интеграция Spark и Scheduler • Сократили оверхед на запуск отдельного расчета • Сделали возможным использование shared cache между разными расчетами • Увеличили скорость расчета истории на порядок
56. 56 Количество Spark jobs в час. До и после Было AVG = 72 Стало AVG = 14 Меньше лучше!
57. 57 Результаты 5 Меньше spark jobs в час x
58. 58 Выводы • Научились считать быстрее и эффективнее • Автоматизировали создание графа вычислений • Сделали универсальный компонент для параллельного выполнения задач • Computer science вечен ©
59. 59 Вопросы?