JUGNsk Meetup #4. Павел Димитрюк: "Split Brain бояться - в Ignite не ходить"

В начале доклада описываются базовые понятия In-Memory Data Grid систем (IMDG), предпосылки к их использованию и ситуации, когда стоит обращать внимание на IMDG.

Затем Павел переходит к злободневным проблемам распределенных систем. In-Memory data grid системы, также как и все распределенные системы, требуют особого внимания, для поддержания консистентного состояния данных. Split Brain является одной из проблем, которые стоит предупреждать, а не бороться с его последствиями. В докладе на примере небольшого проекта показано, как этого можно достигнуть.

Кроме того, Павел делится своим опытом работы с Apache Ignite и особенностями, с которыми они в команде сталкиваются: запуск Ignite в embedded режиме, работа с Ignite через Java API при том, что основным языком в проекте является Scala.

Transcript

1. Split Brain бояться - в Ignite не ходить Димитрюк Павел Билайн
2. О нас Нам департамент занимается развитием технологий больших данных в Билайн. Данное подразделение образовано в 2012 году в Новосибирске. Уже как 6 лет мы занимается технологиями связанными с BigData. Мы занимается развитием и сопровождением core-части BigData платформы 2
3. План 1. Немного о нас 2. Что такое Apache Ignite? 3. Несколько примеров для понимания 4. Вообще о распределенных системах 5. Какие могут быть проблемы в распред.системах? 6. Split-Brain a. Что это такое? b. Как с ним бороться в Ignite? 7. Зачем Ignite нам? 3
11. Streaming processing 11
12. Кто знает, что такое Apache Ignite? 12
13. Мы используем бесплатную версию Apache Ignite 13
14. План 1. Немного о нас 2. Что такое Apache Ignite? 3. Несколько примеров для понимания 4. Вообще о распределенных системах 5. Какие могут быть проблемы в распред.системах? 6. Split-Brain a. Что это такое? b. Как с ним бороться в Ignite? 7. Зачем Ignite нам? 14
15. Что такое Apache Ignite? 15
16. Что такое Apache Ignite? 16
17. Что такое Apache Ignite? 17
18. Что такое Apache Ignite? 18
19. Что такое Apache Ignite? 19 Data structure
20. Что такое Apache Ignite? 20 Data structure -> (Key, Value)
21. Что такое Apache Ignite? 21 Data structure -> (Key, Value) HashMap
22. Что такое Apache Ignite? 22 Data structure -> (Key, Value) HashMap -> get(), put()
23. Что такое Apache Ignite? 23 Data structure -> (Key, Value) HashMap -> get(), put() -> getAll(), putAll()
24. Что такое Apache Ignite? 24 Data structure -> (Key, Value) HashMap -> get(), put() -> getAll(), putAll() ConcurrentHashMap
25. Что такое Apache Ignite? 25 Data structure -> (Key, Value) HashMap -> get(), put() -> getAll(), putAll() ConcurrentHashMap -> transaction
26. Что такое Apache Ignite? 26 Data structure -> (Key, Value) HashMap -> get(), put() -> getAll(), putAll() ConcurrentHashMap -> transaction Distributed Cache -> JCache + P2P
27. Что такое Apache Ignite? 27 Data structure -> (Key, Value) HashMap -> get(), put() -> getAll(), putAll() ConcurrentHashMap -> transaction Distributed Cache -> JCache + P2P -> IgniteCache
28. Что такое Apache Ignite? 28 Data structure -> (Key, Value) HashMap -> get(), put() -> getAll(), putAll() ConcurrentHashMap -> transaction Distributed Cache -> JCache + P2P -> IgniteCache Distributed computing
29. Что такое Apache Ignite? 29 Data structure -> (Key, Value) HashMap -> get(), put() -> getAll(), putAll() ConcurrentHashMap -> transaction Distributed Cache -> JCache + P2P -> IgniteCache Distributed computing -> tasks, map-reduce
30. Что такое Apache Ignite? 30 Data structure -> (Key, Value) HashMap -> get(), put() -> getAll(), putAll() ConcurrentHashMap -> transaction Distributed Cache -> JCache + P2P -> IgniteCache Distributed computing -> tasks, map-reduce Distributed DataBase
31. Что такое Apache Ignite? 31 Data structure -> (Key, Value) HashMap -> get(), put() -> getAll(), putAll() ConcurrentHashMap -> transaction Distributed Cache -> JCache + P2P -> IgniteCache Distributed computing -> tasks, map-reduce Distributed DataBase -> SQL, Table, Indexes
32. Что такое Apache Ignite? 32 Data structure -> (Key, Value) HashMap -> get(), put() -> getAll(), putAll() ConcurrentHashMap -> transaction Distributed Cache -> JCache + P2P -> IgniteCache Distributed computing -> tasks, map-reduce Distributed DataBase -> SQL, Table, Indexes Distributed services
33. Что такое Apache Ignite? 33 Data structure -> (Key, Value) HashMap -> get(), put() -> getAll(), putAll() ConcurrentHashMap -> transaction Distributed Cache -> JCache + P2P -> IgniteCache Distributed computing -> tasks, map-reduce Distributed DataBase -> SQL, Table, Indexes Distributed services -> Service grid
34. План 1. Немного о нас 2. Что такое Apache Ignite? 3. Несколько примеров для понимания 4. Вообще о распределенных системах 5. Какие могут быть проблемы в распред.системах? 6. Split-Brain a. Что это такое? b. Как с ним бороться в Ignite? 7. Зачем Ignite нам? 34
35. У нас же митам для программистов, давай КОД! • Примеры будут на Scala 35
36. У нас же митам для программистов, давай КОД! • Примеры будут на Scala • У чего не на Java? ◦ А почему и нет :) 36
37. У нас же митам для программистов, давай КОД! • Примеры будут на Scala • А чего не на Java? ◦ А почему и нет :) • Все примеры будут на GitHub ◦ https://github.com/PDimitryuk/jug-nsk-ignite 37
38. Давайте на примерах… (Key, Value) -> IgniteCache = get(), put() 38
39. Давайте на примерах… (Key, Value) -> IgniteCache = get(), put() 39
40. Давайте на примерах… (Key, Value) -> IgniteCache = get(), put() 40
41. Давайте на примерах… (Key, Value) -> IgniteCache = get(), put() 41
42. Давайте на примерах… (Key, Value) -> IgniteCache = get(), put() 42
43. Давайте на примерах… (Key, Value) -> IgniteCache = get(), put() 43
44. Давайте на примерах… (Keys, Values) -> get/putAll() = Batches 44
45. Давайте на примерах… (Keys, Values) -> get/putAll() = Batches 45
46. Давайте на примерах… (Keys, Values) -> get/putAll() = Batches 46
47. Давайте на примерах… (Keys, Values) -> get/putAll() = Batches 47
48. Давайте на примерах… Distributed computing -> affinityCall 48
49. Давайте на примерах… Distributed computing -> affinityCall 49
50. Давайте на примерах… Distributed computing -> affinityCall 50
51. Давайте на примерах… Distributed computing -> affinityCall 51
52. Давайте на примерах… Distributed computing -> affinityCall 52
53. Давайте на примерах… Distributed computing -> affinityCall 53
54. Давайте на примерах… Distributed computing -> affinityCall 54
55. Давайте на примерах… Distributed DataBase -> SQL, Table 55
56. Давайте на примерах… Distributed DataBase -> SQL, Table 56
57. Давайте на примерах… Distributed DataBase -> SQL, Table 57
58. Давайте на примерах… Distributed DataBase -> SQL, Table 58
59. Давайте на примерах… Distributed DataBase -> SQL, Table 59
60. Давайте на примерах… Distributed DataBase -> SQL, Table 60
61. Давайте на примерах… А еще много всего... • Service Grig • Compute grig • Distributed Data Structures • ... 61
62. Сейчас мы видим, что основной сущностью является Cache/Table, немного подробней (key, value) 62
63. Сейчас мы видим, что основной сущностью является Cache/Table, немного подробней (key, value) -> affinityFunction(key) 63
64. Сейчас мы видим, что основной сущностью является Cache/Table, немного подробней (key, value) -> affinityFunction(key) -> key-to-partition 64
65. Сейчас мы видим, что основной сущностью является Cache/Table, немного подробней (key, value) -> affinityFunction(key) -> key-to-partition -> partition-to-nodes mapping by topology version 65
66. Сейчас мы видим, что основной сущностью является Cache/Table, немного подробней (key, value) -> affinityFunction(key) -> key-to-partition -> partition-to-nodes mapping by topology version -> getTopologyVersion 66
67. Ну так что-же такое Apache Ignite? • Распределенный кэш? 67
68. Ну так что-же такое Apache Ignite? • Распределенный кэш? • Распределенная База Данных? ◦ Правда поведение по умолчанию как кэш, данные только в памяти ◦ SQL + noSQL, а точнее SQL поверх noSQL ▪ Распределенные JOIN операции*** 68
69. Ну так что-же такое Apache Ignite? • Распределенный кэш? • Распределенная База Данных? ◦ Правда поведение по умолчанию как кэш, данные только в памяти ◦ SQL + noSQL, а точнее SQL поверх noSQL ▪ Распределенные JOIN операции*** • Система для разработки и выполнения распределенных программ? 69
70. План 1. Немного о нас 2. Что такое Apache Ignite? 3. Несколько примеров для понимания 4. Вообще о распределенных системах 5. Какие могут быть проблемы в распред.системах? 6. Split-Brain a. Что это такое? b. Как с ним бороться в Ignite? 7. Зачем Ignite нам? 70
71. Какие причины вынуждают Вас обратить внимание на распределенные системы? 71
72. На пути к распределенной обработке 72
73. На пути к распределенной обработке 73
74. На пути к распределенной обработке 74
75. На пути к распределенной обработке 75
76. На пути к распределенной обработке 76
77. Топология? 77
78. Топология? 78
79. Data Collocation связанные данные рядом 79
80. Collocated Processing данные и логика обработки рядом 80
81. Т.е. принципы масштабирования и отказоустойчивости в Ignite Кэш 81
82. Принципы масштабирования и отказоустойчивости в Ignite Кэш - > партиционирование 82
83. Принципы масштабирования и отказоустойчивости в Ignite Кэш - > партиционирование -> аффинити функция 83
84. Принципы масштабирования и отказоустойчивости в Ignite Кэш - > партиционирование -> аффинити функция -> репликация партиций по узлам кластера 84
85. Принципы масштабирования и отказоустойчивости в Ignite Кэш - > партиционирование -> аффинити функция -> репликация партиций по узлам кластера -> потеря одного узла 85
86. Принципы масштабирования и отказоустойчивости в Ignite Кэш - > партиционирование -> аффинити функция -> репликация партиций по узлам кластера -> потеря одного узла -> ребалансировка * 86
87. Подведем итог, что же такое Ignite! • Cache/Table ◦ Off-Heap -> No GC problem ◦ Data Partitioning ◦ Replicated Data ◦ Affinity Collocation 87
88. Подведем итог, что же такое Ignite! • Cache/Table ◦ Off-Heap -> No GC problem ◦ Data Partitioning ◦ Replicated Data ◦ Affinity Collocation • Collocated Processing 88
89. Подведем итог, что же такое Ignite! • Cache/Table ◦ Off-Heap -> No GC problem ◦ Data Partitioning ◦ Replicated Data ◦ Affinity Collocation • Collocated Processing • P2P communication 89
90. Подведем итог, что же такое Ignite! • Cache/Table ◦ Off-Heap -> No GC problem ◦ Data Partitioning ◦ Replicated Data ◦ Affinity Collocation • Collocated Processing • P2P communication • In-Memory && Persistence* 90
91. План 1. Немного о нас 2. Что такое Apache Ignite? 3. Несколько примеров для понимания 4. Вообще о распределенных системах 5. Какие могут быть проблемы в распред.системах? 6. Split-Brain a. Что это такое? b. Как с ним бороться в Ignite? 7. Зачем Ignite нам? 91
92. Какие могут быть проблемы в распределенных системах? - отказ координатора (мастер ноды) 92
93. Какие могут быть проблемы в распределенных системах? - отказ координатора (мастер ноды) - работа кластера со скоростью самой медленной ноды 93
94. Какие могут быть проблемы в распределенных системах? - отказ координатора (мастер ноды) - работа кластера со скоростью самой медленной ноды - целостность данных 94
95. Какие могут быть проблемы в распределенных системах? - отказ координатора (мастер ноды) - работа кластера со скоростью самой медленной ноды - целостность данных - поддержание консистентного состояния 95
96. Какие могут быть проблемы в распределенных системах? - отказ координатора (мастер ноды) - работа кластера со скоростью самой медленной ноды - целостность данных - поддержание консистентного состояния - нет возможности сделать полноценный бэкап, в консистентным состоянием, без остановки кластера 96
97. Какие проблемы не актуальны для Ignite? - отказ координатора (мастер ноды) - работа кластера со скоростью самой медленной ноды - целостность данных - поддержание консистентного состояния - нет возможности сделать полноценный бэкап, в консистентным состоянием, без остановки кластера 97
98. Проблемы - самые страшные из которых... • Целостность данных • Поддержание консистентного состояния • Потеря данных 98
99. План 1. Немного о нас 2. Что такое Apache Ignite? 3. Несколько примеров для понимания 4. Вообще о распределенных системах 5. Какие могут быть проблемы в распред.системах? 6. Split-Brain a. Что это такое? b. Как с ним бороться в Ignite? 7. Зачем Ignite нам? 99
100. Что такое split-brain? 100
101. Что такое split-brain? 101
102. Что такое Split Brain? 102
103. Что такое Split Brain? 103
104. Что такое Split Brain? 104
105. План 1. Немного о нас 2. Что такое Apache Ignite? 3. Несколько примеров для понимания 4. Вообще о распределенных системах 5. Какие могут быть проблемы в распред.системах? 6. Split-Brain a. Что это такое? b. Как с ним бороться в Ignite? 7. Зачем Ignite нам? 105
106. Как бороться со Split Brain? - Максимально быстро детектировать проблему 106
107. Как бороться со Split Brain? - Максимально быстро детектировать проблему - Принять решение, какую часть крастера необходимо остановить - Запретить модификацию данных - Есть ли возможность бороться с последствиями? 107
108. Как бороться со Split Brain? - Максимально быстро детектировать проблему - Принять решение, какую часть крастера необходимо остановить - Запретить модификацию данных - Есть ли возможность бороться с последствиями? - Понять, имеет ли право, вторая половина кластера остаться “жить” - Есть ли потери данных? 108
109. Как бороться со Split Brain? - Максимально быстро детектировать проблему - Принять решение, какую часть крастера необходимо остановить - Запретить модификацию данных - Есть ли возможность бороться с последствиями? - Понять, имеет ли право, вторая половина кластера остаться “жить” - Есть ли потери данных? - Не позволять собрать топологию кластера по размеру менее ожидаемого 109
110. Чтобы защитить данные, необходимо понимать как они сохраняются 110
111. Чтобы защитить данные, необходимо понимать как они сохраняются • In-Memory 111
112. Чтобы защитить данные, необходимо понимать как они сохраняются • In-Memory • Native Persistence 112
113. Чтобы защитить данные, необходимо понимать как они сохраняются • In-Memory • Native Persistence • 3rd Party Persistence 113
114. 3rd Party Persistence 114
115. 3rd Party Persistence 115
116. 3rd Party Persistence 116
117. 3rd Party Persistence 117
118. 3rd Party Persistence 118
119. Ignite Native Persistence 119
120. Давайте попробует устранить проблему со Split-Brain, для этого • Необходимо реагировать на изменении топологии 120
121. Давайте попробует устранить проблему со Split-Brain, для этого • Необходимо реагировать на изменении топологии • Проверять валидность топологии 121
122. Давайте попробует устранить проблему со Split-Brain, для этого • Необходимо реагировать на изменении топологии • Проверять валидность топологии • Не позволять собраться невалидной топологии 122
123. Segmentation Resolver • Есть имплементация от GridGain ◦ В виде плагина 123
124. Segmentation Resolver • Есть имплементация от GridGain ◦ В виде плагина • Есть интерфейс SegmentationResolver ◦ Настраивается через IgniteConfiguration ◦ Нo Ignite его не вызывает… :( 124
125. Как же тогда жить? • TopologyValidator ◦ Настраивается через CacheConfiguration ◦ Срабатывает при каждом изменении топологии 125
126. Как же тогда жить? • TopologyValidator ◦ Настраивается через CacheConfiguration ◦ Срабатывает при каждом изменении топологии • Lifecycle ◦ BEFORE_NODE_START ◦ AFTER_NODE_START ◦ BEFORE_NODE_STOP ◦ AFTER_NODE_STOP 126
127. Для начала критерии успешной топологии • Топология должна содержать более половины всех узлов • Все PRIMARY партиции на месте 127
128. Для начала критерии успешной топологии 128
129. Lifecycle 129
130. Topology Validator 130
131. • Устранение Split-brain “на ходу” ◦ Не позволяет испортить данные при Split-brain во время работы кластера Что нам это дает? 131
132. • Устранение Split-brain “на ходу” ◦ Не позволяет испортить данные при Split-brain во время работы кластера • Применимо для 3rd Party Persistence и Only In-Memory mode Что нам это дает? 132
133. • Устранение Split-brain “на ходу” ◦ Не позволяет испортить данные при Split-brain во время работы кластера • Применимо для 3rd Party Persistence и Only In-Memory mode • Возможны разные сценарии на разных caches Что нам это дает? 133
134. А еще есть BaseLine топология • Узлы кластера с Native Persistence • Фиксация корректной топологии • Избавляет от авторебалансировки • Позволяет выполнять rolling restart • Частичное решает проблему split-brain ◦ Контролирует история изменения BaseLine топологии ◦ Не дает собраться кластеру при наличии проблем после split-brain • Только при применении Ignite Native Persistence 134
135. Ссылки на доклады про BaseLine 135 Baseline topology: кластер которого нет (но он намного лучше!)
136. План 1. Немного о нас 2. Что такое Apache Ignite? 3. Несколько примеров для понимания 4. Вообще о распределенных системах 5. Какие могут быть проблемы в распред.системах? 6. Split-Brain a. Что это такое? b. Как с ним бороться в Ignite? 7. Зачем Ignite нам? 136
137. Что нам дает ignite? В каких случаях мы его используем? 137
138. Streaming processing 138
139. Когда стоит использовать Apache Ignite? 139
140. Примеры с кодом на GitHub 140 Смотрите примеры кода тут: https://github.com/PDimitryuk/jug-nsk-ignite
141. Вопросы? 141 Димитрюк Павел PDimitryuk@gmail.com Билайн