Евгений Клоков "Проектирование высоконагруженных приложений"

Преждевременная оптимизация – корень всех зол. На это высказывание Дональда Кнута обычно ссылаются те, кто в дальнейшем утопают в запоздалой оптимизации.
Масштабируемость приложений закладывается при проектировании. Так что поговорим о вопросах, которые помогут избежать проблем в будущем и на что стоит обратить внимание при создании приложения.

Евгений Клоков
Ведущий разработчик, БАРС груп, Казань
Имею опыт не только в возведении монолитов, но и разработки SOA приложений.

Transcript

1. ПРОЕКТИРОВАНИЕ ВЫСОКОНАГРУЖЕННЫХ ПРИЛОЖЕНИЙ Евгений Клоков
2. МЫ СЕЙЧАС СДЕЛАЕМ ПРОТОТИП, А ПОТОМ ПЕРЕДЕЛАЕМ НОРМАЛЬНО. ДЕЛАЕМ ПРОТОТИП 2019 г.н.э. WebServer DB App 1
3. МЫ СЕЙЧАС СДЕЛАЕМ ПРОТОТИП, А ПОТОМ ПЕРЕДЕЛАЕМ НОРМАЛЬНО. ДЕЛАЕМ ПРОТОТИП 2019 г.н.э. WebServer App DB Controller ORM Service 2
4. МЫ СЕЙЧАС СДЕЛАЕМ ПРОТОТИП, А ПОТОМ ПЕРЕДЕЛАЕМ НОРМАЛЬНО. ПРОТОТИП В ПРОДАКШЕНЕ 2049 г.н.э. WebServer DB App 3
5. МЫ СЕЙЧАС СДЕЛАЕМ ПРОТОТИП, А ПОТОМ ПЕРЕДЕЛАЕМ НОРМАЛЬНО. Первые попытки человечества решить проблемы с производительностью ПРОТОТИП В ПРОДАКШЕНЕ 2076 г.н.э. DB WebServer N App N WebServer 1 App 1 Balancer 4
6. МЫ СЕЙЧАС СДЕЛАЕМ ПРОТОТИП, А ПОТОМ ПЕРЕДЕЛАЕМ НОРМАЛЬНО. Первые попытки человечества решить проблемы с производительностью ПРОТОТИП В ПРОДАКШЕНЕ 2076 г.н.э. DB WebServer N App N WebServer 1 App 1 Balancer 5
7. МЫ СЕЙЧАС СДЕЛАЕМ ПРОТОТИП, А ПОТОМ ПЕРЕДЕЛАЕМ НОРМАЛЬНО. ПРОТОТИП В ПРОДАКШЕНЕ 2077 г.н.э. Master DB WebServer N App N WebServer 1 App 1 Balancer Slave DB 1 Slave DB 1 Новые попытки человечества решить проблемы с производительностью 6
8. ЧТО НЕ ТАК 0 2 4 6 8 10 12 1 2 3 N нагрузка сервис App Service 1 Service 2 Service 3 Service N 7
9. ЧТО НЕ ТАК App.Main Service 1 Service 3 Service N App.2.1 Service 2 App.2.2 Service 2 0 2 4 6 8 10 12 1 2 3 N нагрузка сервис 8
10. ЧТО НЕ ТАК 0 2 4 6 8 10 12 1 2 3 N нагрузка сервис DB App App.Main Service 1 Service 3 Service N App.2.1 Service 2 App.2.2 Service 2 9
11. ЧТО НЕ ТАК 0 2 4 6 8 10 12 1 2 3 N нагрузка сервис DB App App.Main Service 1 Service 3 Service N App.2.1 Service 2 App.2.2 Service 2 10
12. ЗАДАЧА ПРОЕКТИРОВАНИЯ? 11
13. КОНЕЦ 12
14. КОНЕЦ ПЕРВОЙ СЕРИИ 13
15. А ЧТО ТАМ С НАГРУЗКОЙ? 14
16. СЛОИМСЯ Gateway App layer Storage layer 15
17. СУБД ХРАНЕНИЕ ДАННЫХ 0110101010101101010 1010101010101100011 1101101010101010101 1010110101011011111 1110111010111100001 1101010101111101010 Data.file 100500Mb 16
18. СУБД ХРАНЕНИЕ ДАННЫХ Data.file 100500Mb 110 001 101 111 111 000 011 110 101 111 111 000 011 110 110 001 101 111 111 000 011 110 110 001 101 111 111 000 011 110 110 001 8, 16, 32, 64Kb 17
19. СУБД ХРАНЕНИЕ ДАННЫХ Data.file 100500Mb 8, 16, 32, 64Kb 0x03 0x01 0x00 0x04 0x0E 0x0F 0x0C 0x0D 0x07 0x06 0x0A 0x0B 0x08 0x09 0x05 0x02 18
20. СУБД ХРАНЕНИЕ ДАННЫХ Data.file 100500Mb 0x03 0x01 0x00 0x04 0x0E 0x0F 0x0C 0x0D 0x07 0x06 0x0A 0x0B 0x08 0x09 0x05 0x02 cache 0x03 0x02 0x02 0x03 address 10 2 meta 19
21. СУБД ХРАНЕНИЕ ДАННЫХ Data.file 100500Mb 0x03 0x01 0x00 0x04 0x0E 0x0F 0x0C 0x0D 0x07 0x06 0x0A 0x0B 0x08 0x09 0x05 0x02 cache 0x03 0x02 0x02 0x03 address 10 2 meta 0x0A 20
22. СУБД ХРАНЕНИЕ ДАННЫХ Data.file 100500Mb 0x03 0x01 0x00 0x04 0x0E 0x0F 0x0C 0x0D 0x07 0x06 0x0A 0x0B 0x08 0x09 0x05 0x02 cache 0x03 0x02 0x02 0x03 0x0A address 10 2 1 meta 0x08 0x0A 21
23. СУБД ЧТЕНИЕ ДАННЫХ ID:PK Column 1 Column 2 Table Index:ID | 0xEF 22
24. 0xEF 0x02 СУБД ID:PK Column 1 Column 2 Table ЧТЕНИЕ ДАННЫХ. ФРАГМЕНТАЦИЯ 23
25. 0xEF 0x02 СУБД ЧТЕНИЕ ДАННЫХ. ФРАГМЕНТАЦИЯ ID:PK Column 1 Column 2 Table 1 ID:PK Column 1 Table 2 ID:PK Column 1 Table N 0xE1 0xFF 24
26. СУБД ЧТЕНИЕ ДАННЫХ. ЗАПРОСЫ Table 25
27. СУБД ЧТЕНИЕ ДАННЫХ. ЗАПРОСЫ Table SQL 26
28. СУБД ЧТЕНИЕ ДАННЫХ. ЗАПРОСЫ Table SQL Report 27
29. СУБД ЧТЕНИЕ ДАННЫХ. ЗАПРОСЫ Table 1 SQL Report Table 2 Table N 28
30. СУБД ЧТЕНИЕ ДАННЫХ. ЗАПРОСЫ Source Transform Report 29
31. СУБД КЭШИРОВАНИЕ ДАННЫХ Source Transform Table Cache Report 30
32. СУБД Source Transform Table Cache Report Changed КЭШИРОВАНИЕ ДАННЫХ. ПЕРЕСЧЕТ 31
33. СУБД Source Transform Table Cache Report Changed Transform Table Cache Report КЭШИРОВАНИЕ ДАННЫХ. ПЕРЕСЧЕТ 32
34. СУБД Source Transform Table Cache Report Changed Transform Table Cache Report Report Transform КЭШИРОВАНИЕ ДАННЫХ. ПЕРЕСЧЕТ 33
35. СУБД КЭШИРОВАНИЕ ДАННЫХ. ТРИГГЕРЫ Source Trigger Table Cache Report 34
36. СУБД КЭШИРОВАНИЕ ДАННЫХ. ТРИГГЕРЫ Source Trigger Table Cache Report Source Trigger 35
37. СУБД КЭШИРОВАНИЕ ДАННЫХ. ТРИГГЕРЫ Source Trigger Table Cache Report Source Trigger ок: - встроенный механизм - транзакционность - консистентность - простота реализации 36
38. СУБД КЭШИРОВАНИЕ ДАННЫХ. ТРИГГЕРЫ Source Trigger Table Cache Report Source Trigger не ок: - блокировки - избыточные срабатывания - отсутствие контроля на уровне приложения 37
39. СУБД/APP КЭШИРОВАНИЕ ДАННЫХ. ПРИЛОЖЕНИЕ Interceptor Changed Table Cache Report Source Transform App layer Storage layer 38
40. СУБД/APP КЭШИРОВАНИЕ ДАННЫХ. ПРИЛОЖЕНИЕ Interceptor Changed Table Cache Report Source Transform Table Cache Report Transform App layer Storage layer 39
41. СУБД/APP КЭШИРОВАНИЕ ДАННЫХ. ПРИЛОЖЕНИЕ Changed Table Cache Report Source Transform Interceptor Source App layer Storage layer 40
42. СУБД/APP КЭШИРОВАНИЕ ДАННЫХ. ПРИЛОЖЕНИЕ Interceptor Changed Table Cache Report Source Transform App layer Storage layer 41
43. СУБД/APP КЭШИРОВАНИЕ ДАННЫХ. ПРИЛОЖЕНИЕ Interceptor Changed Table Cache Report Source Transform App layer Storage layer 42
44. СУБД/APP КЭШИРОВАНИЕ ДАННЫХ. ПРИЛОЖЕНИЕ Interceptor Changed Table Cache Report Source Transform ок: - асинхронность - контроль выполнения - нет связи запись\чтение App layer Storage layer 43
45. СУБД/APP КЭШИРОВАНИЕ ДАННЫХ. ПРИЛОЖЕНИЕ Interceptor Changed Table Cache Report Source Transform не ок: - собственная реализация - нет очередей - нет транзакций - задержка запись/чтение App layer Storage layer 44
46. СУБД ЗАДЕРЖКА ЗАПИСЬ/ЧТЕНИЕ Data.V1 Select Result V1->V2 Update time 1 time 2 time 3 45
47. СУБД ЗАДЕРЖКА ЗАПИСЬ/ЧТЕНИЕ - Пользователь 1 получает данные, актуальные на момент запроса (много времени) - Пользователь 2 меняет данные - Данные для пользователя 1 не актуальны в момент получения time 1 time 2 time 3 Data.V1 Select Result V1->V2 Update 46
48. СУБД ЗАДЕРЖКА ЗАПИСЬ/ЧТЕНИЕ SQL в кэш + Trigger Cache V1 Select Result Update Trigger Cache.V2 time 1 time 2 time 3 47
49. СУБД ЗАДЕРЖКА ЗАПИСЬ/ЧТЕНИЕ SQL в кэш + Trigger - Пользователь 1 получает данные, актуальные на момент запроса - Пользователь 2 меняет данные и ожидает пересчет триггера Cache V1 Select Result Update Trigger Cache.V2 time 1 time 2 time 3 48
50. СУБД ЗАДЕРЖКА ЗАПИСЬ/ЧТЕНИЕ Async ReСalc Cache V1 Select Result Update Cache.V2 time 1 time 2 time 3 49
51. СУБД ЗАДЕРЖКА ЗАПИСЬ/ЧТЕНИЕ - Пользователь 1 получает данные, актуальные на момент запроса - Пользователь 2 меняет данные Async ReСalc Cache V1 Select Result Update Cache.V2 time 1 time 2 time 3 50
52. СУБД/APP КЭШИРОВАНИЕ ДАННЫХ. ЛОКАЛЬНЫЙ КЭШ Interceptor Changed Table Cache Report Source Transform Local Cache Report+ Delta App layer Storage layer 51
53. СУБД/APP Interceptor Changed Report Source Transform Table Cache Service МАСШТАБИРОВАНИЕ App layer Storage layer Bus layer 52
54. СУБД/APP МАСШТАБИРОВАНИЕ Interceptor Changed Report Source App layer Storage layer Transform Table Cache Bus layer Service Report Table Cache Service 53
55. Source Master DB SOA Interceptor Changed Report Source ServiceApp Transform Table Cache Service Service Internal balancer Report Table Cache Slave DB 1 Slave DB 2 54
56. SOA ClientNode ServiceProvider1 ServiceProvider2 ServiceApp 1 ServiceApp 2 Slave DB 1 Slave DB 1 Master DB 55
57. SOA ServiceApp 1 ServiceApp 2.2 Slave DB N Slave DB 1 ServiceApp 2.1 Master DB ClientNode 2 SP1 SP2 ClientNode 1 SP1 SP2 ClientNode N SP1 SP2 56
58. SOA ServiceApp 1 ServiceApp 2.2 Slave DB N ServiceApp2 Master DB ClientNode 2 SP1 SP2 ClientNode 1 SP1 SP2 ClientNode N SP1 SP2 ServiceApp 2.1 ServiceApp1 Master DB 57
59. SOA МАРШРУТИЗАЦИЯ Login/Pass аутентификация/авторизация 58
60. SOA Login/Pass Routing info аутентификация/авторизация маршрутизация МАРШРУТИЗАЦИЯ 59
61. SOA ServiceApp 1 ServiceApp 2.2 Slave DB N ServiceApp2 Master DB ClientNode 2 SP1 SP2 ClientNode 1 SP1 SP2 ClientNode N SP1 SP2 ServiceApp 2.1 ServiceApp1 Master DB МАРШРУТИЗАЦИЯ 60
62. СПАСИБО ЗА ВНИМАНИЕ