Николай Молчанов и Дмитрий Елисеев «Битва SQL vs DocumentDB»

Для чего вам не стоит использовать DocumentDB? Для чего вам не стоит использовать Relation SQL DB?

Разберём в докладе сравнение подходов в хранении и эффективном доступе до информации при разных вариантах хранения на примере MongoDB и SQL Server. Сравним данные по цифрам и по использованию стандартных инструментов из.NET. Разберём слабые и сильные стороны, разберём моделирование хранения и то, что вы делаете неверно при проектировании.

Transcript

2. 2 Молчанов Николай Проповедник MongoDB в высоконагруженных приложениях Руководитель центра компетенции .NET Альфа-Банк
3. 3 Елисеев Дмитрий Нейромонах SQL Server в OLTP высоконагруженных приложениях SQL Team Lead в ЦРТ
5. 5 план 1. Чем отличается DocumentDB от RelationDB. 2. Что такое MongoDB и что такое SQL Server\PostgreSQL 3. Рассмотрим философию проектирования хранения в 2 подхода 4. Сравним производительности в разных БД 5. Сравнение инструментов 6. Выводы
6. 6 https://db-engines.com/en/ranking Статистика
7. 7 https://db-engines.com/en/ranking Статистика
8. 8 КТО Использует MONGOdb 70% слышали 10% использовали 1% 1T+
9. 9 github https://github.com/kroniak/mongodb-benchmark-samples
10. 10 В чем сила?
11. 11 В чем сила? 1. DocumentDB хранит набор документов, а RelationDB набор строк в таблицах
12. 12 В чем сила? 1. DocumentDB хранит набор документов, а RelationDB набор строк в таблицах 2. DocumentDB и noSQL не предполагает связи между разными документами
13. 13 В чем сила? 1. DocumentDB хранит набор документов, а RelationDB набор строк в таблицах 2. DocumentDB и noSQL не предполагает связи между разными документами
14. 14 Структура n баз данных n коллекций D: n любых документов
15. 15 Структура n баз данных n любых документов n коллекций D: n баз данных n фикс строк n таблиц R:
16. 16 DOCUMENT BSON : JSON DOCUMENT
17. 17 DOCUMENT BSON : JSON DOCUMENT В JSON нет многих типов данных
18. 18 BSON Document < 16 MB
19. 19 BSON Document ObjectId Примитив Примитив
20. 20 BSON Document Вложенный документ Вложенный документ
21. 21 BSON Document Вложенный массив
23. 23 sharding
24. 24 sharding postgresql
25. 25 sharding mongodb
26. 26 sharding sql NO SHARDING
27. 27 MongoDB RelationDB Формат данных Бинарный без схемы < 16mb Фиксированные строки + бинарный без схемы без ограничений Отношения Масштабирование
28. 28 MongoDB RelationDB Формат данных Отношения Отсутствуют между разными документами Есть связи в виде foreign key Масштабирование Бинарный без схемы < 16mb Фиксированные строки + бинарный без схемы без ограничений
29. 29 MongoDB RelationDB Формат данных Простое горизонтальное масштабирование Есть, но с причудами Бинарный без схемы < 16mb Фиксированные строки + бинарный без схемы без ограничений Отношения Отсутствуют между разными документами Есть связи в виде foreign key Масштабирование
30. 30 MongoDB RelationDB Формат данных Простое горизонтальное масштабирование Есть, но с причудами Бинарный без схемы < 16mb Фиксированные строки + бинарный без схемы без ограничений Отношения Отсутствуют между разными документами Есть связи в виде foreign key Масштабирование
31. 31 страхи страхи
32. 32 Страхи где ACID?
33. 33 Страхи где ACID? нет схемы
34. 34 Страхи где ACID? нет схемы где данные?
35. 35 mongodb
36. 36 Путь развития было NO transaction, NO sharding, SIMPLE replica nodes, FIRST memory storage MMAP Cross-Platforms
37. 37 Путь развития было NO transaction, NO sharding, SIMPLE replica nodes, FIRST memory storage MMAP Cross-Platforms стало YES transaction, YES sharding, YES replica sets NEW protocol ROW storage WiredTiger, ZIP data, ADD linearizable, ADD schema validation https://jepsen.io/analyses/mongodb-3-6-4
40. 40 BSON Validator
41. 41 BSON Validator
42. 42 Sql server
43. 43 Путь развития было в 1989 YES transaction, YES indexes, NO sharding, NO cluster
44. 44 Путь развития было в 1989 YES transaction, YES indexes, NO sharding, NO cluster BISM DQS SSIS .NET Java Python
45. 45 Путь развития было в 1989 YES transaction, YES indexes, NO sharding, NO cluster BISM DQS SSIS .NET Java Python стало в 2019 NO sharding, AlwaysOn, JSON, ZIP data, ADD JSON schema validation, Always Encrypted, GraphDB, AutoTuning, Cross-Platforms
46. 46 postgresql
47. 47 Путь развития было в 1970… YES transaction, YES indexes, NO sharding, NO cluster, nix
48. 48 Путь развития было в 1970… YES transaction, YES indexes, NO sharding, NO cluster, nix Cluster Custom types and indexes Array in table BSD\MIT Licenses Script plugins SP in C\C++
49. 49 Путь развития было в 1970… YES transaction, YES indexes, NO sharding, NO cluster, nix Cluster Custom types and indexes Array in table BSD\MIT Licenses Script plugins SP in C\C++ стало в 2019 YES sharding, Clusters, JSONb, ZIP data, Inheritance, Encrypted, Cross-Platforms
50. 50 MongoDB RelationDB Constraints Есть Есть
51. 51 MongoDB RelationDB Constraints Есть Есть Транзакции Есть, распределенные по нодам Есть, есть уровни изоляции
52. 52 MongoDB RelationDB Constraints Есть Есть Транзакции Есть, распределенные по нодам Есть, есть уровни изоляции Отказоустойчивость Есть Есть
53. 53 MongoDB RelationDB Constraints Есть Есть Транзакции Отказоустойчивость Есть Есть Есть, распределенные по нодам Есть, есть уровни изоляции
54. 54 планирование хранилища
55. 55 TOOLTIP забудьте реляционный подход
56. 56 Model => ORM => DB
57. 57 Model => ORM => DB ФТ => queries = 1 JOIN
58. 58 Model => ORM => DB ФТ => queries = 1 JOIN ФТ => 2 queries = 3 JOIN …
59. 59 что эффективнее? Два подхода от модели от запросов
60. 60 один ко многим User Article Comment
61. 61 Вариант 1 Встроенные документы
62. 62 Вариант 1 Встроенные документы Плюсы: - сохранение за 1 операцию - поиск возвращает корневой документ Плюсы для SQL\PG: - большой объем хранения json\jsonb
63. 63 Вариант 1 Встроенные документы Минусы в Mongodb: - ограничение хранения в 16мб - глубина вложенности важна для индекса - сложно писать обновления Минусы в SQL\PG: - низкая скорость поиска
64. 64 Вариант 2 Встроенные ссылки
65. 65 Плюсы: - простое добавление зависимости - поиск возвращает _id всех зависимостей - просто сделать связь многие-ко-многим Вариант 2 Встроенные ссылки
66. 66 Минусы для Mongodb: - оптимально для небольшого кол-ва зависимостей - необходимо следить за связями (обновление) Минусы для SQL\PG - это нереляционный подход - не рекомендуется использовать Вариант 2 Встроенные ссылки
67. 67 Вариант 3 классическая связь
68. 68 Плюсы: - простое добавление зависимости - это проще для понимания Вариант 3 классическая связь
69. 69 Минусы: - усложнение кол-ва связей - удаление связанных документов усложнено - увеличение IOPs Вариант 3 классическая связь
70. 70 сравнение
71. 71 Сценарий: 2 типа документа: статья и пользователь - комментарии встроены в статью - ссылка на пользователя есть в статье и комментарии - 1к пользователей - всего 100к статей - всего примерно 500к комментариев
72. 72 Сценарий: 2 типа документа: статья и пользователь - комментарии встроены в статью - ссылка на пользователя есть в статье и комментарии - 1к пользователей - всего 100к статей - всего примерно 500к комментариев Задача: найти все комментарии пользователя по его имени с данными статьи
73. 73 сценарий 1 Встроенные ссылки Объект статья
74. 74 Объект пользователь сценарий 1 Встроенные ссылки
75. 75 Объект пользователь и статьи сценарий 1 Встроенные ссылки
76. 76 Запросы Mongodb 1. получить по имени id пользователя 2 операции 2. отфильтровать статьи по комментариям и убрать лишние комментарии 1 + N операций сценарий 1 Встроенные ссылки
77. 77 Запросы Postgresql, 2 сценария отфильтровать статьи по комментариям и убрать лишние комментарии + join на пользователей 1 index seek + 1 index seek + N операций 1. получить по имени id пользователя 2 операции 2. отфильтровать статьи по комментариям и убрать лишние комментарии 1 + N операций сценарий 1 Встроенные ссылки
78. 78 ИТОГИ
80. 80 Сценарий: 3 типа документа: статья и пользователь и комментарий - комментарии расположены отдельно от статьи - ссылка на пользователя есть в статье и комментарии - 1к пользователей - всего 10к статей - всего примерно 50к комментариев
81. 81 Сценарий: 3 типа документа: статья и пользователь и комментарий - комментарии расположены отдельно от статьи - ссылка на пользователя есть в статье и комментарии - 1к пользователей - всего 10к статей - всего примерно 50к комментариев Задача: найти все комментарии пользователя по его имени с данными статьи
82. 82 сценарий 2 отдельные документы Объект статья
83. 83 сценарий 2 отдельные документы Объект комментарий
84. 84 сценарий 2 отдельные документы Объект пользователь
85. 85 сценарий 2 отдельные документы Объект пользователь
86. 86 Запросы Mongodb 1. получить по имени id пользователя 2 операции 2. получить по id пользователя все комментарии 2 + N операций 3. получить по каждому комментарию статью N операций сценарий 2 отдельные документы
87. 87 Запросы SQL select a.name, a.url, c.text, c.created from comments as c join users u on c.userid = u.id join articles a on c.articleid = a.id where u.name ='Лука Костин 976’; 1 index user seek + 1 index comments seek + 1 index article seek + 1 HASH JOIN + N операций сценарий 2 отдельные документы
88. 88 ИТОГИ
90. 90 nosql пример
91. 91 Service pipe
92. 92 Service pipe
93. 93 Service pipe
94. 94 Service pipe
95. 95 КАК Это хранить В Реляционной БД?
97. 97 Как хранить в БД - денормализованные таблицы с n колонками
98. 98 Как хранить в БД - денормализованные таблицы с n колонками - таблица на каждый тип записи
99. 99 Как хранить в БД - денормализованные таблицы с n колонками - таблица на каждый тип записи - таблица с общими данными и добавкой в json
100. 100 Как хранить в БД - денормализованные таблицы с n колонками - таблица на каждый тип записи - таблица с общими данными и добавкой в json - key-value pairs
101. 101 сравнение
102. 102 Сценарий: 1 тип документа: пакет - данные пакета встроены в пакет - для sql данные лежат в денормализованной таблице - 100к пакетов - всего примерно 500к данных
103. 103 Сценарий: 1 тип документа: пакет - данные пакета встроены в пакет - для sql данные лежат в денормализованной таблице - 100к пакетов - всего примерно 500к данных Задача: найти все пакеты где есть нужные данные
104. 104 nosql вложенные документы
105. 105 nosql вложенные документы
106. 106 nosql вложенные документы
107. 107 ИТОГИ
108. 108 MongoDB RelationDB Иерархическая связанная структура Отлично на чтение под запросы Отлично на запись вместе Плохо на обновление Нормально на чтение Хорошо на запись Отлично на обновление
109. 109 MongoDB RelationDB Иерархическая связанная структура Отлично на чтение под запросы Отлично на запись вместе Плохо на обновление Нормально на чтение Хорошо на запись Отлично на обновление Сырые данные Отлично на чтение Отлично на запись Отлично на чтение Неудобно на запись
110. 110 MongoDB RelationDB Иерархическая связанная структура Отлично на чтение под запросы Отлично на запись вместе Плохо на обновление Нормально на чтение Хорошо на запись Отлично на обновление Сырые данные Отлично на чтение Отлично на запись Отлично на чтение Неудобно на запись
111. 111 Инструменты
112. 112 .NET инструменты Mongodb • ODM
113. 113 .NET инструменты Mongodb • ODM RelationDB • ADO.NET • Dapper • Entity Framework
114. 114 .NET инструменты Mongodb • ODM • Model mapping • Raw Query Language • Driver API • LINQ Query Language
115. 115 Синтаксис вставка данных
116. 116 .NET Вставка данных ADO.NET
117. 117 .NET Вставка данных ADO.NET using var conn = new NpgsqlConnection(connectionString); conn.Open(); conn.TypeMapper.UseJsonNet(); using var transaction = conn.BeginTransaction();
118. 118 .NET Вставка данных ADO.NET using var cmd = new NpgsqlCommand() { Connection = conn, CommandText = $"INSERT INTO articles (name, text, user, comments) VALUES (@n,@t,@u,@co)” };
119. 119 .NET Вставка данных ADO.NET cmd.Parameters.AddWithValue("c", document.Name); cmd.Parameters.AddWithValue("n", document.Text); cmd.Parameters.AddWithValue("t", document.User); cmd.Parameters.Add(new NpgsqlParameter("i", NpgsqlDbType.Jsonb) { Value = document.Comments }); . . . cmd.ExecuteNonQuery(); transaction.Save("transaction");
120. 120 .NET Вставка данных EF using var context = new BlogContext(); using var transaction = context.Database.BeginTransaction(); try { var record = new RecordFactory().GetRecord(); context.Blog.Add(record); context.SaveChanges(); transaction.Commit(); } catch () { transaction.Rollback(); }
121. 121 .NET Вставка данных EF using var context = new BlogContext(); using var transaction = context.Database.BeginTransaction(); try { var record = new RecordFactory().GetRecord(); context.Blog.Add(record); context.SaveChanges(); transaction.Commit(); } catch () { transaction.Rollback(); }
122. 122 .NET Вставка данных EF using var context = new BlogContext(); using var transaction = context.Database.BeginTransaction(); try { var record = new RecordFactory().GetRecord(); context.Blog.Add(record); context.SaveChanges(); transaction.Commit(); } catch () { transaction.Rollback(); }
123. 123 .NET Вставка данных EF Но только для полей в SQL Server Json VARCHAR
124. 124 .NET Вставка данных mongo var client = new MongoClient(connectionString); var collection = client .GetDatabase(”test") .GetCollection<Article>(”articles"); using var session = client.StartSession(); session.StartTransaction(); try { collection.InsertMany(documents); session.CommitTransaction(); } catch () { session.RollbackTransaction(); }
125. 125 .NET Вставка данных mongo var client = new MongoClient(connectionString); var collection = client .GetDatabase(”test") .GetCollection<Article>(”articles"); using var session = client.StartSession(); session.StartTransaction(); try { collection.InsertMany(documents); session.CommitTransaction(); } catch () { session.RollbackTransaction(); }
126. 126 .NET Вставка данных mongo var client = new MongoClient(connectionString); var collection = client .GetDatabase(”test") .GetCollection<Article>(”articles"); using var session = client.StartSession(); session.StartTransaction(); try { collection.InsertMany(documents); session.CommitTransaction(); } catch () { session.RollbackTransaction(); }
127. 127 Синтаксис получение данных
128. 128 .NET получение данных ADO.NET using var conn = new NpgsqlConnection(connectionString); conn.Open(); using var cmd = new NpgsqlCommand( "select t.id, t.name, t.url, t.v from ( select id, name, url, userid, jsonb_array_elements(comments)::jsonb as v from articles_comments) as t join users as u on u.id = jsonb_extract_path_text(v,'UserId')::int where u.name = @name” , conn));
129. 129 .NET получение данных ADO.NET cmd.Parameters.AddWithValue("@name", _faker.PickRandom(_userNames)); using var reader = cmd.ExecuteReader(); var articles = reader.Select(r => new ArticleSql { Id = r.GetInt64(0), Name = r.GetString(1), Url = r.GetString(2), Comments = JsonConvert.DeserializeObject<List<Comment>>( "[" + r.GetString(3) + "]") });
130. 130 .NET получение данных ADO.NET
131. 131 .NET получение данных EF
132. 132 .NET получение данных EF Npgsql.EntityFrameworkCore.PostgreSQL/issues/981 This does not include: • Calling JSON functions and operators • Mapping to non-POCO, JSON DOM types • PostgreSQL 12 JSONPATH support
133. 133 .NET получение данных Mongodb var userFilter = Builders<User>.Filter.Eq( u => u.Name, _faker.PickRandom(_userNames)); var user = _users.Find(userFilter).FirstOrDefault(); var articlesFilter = Builders<Article>.Filter .ElemMatch(a => a.Comments, comment => comment.UserId == user.Id); var projection = Builders<Article>.Projection .Include(a => a.Name) .Include(a => a.Url) .Include(a => a.Comments) .ElemMatch(a => a.Comments, comment => comment.UserId == user.Id); articles.Find(articlesFilter).Project(projection).ToList();
134. 134 .NET получение данных Mongodb var userFilter = Builders<User>.Filter.Eq( u => u.Name, _faker.PickRandom(_userNames)); var user = _users.Find(userFilter).FirstOrDefault(); var articlesFilter = Builders<Article>.Filter .ElemMatch(a => a.Comments, comment => comment.UserId == user.Id); var projection = Builders<Article>.Projection .Include(a => a.Name) .Include(a => a.Url) .Include(a => a.Comments) .ElemMatch(a => a.Comments, comment => comment.UserId == user.Id); articles.Find(articlesFilter).Project(projection).ToList();
135. 135 .NET получение данных Mongodb var userFilter = Builders<User>.Filter.Eq( u => u.Name, _faker.PickRandom(_userNames)); var user = _users.Find(userFilter).FirstOrDefault(); var articlesFilter = Builders<Article>.Filter .ElemMatch(a => a.Comments, comment => comment.UserId == user.Id); var projection = Builders<Article>.Projection .Include(a => a.Name) .Include(a => a.Url) .Include(a => a.Comments) .ElemMatch(a => a.Comments, comment => comment.UserId == user.Id); articles.Find(articlesFilter).Project(projection).ToList();
136. 136 .NET получение данных Mongodb var userFilter = Builders<User>.Filter.Eq( u => u.Name, _faker.PickRandom(_userNames)); var user = _users.Find(userFilter).FirstOrDefault(); var articlesFilter = Builders<Article>.Filter .ElemMatch(a => a.Comments, comment => comment.UserId == user.Id); var projection = Builders<Article>.Projection .Include(a => a.Name) .Include(a => a.Url) .Include(a => a.Comments) .ElemMatch(a => a.Comments, comment => comment.UserId == user.Id); articles.Find(articlesFilter).Project(projection).ToList();
137. 137 ИТОги
138. 138 MongoDB RelationDB Добавление данных Просто и удобно Надо привыкнуть к синтаксису Нет хинтов Просто через EF на запись только реляционных данных ADO.NET Есть хинты
139. 139 MongoDB RelationDB Добавление данных Чтение данных Просто и удобно Есть LINQ Просто через EF без JSON Есть LINQ Просто и удобно Надо привыкнуть к синтаксису Нет хинтов Просто через EF на запись только реляционных данных ADO.NET Есть хинты
140. 140 MongoDB RelationDB Добавление данных Чтение данных Просто и удобно Есть LINQ Просто через EF без JSON Есть LINQ Просто и удобно Надо привыкнуть к синтаксису Нет хинтов Просто через EF на запись только реляционных данных ADO.NET Есть хинты
141. 141 ИТОги итогов
142. 142 MongoDB RelationDB
143. 143 TOOLTIP пробуйте новое и процветайте
144. 144 Q & A