Дмитрий Долгов (Zalando), NoSQL внутри SQL: тактика и стратегия, CodeFest 2017

https://2017.codefest.ru/lecture/1174

Чтобы добиться от системы максимальной производительности, необходимо учитывать структуру данных, с которыми вы работаете. Проблемы возникают, если данные очень неоднородные, и один из способов решения этих проблем - использовать возможности современных реляционных БД для хранения данных в документо-ориентированной форме.

Этот подход имеет свои плюсы и минусы, которые будут обсуждаться в докладе на примерах PostgreSQL/MySQL/MariaDB etc.

Основные вопросы:
● как не потеряться в новых возможностях, способы безболезненного переноса данных в такой формат и как с ними работать.
● производительность тех или иных решений и подходов - чего необходимо избегать, а чего бояться не стоит, бенчмарки для разных конфигураций и видов нагрузки.

Transcript

1. nosql внутри sql тактика и стратегия Дмитрий Долгов Senior Software Engineer Zalando
2. Данные бывают разные 1
3. Данные бывают разные Стандарт SQL/JSON 1
4. Данные бывают разные Стандарт SQL/JSON Как перестать волноваться и начать использовать документы 1
5. Данные бывают разные Стандарт SQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность 1
6. Данные бывают разные Стандарт SQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность Бенчмарки 1
7. Данные бывают разные Стандарт SQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность Бенчмарки * Поиск и чтение документов 1
8. Данные бывают разные Стандарт SQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность Бенчмарки * Поиск и чтение документов * Вставка документов 1
9. Данные бывают разные Стандарт SQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность Бенчмарки * Поиск и чтение документов * Вставка документов * Обновление документов 1
10. Данные 2
11. Данные 2
12. Данные 2
13. Данные нужно хранить в соответствующем формате: 3
14. Данные нужно хранить в соответствующем формате: Отдельные хранилища, единый интерфейс 3
15. Данные нужно хранить в соответствующем формате: Отдельные хранилища, единый интерфейс Единое хранилище, разные форматы 3
16. Отдельные хранилища 4
17. Отдельные хранилища Конкретный формат обрабатывается наилучщим образом  4
18. Отдельные хранилища Конкретный формат обрабатывается наилучщим образом  Производительность, дублирование  4
19. Отдельные хранилища Конкретный формат обрабатывается наилучщим образом  Производительность, дублирование  Вопросы интеграции компонентов  4
20. Единое хранилище 5
21. Единое хранилище Не требует интеграции  5
22. Единое хранилище Не требует интеграции  Производительность, дублирование  5
23. Единое хранилище Не требует интеграции  Производительность, дублирование  Зависимость от БД  5
25. Кто? Postgresql (hstore/json/jsonb) MySQL (json) Oracle MSSql db2 MongoDB ($lookup, read-only view, BI connector) 7
26. SQL/JSON стандарт Опубликован 15.12.2016 Oracle 8
27. . . SQL/JSON . JSON item . . scalar . . text . numeric . boolean . datetime . null . object . array . JSON sequence . 9
28. . . Functions . Retrieval . . Exract value . Exract json . Path existence . Convert to relation . JSON cor- rectness . Construction . . Create an object . Create an array . Create from relation 10
29. SQL/JSON стандарт JSON_QUERY JSON item method JSON filter expression 11
30. Легкий способ начать бегать по утрам использовать документы в реляционной базе 12
32. -- PG since 9.4 select jsonb_build_object( ’id’, 1, ’data’, ’aaa’ ); -- MySQL since 5.7 select json_object( ’id’, 1, ’data’, ’aaa’ ); 14
33. -- PG since 9.4 select jsonb_agg(query) from ( select id, data from jsonb_table ) query; -- MySQL since 8 select json_objectagg(‘key‘, val) as ‘key_val‘ from t1; 15
34. -- PG copy table_name(jsonb_column_name) from ’data.json’; -- MySQL load data infile ’data.json’ into table table_name (json_column_name); 16
35. Загрузка дампа из внешних источников Некорректные данные с валидной структурой – json5 Битые данные – ручное исправление, линтеры 17
36. производительность
37. Факторы 19
38. Факторы Структура данных на диске 19
39. Факторы Структура данных на диске Сериализация данных 19
40. Факторы Структура данных на диске Сериализация данных Поддержка индексов 19
41. Bson 20
42. bson.dumps({”a”: 3, ”b”: u”xyz”}) 21
43. Jsonb 22
44. select pg_relation_filepath(oid), relpages from pg_class where relname = ’table_name’; pg_relation_filepath | relpages ----------------------+---------- base/40960/325477 | 0 (1 row) 23
45. MySQL json 24
46. Сериализация данных MongoDB – дерево Document -> Elements Postgresql – JsonbValue со списком элементов MySQL – класс Value 25
47. Индексы MongoDB – индексы для полей Postgresql – общий индекс, индексы для полей MySQL – виртуальные колонки для индексирования 26
48. тестирование
50. PostgreSQL 9.5.4 MySQL 5.7.9 MongoDB 3.2.9 YCSB 0.9 106 rows and operations AWS EC2 29
51. Воспроизводимость erthalion/YCSB erthalion/ansible-ycsb 30
52. AWS EC2 m4.xlarge instance separate instance (database and generator) 16GB memory, 4 core 2.3GHz Ubuntu 14.04 Same VPC and placement group AMI that supports HVM virtualization type at least 4 rounds of benchmark 31
53. Конфигурация shared_buffers effective_cache_size innodb_buffer_pool_size write concern level (journaled or transaction_sync) 32
54. Виды документов “простой” документ 10 ключей и значений (100 символов) “большой” документ 100 ключей и значений (200 символов) “сложный” документ 100 ключей, 3 уровня вложенности (100 символов) 33
55. Простая выборка по ключу с ”Простой документ” jsonb_path_ops where data @> ’”key”: ”value”’::jsonb 34
58. Простая выборка по ключу ”Простой документ” jsonb_path_ops where data @> jsonb_build_object(’key’, ’value’) 37
60. Простая выборка по ключу с Btree индексом ”Простой документ” btree 39
63. Простая выборка по ключу с Btree индексом ”Сложный документ” btree 42
65. Срез по документу ”Большой документ” Из документа выбирается одно поле 44
67. Срез по документу ”Большой документ” Из документа выбирается 10 полей 46
70. Масштабируемость ”Простой документ” m4.large m4.xlarge m4.2xlarge 49
72. Вставка документов ”Простой документ” default write concern 51
74. Вставка документов ”Простой документ” journaled 53
77. Выборка 50%, обновление 50% ”Простой документ” обновление одного поля transaction_sync 56
80. Выборка 50%, обновление 50% ”Простой документ” обновление одного поля journaled 59
82. Выборка 50%, обновление 50% ”Большой документ” обновление одного поля 61
85. Документов в RDBMS можно не бояться 64
86. Документов в RDBMS можно не бояться Приведенные бенчмарки - ”подсказки” 64
87. Документов в RDBMS можно не бояться Приведенные бенчмарки - ”подсказки” Необходимы свои тесты для нагрузки 64
88. Документов в RDBMS можно не бояться Приведенные бенчмарки - ”подсказки” Необходимы свои тесты для нагрузки Где кластер? 64
89. вопросы?  github.com/erthalion  @erthalion  9erthalion6 at gmail dot com Дмитрий Долгов Senior Software Engineer Zalando 65