Анна Морозова “Ты просто Космос ❤️ DB”

Мы выбирали себе документную базу данных. И выбрали Cosmos DB. Расскажу почему ее, сколько она нам стоит, с какими проблемами мы столкнулись, какие фишечки узнали.

Анна Морозова
Техлид, Dodo Pizza, Нижний Новгород

Transcript

1. Ты просто Cosmos DB + = Анна Морозова Dodo Pizza
2. Сеть №1 в России 584 пиццерий по всему миру Нашу пиццу можно попробовать в 13 странах В России выручка за январь - 1 823 657 814 ₽ О нас
5. Mobile Api
6. Зачем
7. Выбираете себе базу данных будете Когда-нибудь будете выбирать
8. План
9. Почему мы выбрали CosmosDB Базовая архитектура Как оптимизировать запросы Настройка мониторинга Партицирование Моделирование данных и коллекций Особенности Подведение итогов План капкан
10. Преимущества
11. Не нужно админить
12. Не нужно админить SLA 99,999%
13. Не нужно админить SLA 99,999% Дешево
14. Геораспределенность
15. DinamoDB (amazon) Spanner (google) Похожие базы
16. Почему не Mongo
17. Не нужно админить SLA 99,999% Дешево
18. Архитектура
19. Orders (10 Gb) Carts (20 Gb) CosmosDB Collections Your App
20. Orders (10 Gb) Carts (20 Gb) CosmosDB Collections Your App Не нужно мигрировать схему В одной коллекции могут храниться документы разной структуры
21. Orders (10 Gb) Carts (20 Gb) CRUD операции Create, Read, Update, Delete Your App CosmosDB Collections
22. Orders (10 Gb) Carts (20 Gb) CRUD операции Your App CosmosDB Collections RU Стоит денег
23. Consumed storage (per Gb) Provisioned throughput (max Request Units per second) Что покупаем? https://azure.microsoft.com/en-gb/pricing/details/cosmos-db/
24. Что такое RU
25. RU {
26. Provisioned throughput
27. Provisioned throughput Requests
28. Provisioned throughput Requests
29. Разные запросы - разный вес Requests 25 RU 40 RU 10 RU 4 RU
30. Что если превысить? Requests
31. Что если превысить? Request Response: 429 To Many Requests Your App CosmosDB
32. 200 OK 201 Created 400 Bad Request 401 Unauthorized 500 Internal Server Error И другие… Cosmos DB status codes Status codes
33. Insert -10-25 RU Read - 4-8 RU Наши заказы в RU
34. 100 RU/s = $5.84/month 1 GB = $0.25/month Сколько в деньгах?
37. Сколько за историю заказов?
38. Provisioned throughput ~ $5/month Consumed storage ~ $ 4.3/month Сколько за историю заказов? = 641 Р
39. Сколько за корзину?
40. Provisioned throughput ~ $64.24/month Consumed storage ~ $ 1.5/month Сколько за корзину? = 4 233 Р
44. $ 300 19 000 Р Сколько всего мы платим? =
45. Cosmos DB vs Redis Cosmos DB Redis 19 000 Р 45 000 Р
46. Don’t Calculate or Estimate. Measure!
47. Code
48. Result Responce
49. Result Responce
50. Result Responce
51. Result Responce
52. Result Responce
55. Code
56. Result Было
57. Стало
58. Result Было
59. Стало
60. Индексы Cosmos < 3.6
63. Мониторинг
77. Партицирование
78. Shard 1 Shard 2 Shard 3 Your App CosmosDB Shard Key: ClientId ClientId:1-100 ClientId:101-200 ClientId:201-300
79. Логическая партиция Физическая партиция
80. Логическая
81. OrderId:1, ClientId:1 ShardKey = ClientId Logical Shard 1
82. OrderId:1, ClientId:1 OrderId:2, ClientId:2 ShardKey = ClientId Logical Shard 1 Logical Shard 2
83. OrderId:1, ClientId:1 OrderId:2, ClientId:2 ShardKey = ClientId Logical Shard 1 Logical Shard 2 OrderId:3, ClientId:3 Logical Shard 3
84. OrderId:1, ClientId:1 OrderId:4, ClientId: 1 OrderId:2, ClientId:2 ShardKey = ClientId Logical Shard 1 Logical Shard 2 OrderId:3, ClientId:3 Logical Shard 3
85. Физическое
90. Высокая доступность Данные дублируются между всем репликами в реплика-сета Данные дублируются между всеми регионами
91. Высокая доступность N Azure regions -> не менее N x 4 копий данных
93. Физическое партиционирование
94. Ограничение на Логическую партицию Max 10 GB Max 10 000 RU/s Абстракция протекла
95. ShardKey = ClientId для заказов клиента ShardKey = PizzeriaId для данных пиццерии Хороший ShardKey
96. ShardKey = ClientId для корзины ShardKey = CountryId для данных пиццерии Плохой ShardKey
99. Моделирование
100. Data modeling in Azure Cosmos DB https://docs.microsoft.com/en-us/azure/cosmos-db/modeling-data How to model and partition data on Azure Cosmos DB using a real- world example https://docs.microsoft.com/en-us/azure/cosmos-db/how-to-model-partition-example Дока
101. Data modeling in Azure Cosmos DB https://docs.microsoft.com/en-us/azure/cosmos-db/modeling-data How to model and partition data on Azure Cosmos DB using a real- world example https://docs.microsoft.com/en-us/azure/cosmos-db/how-to-model-partition-example Дока
102. Посты Автор поста Лайки к постам Комменты Блог
103. В статье рекомендуется все что имеет ShardKey PostId хранить в одной коллекции Дока
104. Дока
105. Дока
106. Дока
107. DataCatalog Operational Other collections К чему мы пришли
108. Уровни консистентности
109. Особенности
110. Почему вам не понравится UpdateOne
111. Update doc 1 Find by filter
112. Update doc 1 Find by filter Update doc 1 Find by filter
113. Update doc 1 Find by filter Update doc 1 Find by filter Modify
114. Update doc 1 Find by filter Update doc 1 Find by filter Modify Modify
115. В монго-апи UpdateOne не гарантирует транзакционности исполнения предиката (where) и последующего изменения данных. Это создаёт возможность перетирания более свежих версий документа устаревшими его версиями. FindOneAndModify работает правильно
116. Особенности сортировки
118. Особенности работы с MongoApi
119. Уровни консистентности
120. MongoDB и, как следствие, MongoAPI не поддерживают уровень консистентности Session. Соответственно, при его использовании c MongoAPI клиент по факту получает уровень консистентности Consistent prefix Уровни консистентности
121. У космоса много плюшек SLA 99,999 Дешево Не нужно быть DevOps-ом что бы адмить Круто с точки зрения оптимизации (RU) Есть свои сложности Много коллекций - дорого Все коллекции с ShardKey Баго-фичи Выводы
122. Вопросы