Жмём и храним байтики – Андрей Бородин

Transcript

2. жмём и храним байтики Андрей Бородин, руководитель подразделения разработки РСУБД с открытыми исходных кодом
3. Баги и особенности ваших зависимостей == ваши баги Андрей Бородин, руководитель подразделения разработки РСУБД с открытыми исходных кодом
5. PostgreSQL в Яндексе ▎ Яндекс.Почта › Сколько-то сотен миллионов пользователей › 1+ триллион строк, 1+ миллион запросов в секунду ▎ Яндекс.Облако › Несколько петабайт Постгреса › Много разных сервисов Яндекса живут в Облаке 5
6. НА cluster in the cloud Sync replication Async replication Backup WAL archiving 6 М Network Object Storage
7. Специфика СУБД: backup API 7 LSN Файл 1 Файл 2 Файл 3 Start Stop
8. Специфика СУБД: дельта-копии не на CGO 8
9. Специфика СУБД: дельта-копии не на CGO 9
10. Специфика СУБД: дельта-копии не на CGO 10
11. Специфика СУБД: дельта-копии не на CGO 11
12. Специфика СУБД: дельта-копии не на CGO 12
13. Специфика СУБД:concurrent fetch 13 WAL-FETCH 1337 WAL-PREFETCH 1338 WAL-PREFETCH 1339 WAL-PREFETCH 1340
14. Специфика СУБД:concurrent archive 14 14 WAL-PUSH WAL-PUSH WAL-PUSH WAL-PUSH
15. Базы данных 15 Базы данных 15
16. Независимые компоненты 16 Сжатие Шифрование БД Хранилище Дешифровка Разжатие БД
18. Жмём байтики
19. lz4 19
20. lz4 20
21. lz4 21
22. lzma 22 ▎ Просто дорого по CPU
23. ZStd https://github.com/DataDog/zstd/issues/39 23
24. brotli 24
25. OpenPGP 25
26. libsodium 26
27. Push-based vs Pull-based executer 27
28. io.Reader vs io.Writer 28
29. io.ReadFull 29
30. Хранение
31. S3-based WAL-G 31
32. S3-based WAL-G 32 ▎ AWS умеет в криптографию
33. S3 ListObjectsV2() 33
34. S3 Retry 34
35. S3 35 ▎ буферизация и троттлинг
36. S3 параллелизм 36 › Он есть › Но не все реализации его поддерживают
37. S3 – всё им поросло 37
38. Переезд в storages 38
39. GCP 39 › Нет мультипартов › Какие-то странные проблемы с зависаниями и ретраями
40. Azure 40 ▎ Принесли контрибьюторы из KubeDB
41. FS 41 ▎ Проблемы с Windows build
42. SWIFT 42 ▎ Проблем нет, возможно, никто им не пользуется?
43. SSH\SCP 43 › Спрашиваю часто › Многие хотят сделать › То же самое с backblaze
44. Load Balancing https://www.backblaze.com/blog/design-thinking-b2-apis-the-hidden-costs-of-s3-compatibility/ 44
45. На стыке сжатия и хранения
46. Прогрев page cache 46
47. Баги и особенности ваших зависимостей == ваши баги Андрей Бородин, руководитель подразделения разработки РСУБД с открытыми исходных кодом
48. Переиспользуемые компоненты WAL-G 48 ▎ Storages
49. Переиспользуемые компоненты WAL-G 49 ▎ Storages › S3 › Google Cloud Storage › SWIFT › Azure › Локальная FS › SCP
50. Переиспользуемые компоненты WAL-G 50 ▎ Storages › S3 › Google Cloud Storage › SWIFT › Azure › Локальная FS › SCP ▎ WAL parser
51. Переиспользуемые компоненты WAL-G 51 ▎ Storages › S3 › Google Cloud Storage › SWIFT › Azure › Локальная FS › SCP ▎ WAL parser ▎ Compression
52. Баги и особенности ваших зависимостей == ваши баги Андрей Бородин, руководитель подразделения разработки РСУБД с открытыми исходных кодом
57. Вопросы?
58. Андрей Бородин Руководитель подразделения разработки РСУБД с открытым исходным кодом Спасибо! x4mmm@yandex-team.ru @x4mmm