Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Жмём и храним байтики – Андрей Бородин
Search
GopherCon Russia
March 28, 2020
Programming
0
93
Жмём и храним байтики – Андрей Бородин
GopherCon Russia
March 28, 2020
Tweet
Share
More Decks by GopherCon Russia
See All by GopherCon Russia
Go Profiling from Bottom Up - Felix Geisendörfer
gopherconrussia
0
230
Learning Unsung Gotchas of Go - Rashmi Nagpal
gopherconrussia
1
280
Прозрачный gRPC-proxy один-ко-многим - Андрей Смирнов
gopherconrussia
0
150
Из Python в Go и обратно - Андрей Минкин
gopherconrussia
0
150
Оптимизация работы с PostgreSQL в Go: от 50 до 5000 RPS - Иван Осадчий
gopherconrussia
0
180
Пакет embed: распаковка знаний - Илья Данилкин
gopherconrussia
0
240
За пару мгновений до main() - Олег Ковалев
gopherconrussia
0
140
Тестирование в Go c Ginkgo и Gomega - Александр Егурнов
gopherconrussia
0
130
Building an Autoscaling HTTP Proxy for Kubernetes - Aaron Schlesinger
gopherconrussia
0
130
Other Decks in Programming
See All in Programming
『毎日の移動』を支えるGoバックエンド内製開発
yutautsugi
2
290
CSC305 Lecture 10
javiergs
PRO
0
240
The Past, Present, and Future of Enterprise Java
ivargrimstad
0
460
Pythonに漸進的に型をつける
nealle
1
120
Go言語はstack overflowの夢を見るか?
logica0419
0
570
Ktorで簡単AIアプリケーション
tsukakei
0
100
What's new in Spring Modulith?
olivergierke
1
170
monorepo の Go テストをはやくした〜い!~最小の依存解決への道のり~ / faster-testing-of-monorepos
convto
2
540
When Dependencies Fail: Building Antifragile Applications in a Fragile World
selcukusta
0
110
kiroとCodexで最高のSpec駆動開発を!!数時間で web3ネイティブなミニゲームを作ってみたよ!
mashharuki
0
910
SwiftDataを使って10万件のデータを読み書きする
akidon0000
0
240
Go言語の特性を活かした公式MCP SDKの設計
hond0413
2
510
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Product Roadmaps are Hard
iamctodd
PRO
55
11k
Speed Design
sergeychernyshev
32
1.2k
jQuery: Nuts, Bolts and Bling
dougneiner
65
7.9k
Done Done
chrislema
185
16k
YesSQL, Process and Tooling at Scale
rocio
173
15k
Building Adaptive Systems
keathley
44
2.8k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
The Cult of Friendly URLs
andyhume
79
6.6k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
230
22k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.2k
Transcript
None
жмём и храним байтики Андрей Бородин, руководитель подразделения разработки РСУБД
с открытыми исходных кодом
Баги и особенности ваших зависимостей == ваши баги Андрей Бородин,
руководитель подразделения разработки РСУБД с открытыми исходных кодом
None
PostgreSQL в Яндексе ▎ Яндекс.Почта › Сколько-то сотен миллионов пользователей
› 1+ триллион строк, 1+ миллион запросов в секунду ▎ Яндекс.Облако › Несколько петабайт Постгреса › Много разных сервисов Яндекса живут в Облаке 5
НА cluster in the cloud Sync replication Async replication Backup
WAL archiving 6 М Network Object Storage
Специфика СУБД: backup API 7 LSN Файл 1 Файл 2
Файл 3 Start Stop
Специфика СУБД: дельта-копии не на CGO 8
Специфика СУБД: дельта-копии не на CGO 9
Специфика СУБД: дельта-копии не на CGO 10
Специфика СУБД: дельта-копии не на CGO 11
Специфика СУБД: дельта-копии не на CGO 12
Специфика СУБД:concurrent fetch 13 WAL-FETCH 1337 WAL-PREFETCH 1338 WAL-PREFETCH 1339
WAL-PREFETCH 1340
Специфика СУБД:concurrent archive 14 14 WAL-PUSH WAL-PUSH WAL-PUSH WAL-PUSH
Базы данных 15 Базы данных 15
Независимые компоненты 16 Сжатие Шифрование БД Хранилище Дешифровка Разжатие БД
None
Жмём байтики
lz4 19
lz4 20
lz4 21
lzma 22 ▎ Просто дорого по CPU
ZStd https://github.com/DataDog/zstd/issues/39 23
brotli 24
OpenPGP 25
libsodium 26
Push-based vs Pull-based executer 27
io.Reader vs io.Writer 28
io.ReadFull 29
Хранение
S3-based WAL-G 31
S3-based WAL-G 32 ▎ AWS умеет в криптографию
S3 ListObjectsV2() 33
S3 Retry 34
S3 35 ▎ буферизация и троттлинг
S3 параллелизм 36 › Он есть › Но не все
реализации его поддерживают
S3 – всё им поросло 37
Переезд в storages 38
GCP 39 › Нет мультипартов › Какие-то странные проблемы с
зависаниями и ретраями
Azure 40 ▎ Принесли контрибьюторы из KubeDB
FS 41 ▎ Проблемы с Windows build
SWIFT 42 ▎ Проблем нет, возможно, никто им не пользуется?
SSH\SCP 43 › Спрашиваю часто › Многие хотят сделать ›
То же самое с backblaze
Load Balancing https://www.backblaze.com/blog/design-thinking-b2-apis-the-hidden-costs-of-s3-compatibility/ 44
На стыке сжатия и хранения
Прогрев page cache 46
Баги и особенности ваших зависимостей == ваши баги Андрей Бородин,
руководитель подразделения разработки РСУБД с открытыми исходных кодом
Переиспользуемые компоненты WAL-G 48 ▎ Storages
Переиспользуемые компоненты WAL-G 49 ▎ Storages › S3 › Google
Cloud Storage › SWIFT › Azure › Локальная FS › SCP
Переиспользуемые компоненты WAL-G 50 ▎ Storages › S3 › Google
Cloud Storage › SWIFT › Azure › Локальная FS › SCP ▎ WAL parser
Переиспользуемые компоненты WAL-G 51 ▎ Storages › S3 › Google
Cloud Storage › SWIFT › Azure › Локальная FS › SCP ▎ WAL parser ▎ Compression
Баги и особенности ваших зависимостей == ваши баги Андрей Бородин,
руководитель подразделения разработки РСУБД с открытыми исходных кодом
None
54
55
56
Вопросы?
Андрей Бородин Руководитель подразделения разработки РСУБД с открытым исходным кодом
Спасибо!
[email protected]
@x4mmm