Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Жмём и храним байтики – Андрей Бородин
Search
GopherCon Russia
March 28, 2020
Programming
0
90
Жмём и храним байтики – Андрей Бородин
GopherCon Russia
March 28, 2020
Tweet
Share
More Decks by GopherCon Russia
See All by GopherCon Russia
Go Profiling from Bottom Up - Felix Geisendörfer
gopherconrussia
0
220
Learning Unsung Gotchas of Go - Rashmi Nagpal
gopherconrussia
1
280
Прозрачный gRPC-proxy один-ко-многим - Андрей Смирнов
gopherconrussia
0
140
Из Python в Go и обратно - Андрей Минкин
gopherconrussia
0
140
Оптимизация работы с PostgreSQL в Go: от 50 до 5000 RPS - Иван Осадчий
gopherconrussia
0
170
Пакет embed: распаковка знаний - Илья Данилкин
gopherconrussia
0
230
За пару мгновений до main() - Олег Ковалев
gopherconrussia
0
130
Тестирование в Go c Ginkgo и Gomega - Александр Егурнов
gopherconrussia
0
120
Building an Autoscaling HTTP Proxy for Kubernetes - Aaron Schlesinger
gopherconrussia
0
130
Other Decks in Programming
See All in Programming
Select API from Kotlin Coroutine
jmatsu
1
190
Azure AI Foundryではじめてのマルチエージェントワークフロー
seosoft
0
130
なぜ適用するか、移行して理解するClean Architecture 〜構造を超えて設計を継承する〜 / Why Apply, Migrate and Understand Clean Architecture - Inherit Design Beyond Structure
seike460
PRO
1
690
XSLTで作るBrainfuck処理系
makki_d
0
210
なぜ「共通化」を考え、失敗を繰り返すのか
rinchoku
1
510
PHPでWebSocketサーバーを実装しよう2025
kubotak
0
160
Create a website using Spatial Web
akkeylab
0
300
ASP.NETアプリケーションのモダナイズ インフラ編
tomokusaba
1
410
『自分のデータだけ見せたい!』を叶える──Laravel × Casbin で複雑権限をスッキリ解きほぐす 25 分
akitotsukahara
1
550
すべてのコンテキストを、 ユーザー価値に変える
applism118
2
800
プロダクト志向ってなんなんだろうね
righttouch
PRO
0
160
Bytecode Manipulation 으로 생산성 높이기
bigstark
2
380
Featured
See All Featured
It's Worth the Effort
3n
185
28k
BBQ
matthewcrist
89
9.7k
How to train your dragon (web standard)
notwaldorf
93
6.1k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Stop Working from a Prison Cell
hatefulcrawdad
270
20k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Six Lessons from altMBA
skipperchong
28
3.8k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Transcript
None
жмём и храним байтики Андрей Бородин, руководитель подразделения разработки РСУБД
с открытыми исходных кодом
Баги и особенности ваших зависимостей == ваши баги Андрей Бородин,
руководитель подразделения разработки РСУБД с открытыми исходных кодом
None
PostgreSQL в Яндексе ▎ Яндекс.Почта › Сколько-то сотен миллионов пользователей
› 1+ триллион строк, 1+ миллион запросов в секунду ▎ Яндекс.Облако › Несколько петабайт Постгреса › Много разных сервисов Яндекса живут в Облаке 5
НА cluster in the cloud Sync replication Async replication Backup
WAL archiving 6 М Network Object Storage
Специфика СУБД: backup API 7 LSN Файл 1 Файл 2
Файл 3 Start Stop
Специфика СУБД: дельта-копии не на CGO 8
Специфика СУБД: дельта-копии не на CGO 9
Специфика СУБД: дельта-копии не на CGO 10
Специфика СУБД: дельта-копии не на CGO 11
Специфика СУБД: дельта-копии не на CGO 12
Специфика СУБД:concurrent fetch 13 WAL-FETCH 1337 WAL-PREFETCH 1338 WAL-PREFETCH 1339
WAL-PREFETCH 1340
Специфика СУБД:concurrent archive 14 14 WAL-PUSH WAL-PUSH WAL-PUSH WAL-PUSH
Базы данных 15 Базы данных 15
Независимые компоненты 16 Сжатие Шифрование БД Хранилище Дешифровка Разжатие БД
None
Жмём байтики
lz4 19
lz4 20
lz4 21
lzma 22 ▎ Просто дорого по CPU
ZStd https://github.com/DataDog/zstd/issues/39 23
brotli 24
OpenPGP 25
libsodium 26
Push-based vs Pull-based executer 27
io.Reader vs io.Writer 28
io.ReadFull 29
Хранение
S3-based WAL-G 31
S3-based WAL-G 32 ▎ AWS умеет в криптографию
S3 ListObjectsV2() 33
S3 Retry 34
S3 35 ▎ буферизация и троттлинг
S3 параллелизм 36 › Он есть › Но не все
реализации его поддерживают
S3 – всё им поросло 37
Переезд в storages 38
GCP 39 › Нет мультипартов › Какие-то странные проблемы с
зависаниями и ретраями
Azure 40 ▎ Принесли контрибьюторы из KubeDB
FS 41 ▎ Проблемы с Windows build
SWIFT 42 ▎ Проблем нет, возможно, никто им не пользуется?
SSH\SCP 43 › Спрашиваю часто › Многие хотят сделать ›
То же самое с backblaze
Load Balancing https://www.backblaze.com/blog/design-thinking-b2-apis-the-hidden-costs-of-s3-compatibility/ 44
На стыке сжатия и хранения
Прогрев page cache 46
Баги и особенности ваших зависимостей == ваши баги Андрей Бородин,
руководитель подразделения разработки РСУБД с открытыми исходных кодом
Переиспользуемые компоненты WAL-G 48 ▎ Storages
Переиспользуемые компоненты WAL-G 49 ▎ Storages › S3 › Google
Cloud Storage › SWIFT › Azure › Локальная FS › SCP
Переиспользуемые компоненты WAL-G 50 ▎ Storages › S3 › Google
Cloud Storage › SWIFT › Azure › Локальная FS › SCP ▎ WAL parser
Переиспользуемые компоненты WAL-G 51 ▎ Storages › S3 › Google
Cloud Storage › SWIFT › Azure › Локальная FS › SCP ▎ WAL parser ▎ Compression
Баги и особенности ваших зависимостей == ваши баги Андрей Бородин,
руководитель подразделения разработки РСУБД с открытыми исходных кодом
None
54
55
56
Вопросы?
Андрей Бородин Руководитель подразделения разработки РСУБД с открытым исходным кодом
Спасибо!
[email protected]
@x4mmm