Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Антон Коновалов – «RoaringBitmap: что это такое...
Search
Ozon Tech
September 22, 2023
Technology
300
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Антон Коновалов – «RoaringBitmap: что это такое и как мы это используем»
Ozon Tech
September 22, 2023
Transcript
15 slides
Ozon Tech 2023 RoaringBitmap: что это такое и как мы
это используем Антон Коновалов, руководитель отдела «Сегменты и триггерные коммуникации»
Что такое битмапы 1
Какие свойства? Где используют? Bitmap, bitset, bit-array 3 Index 0
1 2 3 4 5 6 7 . . . N Bitmap 0 1 0 1 0 0 1 . . . 1 N существует в этом наборе 2 не существует в этом наборе
4 Почему это быстро? Храня наборы целых чисел в таком
представлении, bitmap могут использовать преимущества чрезвычайно быстрых инструкций CPU • bitwise-AND • bitwise-OR • SIMD
Маски 5
При решении каких задач мы используем bitmap в отделе «Сегменты
и триггерные коммуникации»? 2
Построение сегментов и сегментирование Сегменты 7
Визуализация сегментов Сегменты 8
Конструктор рассылок по аудиториям и аналитика по результатам Коммуникации 9
Конструктор рассылок по аудиториям и аналитика по результатам Коммуникации 10
Как написать свой маленький Bitset на Gо? 11
RoaringBitmap 3
Сжатые Bitmap. Могут быть в сотни раз быстрее RoaringBitmap 13
0х0000 0х0001 0х0001 0 62 124 186 248 310 … 61 938 [0,99] [101,99] [300,99] 1 0 1 0 1 0 … 0 16-bit values + pointers to container 1000 sorted 16-bit values (2000 B) 216 bits (8kB) 3 х 2 B = 6 B Three pairs of 16-bit values, indicating intervals [0,99], [101, 200], [300,399]; pairs are sorted for fast random access array container (1000 values) run container (3 runs) bitset container (215 values)
На сегменте 100_000_000 пользователей Посчитаем размер 14 Bitset 1. Структура
хранения: []uint64 2. Размер сета: 100_000_000 / 64 = 1_562_500 3. 1_562_500 * 8 bytes = 12.5Mb RoaringBitmap 1. Зависит от случая, посмотрим в коде J
[email protected]
Спасибо за внимание Антон Коновалов, руководитель отдела «Сегменты и
триггерные коммуникации»
More Decks by Ozon Tech
See All by Ozon Tech
Анастасия Писнова, «Текст как проект»
ozontech
0
95
Светлана Каюшина, Автоматизируем документирование и внедряем ИИ
ozontech
0
100
Павел Костромитин, «Что случилось у UXW T-Банка в 2024 »
ozontech
0
190
Сергей Горшенин, «Конвертация данных Ozon»
ozontech
0
99
Юрий Гуреев, «Интеграция 1С с внешними системами. Проблемы и их решения»
ozontech
0
130
Артём Нургалиев, «Кэш на кэш: как ускоряли автобиддеры»
ozontech
0
97
Анна Мария Попова (Х5 Tech) – Фантастический техпис: может ли опыт создания художественных книг помочь в написании документации
ozontech
0
270
Александр Мачулин (Gramax) – Справочник фантастических тварей из Docs as Code
ozontech
0
300
Мария Смирнова – Дзен и искусство работы с документацией: как использовать принципы буддизма в работе техписа
ozontech
0
240
Other Decks in Technology
See All in Technology
IoTのデータ保存をSREの観点で考える
grimoh
1
110
市販IoT機器や自作IoT機器とHomeAssistantを駆使して家の電気代をできる限り見える化する方法の考案
harutiro
0
410
目を覚ませ!僕らの認証情報が何者かに侵略されてるぞ
tkito
2
480
コピーオンライト型ファイルシステムと ランダム書き込み
sat
PRO
2
130
AI-Ready なデータ基盤ってなに? & 新卒未経験が、いま考えていること
imuta
0
1.1k
20261119_AgentCore
takuyay0ne
1
140
その修正で本当に速くなったのか? k6とOpenTelemetryで確かめる性能改善 / Performance review with k6 and OpenTelemetry
ymotongpoo
3
420
Gov-JAWS#9 統合監視機能のマネージドサービス化+AIによる障害時自動調査
fj_yoshimura_kosuke
0
230
飯から始まるデータエンジニア
sansantech
PRO
0
130
社内アプリ基盤「Quartz」による、 非エンジニアとAIに本番デプロイを 任せても壊れないプラットフォームの設計
staka121
PRO
1
170
Web Performance Is a Journey [PerfNow 2026]
tammyeverts
2
110
[関西Kaggler会 20261113] 続・コミュニティコンペのススメ
nejumi
0
190
Featured
See All Featured
What Being in a Rock Band Can Teach Us About Real World SEO
427marketing
0
1.1k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
360
31k
Fireside Chat
paigeccino
43
4.1k
Become a Pro
speakerdeck
PRO
31
6.4k
Build your cross-platform service in a week with App Engine
jlugia
234
19k
エンジニアに許された特別な時間の終わり
watany
109
250k
Statistics for Hackers
jakevdp
799
230k
sira's awesome portfolio website redesign presentation
elsirapls
0
520
Embracing the Ebb and Flow
colly
88
5.2k
How to optimise 3,500 product descriptions for ecommerce in one day using ChatGPT
katarinadahlin
PRO
3
3.9k
Thoughts on Productivity
jonyablonski
76
5.5k
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs
inesmontani
PRO
3
3.8k