Slide 1
Slide 1 text
Повышаем производительность
программ:
мой путь к succ[ess | inct]
Рубаненко Мария
МФТИ / Fintech AI / ШАД(Яндекс)
2025
Slide 2
Slide 2 text
Содержание
2
● 1. Терминология сжатия
● 2. Суперсжатые структуры данных
❏ 2.1. Операции access / rank / select
❏ 2.2. Как сжать битовый массив
❏ 2.3. Суперсжатый битовый массив
❏ 2.4. Вейвлет-дерево
❏ 2.5. Как суперсжимать дерево
● 3. Область применения суперсжатых структур данных
● 4. Как реализовать суперсжатую структуру данных
❏ 4.1 Pysdsl
❏ 4.2 Sux
❏ 4.3 Facebook’s folly
● 5. Выводы
Slide 3
Slide 3 text
1. Терминология сжатия
3
Compressed data structure = Сжатая структура данных
● без потерь
● с потерями
Implicit data structure = Эффективная структура данных
X + O(1) bit of Space, где X - нижняя граница теории информации
Succinct data structure = Суперсжатая структура данных
X + o(X) bit of Space, где X - нижняя граница теории информации
Compact data structure = Компактная структура данных
O(X) bit of Space, где X - нижняя граница теории информации
Slide 4
Slide 4 text
2. Суперсжатые структуры данных
4
● 1. Терминология сжатия
● 2. Суперсжатые структуры данных
❏ 2.1. Операции access / rank / select
❏ 2.2. Как сжать битовый массив
❏ 2.3. Суперсжатый битовый массив
❏ 2.4. Вейвлет-дерево
❏ 2.5. Как суперсжимать дерево
● 3. Область применения суперсжатых структур данных
● 4. Как реализовать суперсжатую структуру данных
❏ 4.1 Pysdsl
❏ 4.2 Sux
❏ 4.3 Facebook’s folly
● 5. Выводы
Slide 5
Slide 5 text
2.1. Операции access / rank / select
5
Slide 6
Slide 6 text
2.1. Операции access / rank / select
6
Slide 7
Slide 7 text
2.1. Операции access / rank / select
7
Slide 8
Slide 8 text
2.1. Операции access / rank / select
8
Slide 9
Slide 9 text
2.1. Операции access / rank / select
9
Slide 10
Slide 10 text
2.1. Операции access / rank / select
10
Slide 11
Slide 11 text
2.2. Как сжать битовый массив
11
Slide 12
Slide 12 text
2.2. Как сжать битовый массив
12
Slide 13
Slide 13 text
2.3. Суперсжатый битовый массив
13
Slide 14
Slide 14 text
2.3. Суперсжатый битовый массив
14
Slide 15
Slide 15 text
2.3. Суперсжатый битовый массив
15
Slide 16
Slide 16 text
2.3. Суперсжатый битовый массив
16
Slide 17
Slide 17 text
2.3. Суперсжатый битовый массив
17
Slide 18
Slide 18 text
2.4. Вейвлет-дерево
18
Slide 19
Slide 19 text
2.4. Вейвлет-дерево
19
Slide 20
Slide 20 text
2.4. Вейвлет-дерево
20
Slide 21
Slide 21 text
2.4. Вейвлет-дерево
21
Slide 22
Slide 22 text
2.4. Вейвлет-дерево
22
Slide 23
Slide 23 text
2.4. Вейвлет-дерево
23
Slide 24
Slide 24 text
2.4. Вейвлет-дерево
24
Slide 25
Slide 25 text
2.4. Вейвлет-дерево
25
Slide 26
Slide 26 text
2.4. Вейвлет-дерево
26
Slide 27
Slide 27 text
2.4. Вейвлет-дерево
27
Slide 28
Slide 28 text
2.4. Вейвлет-дерево
28
Slide 29
Slide 29 text
2.4. Вейвлет-дерево
29
Slide 30
Slide 30 text
2.4. Вейвлет-дерево
30
Slide 31
Slide 31 text
2.4. Вейвлет-дерево
31
Slide 32
Slide 32 text
2.4. Вейвлет-дерево
32
Slide 33
Slide 33 text
2.4. Вейвлет-дерево
33
Slide 34
Slide 34 text
2.5. Как суперсжимать дерево
34
Slide 35
Slide 35 text
2.5. Как суперсжимать дерево
35
Slide 36
Slide 36 text
2.5. Как суперсжимать дерево
36
Slide 37
Slide 37 text
2.5. Как суперсжимать дерево
37
Slide 38
Slide 38 text
2.5. Как суперсжимать дерево
38
Slide 39
Slide 39 text
2.5. Как суперсжимать дерево
39
Slide 40
Slide 40 text
3. Область применения суперсжатых структур данных
40
● 1. Терминология сжатия
● 2. Суперсжатые структуры данных
❏ 2.1. Операции access / rank / select
❏ 2.2. Как сжать битовый массив
❏ 2.3. Суперсжатый битовый массив
❏ 2.4. Вейвлет-дерево
❏ 2.5. Как суперсжимать дерево
● 3. Область применения суперсжатых структур данных
● 4. Как реализовать суперсжатую структуру данных
❏ 4.1 Pysdsl
❏ 4.2 Sux
❏ 4.3 Facebook’s folly
● 5. Выводы
Slide 41
Slide 41 text
3. Область применения суперсжатых структур данных
41
■ Поиск информации
● поиск документов
● поисков шаблонов в документе
● автодополнение поискового запроса
● индексы поиска
■ ML
● эмбеддинги языковой модели
● ранжирование документов
● генерация синтетической речи
● распознавание речи на определенную тему
■ Криптография
● Неинтерактивные протоколы доказательства с нулевым
разглашением
● Гомоморфное шифрование
Slide 42
Slide 42 text
3. Область применения суперсжатых структур данных
42
■ Мобильные приложения
■ Медицинские данные (ДНК)
■ Потоковая обработка данных
Slide 43
Slide 43 text
4. Как реализовать суперсжатую структуру данных
43
● 1. Терминология сжатия
● 2. Суперсжатые структуры данных
❏ 2.1. Операции access / rank / select
❏ 2.2. Как сжать битовый массив
❏ 2.3. Суперсжатый битовый массив
❏ 2.4. Вейвлет-дерево
❏ 2.5. Как суперсжимать дерево
● 3. Область применения суперсжатых структур данных
● 4. Как реализовать суперсжатую структуру данных
❏ 4.1 Pysdsl
❏ 4.2 Sux
❏ 4.3 Facebook’s folly
● 5. Выводы
Slide 44
Slide 44 text
4.1. Pysdsl
44
https://github.com/QratorLabs/pysdsl
Slide 45
Slide 45 text
4.1. Pysdsl
45
Slide 46
Slide 46 text
4.1. Pysdsl
46
Slide 47
Slide 47 text
4.1. Pysdsl
47
Slide 48
Slide 48 text
4.1. Pysdsl
48
Slide 49
Slide 49 text
4.1. Pysdsl
49
Slide 50
Slide 50 text
4.1. Pysdsl
50
Slide 51
Slide 51 text
4.1. Pysdsl
51
Slide 52
Slide 52 text
4.1. Pysdsl
52
Slide 53
Slide 53 text
4.1. Pysdsl
53
Slide 54
Slide 54 text
4.1. Pysdsl
54
Slide 55
Slide 55 text
4.1. Pysdsl
55
Slide 56
Slide 56 text
4.2. Sux
56
https://github.com/vigna/sux
Slide 57
Slide 57 text
4.2. Sux
57
Slide 58
Slide 58 text
4.3. Facebook’s folly
58
https://github.com/facebook/folly
Slide 59
Slide 59 text
5. Выводы
59
● 1. Терминология сжатия
● 2. Суперсжатые структуры данных
❏ 2.1. Операции access / rank / select
❏ 2.2. Как сжать битовый массив
❏ 2.3. Суперсжатый битовый массив
❏ 2.4. Вейвлет-дерево
❏ 2.5. Как суперсжимать дерево
● 3. Область применения суперсжатых структур данных
● 4. Как реализовать суперсжатую структуру данных
❏ 4.1 Pysdsl
❏ 4.2 Sux
❏ 4.3 Facebook’s folly
● 5. Выводы
Slide 60
Slide 60 text
5. Выводы
60
Ограничения суперсжатых структур данных:
● В большинстве случаев работают только со статическим набором
данных
● Шаблон доступа к памяти часто не локален
● Реализация с нуля сложна
● Известные алгоритмы необходимо адаптировать для быстрой работы
с суперсжатыми структурами данных
Преимущества суперсжатых структур данных:
● Позволяют индексировать большие наборы данных (примерно в
10-100 раз больше по сравнению с классическими индексами).
● Адаптируются к данным: например, фиксируют повторы
● Реализация с нуля сложна
● Предоставляют дополнительную функциональность
● Не ограничиваются только индексацией текста
Slide 61
Slide 61 text
Спасибо за внимание!
Slide 62
Slide 62 text
● Материалы к докладу:
1. https://github.com/mariyana-rubanenko/MoscowPython_101
2. https://vkvideo.ru/@club230164570
3. https://www.youtube.com/@so_besy
62
● Контактная информация:
telegram - https://t.me/maryrubik
GitHub VK YouTube