Moscow Python Meetup №103. Мария Рубаненко (Fintech AI / Tech lead DS). Суперсжатие на строках

Мы продолжим доклад "Повышаем производительность программ: мой путь к succ[ess \| inct]" и затронем суперсжатие для полнотекстового поиска, в том числе реализуем его на Python и замерим производительность.

Видео: https://moscowpython.ru/meetup/103/string-supercompression/

Moscow Python: http://moscowpython.ru
Курсы Learn Python: http://learn.python.ru
Moscow Python Podcast: http://podcast.python.ru
Заявки на доклады: https://bit.ly/mp-speaker

Transcript

1. Суперсжатие на строках Рубаненко Мария МФТИ / Fintech AI / ШАД(Яндекс) 2025
2. Содержание 2 • 1. Терминология сжатия • 2. Базовые понятия про суперсжатие ❏ 2.1. Операции access / rank / select ❏ 2.2. Как суперсжать битовый массив • 3. Суперсжатие на строках ❏ 3.1. Вейвлет-дерево ❏ 3.2. Преобразование Берроуза-Уилера ❏ 3.3. Обратное преобразование Берроуза-Уилера ❏ 3.4. FM-индекс ❏ 3.5. Графовое представление Берроуза-Уилера • 4. Как реализовать суперсжатие на строках ❏ 4.1 Pysdsl • 5. Выводы
3. 1. Терминология сжатия 3 Compressed data structure = Сжатая структура данных • без потерь • с потерями Implicit data structure = Эффективная структура данных X + O(1) bit of Space, где X - нижняя граница теории информации Succinct data structure = Суперсжатая структура данных X + o(X) bit of Space, где X - нижняя граница теории информации Compact data structure = Компактная структура данных O(X) bit of Space, где X - нижняя граница теории информации
4. * Идея суперсжатых структур 4 • Есть данные размера O(n). Но для выполнения некоторых операций (например, эффективного поиска) нужно строить дополнительную структуру данных на исходных данных размера O(n)[o-большое]. • Но мы хотим построить дополнительную структуру данных размера o(n)[o-малое], чтобы при n->∞ вспомогательная структура занимала константную по размеру память. • Такая доп. структура будет сжатой, но мы еще хотим, чтобы операции на доп. сжатой структуре по времени имели такую же асимптотику, что и операции на доп. не сжатой структуре, то есть хотим суперсжать. • Как достичь суперсжатия?
5. * Идея суперсжатых структур 5 • Чтобы построить суперсжатие произвольной структуры данных нужно закодировать ее в битовый вектор, а операции на структуре выразить через комбинацию базовых методов суперсжатия: rank() и select().
6. * Область применения суперсжатых структур данных 6 ▪ Поиск информации • поиск документов • поисков шаблонов в документе • автодополнение поискового запроса • индексы поиска ▪ ML • эмбеддинги языковой модели • ранжирование документов • генерация синтетической речи • распознавание речи на определенную тему ▪ Криптография • Неинтерактивные протоколы доказательства с нулевым разглашением • Гомоморфное шифрование
7. 2. Базовые понятия про суперсжатие 7 • 1. Терминология сжатия • 2. Базовые понятия про суперсжатие ❏ 2.1. Операции access / rank / select ❏ 2.2. Как суперсжать битовый массив • 3. Суперсжатие на строках ❏ 3.1. Вейвлет-дерево ❏ 3.2. Преобразование Берроуза-Уилера ❏ 3.3. Обратное преобразование Берроуза-Уилера ❏ 3.4. FM-индекс ❏ 3.5. Графовое представление Берроуза-Уилера • 4. Как реализовать суперсжатие на строках ❏ 4.1 Pysdsl • 5. Выводы
8. 2.1. Операции access / rank / select 8
9. 2.1. Операции access / rank / select 9
10. 2.1. Операции access / rank / select 10
11. 2.2. Как суперсжать битовый массив 11
12. 2.2. Как суперсжать битовый массив 12
13. 3. Суперсжатие на строках 13 • 1. Терминология сжатия • 2. Базовые понятия про суперсжатие ❏ 2.1. Операции access / rank / select ❏ 2.2. Как суперсжать битовый массив • 3. Суперсжатие на строках ❏ 3.1. Вейвлет-дерево ❏ 3.2. Преобразование Берроуза-Уилера ❏ 3.3. Обратное преобразование Берроуза-Уилера ❏ 3.4. FM-индекс ❏ 3.5. Графовое представление Берроуза-Уилера • 4. Как реализовать суперсжатие на строках ❏ 4.1 Pysdsl • 5. Выводы
14. 3.1. Вейвлет-дерево 14
15. 3.1. Вейвлет-дерево 15
16. 3.1. Вейвлет-дерево 16
17. 3.1. Вейвлет-дерево 17
18. 3.1. Вейвлет-дерево 18
19. 3.1. Вейвлет-дерево 19
20. 3.1. Вейвлет-дерево 20
21. 3.1. Вейвлет-дерево 21
22. 3.1. Вейвлет-дерево 22
23. 3.1. Вейвлет-дерево 23
24. 3.1. Вейвлет-дерево 24
25. 3.1. Вейвлет-дерево 25
26. 3.1. Вейвлет-дерево 26
27. 3.1. Вейвлет-дерево 27
28. 3.1. Вейвлет-дерево 28
29. 3.1. Вейвлет-дерево 29
30. 3.1. Вейвлет-дерево 30
31. 3.1. Вейвлет-дерево 31
32. 3.2. Преобразование Берроуза-Уилера 32
33. 3.2. Преобразование Берроуза-Уилера 33
34. 3.2. Преобразование Берроуза-Уилера 34
35. 3.2. Преобразование Берроуза-Уилера 35
36. 3.2. Преобразование Берроуза-Уилера 36
37. 3.3. Обратное преобразование Берроуза-Уилера 37
38. 3.3. Обратное преобразование Берроуза-Уилера 38
39. 3.3. Обратное преобразование Берроуза-Уилера 39
40. 3.3. Обратное преобразование Берроуза-Уилера 40
41. 3.3. Обратное преобразование Берроуза-Уилера 41
42. 3.3. Обратное преобразование Берроуза-Уилера 42
43. 3.4. FM-индекс (Full-text index in Minute space) 43
44. 3.4. FM-индекс 44
45. 3.4. FM-индекс 45
46. 3.4. FM-индекс 46
47. 3.4. FM-индекс 47
48. 3.4. FM-индекс 48
49. 3.4. FM-индекс 49
50. 3.4. FM-индекс 50
51. 3.4. FM-индекс 51
52. 3.4. FM-индекс 52
53. 3.5. Графовое представление Берроуза-Уилера 53
54. 3.5. Графовое представление Берроуза-Уилера 54
55. 3.5. Графовое представление Берроуза-Уилера 55
56. 3.5. Графовое представление Берроуза-Уилера 56
57. 3.5. Графовое представление Берроуза-Уилера 57
58. 3.5. Графовое представление Берроуза-Уилера 58
59. 3.5. Графовое представление Берроуза-Уилера 59
60. 3.5. Графовое представление Берроуза-Уилера 60
61. 3.5. Графовое представление Берроуза-Уилера 61
62. 3.5. Графовое представление Берроуза-Уилера 62
63. 3.5. Графовое представление Берроуза-Уилера 63
64. 3.5. Графовое представление Берроуза-Уилера 64
65. 3.5. Графовое представление Берроуза-Уилера 65
66. 3.5. Графовое представление Берроуза-Уилера 66
67. 3.5. Графовое представление Берроуза-Уилера 67
68. 4. Как реализовать суперсжатие на строках 68 • 1. Терминология сжатия • 2. Базовые понятия про суперсжатие ❏ 2.1. Операции access / rank / select ❏ 2.2. Как суперсжать битовый массив • 3. Суперсжатие на строках ❏ 3.1. Вейвлет-дерево ❏ 3.2. Преобразование Берроуза-Уилера ❏ 3.3. Обратное преобразование Берроуза-Уилера ❏ 3.4. FM-индекс ❏ 3.5. Графовое представление Берроуза-Уилера • 4. Как реализовать суперсжатие на строках ❏ 4.1 Pysdsl • 5. Выводы
69. 4.1. Pysdsl 69 https://github.com/QratorLabs/pysdsl
70. 4.1. Pysdsl 70
71. 4.1. Pysdsl 71
72. 4.1. Pysdsl 72
73. 4.1. Pysdsl 73
74. 4.1. Pysdsl 74
75. 4.1. Pysdsl 75
76. 5. Выводы 76 • 1. Терминология сжатия • 2. Базовые понятия про суперсжатие ❏ 2.1. Операции access / rank / select ❏ 2.2. Как суперсжать битовый массив • 3. Суперсжатие на строках ❏ 3.1. Вейвлет-дерево ❏ 3.2. Преобразование Берроуза-Уилера ❏ 3.3. Обратное преобразование Берроуза-Уилера ❏ 3.4. FM-индекс ❏ 3.5. Графовое представление Берроуза-Уилера • 4. Как реализовать суперсжатие на строках ❏ 4.1 Pysdsl • 5. Выводы
77. 5. Выводы 77 Сжатие Суперсжатие
78. Спасибо за внимание!
79. • Материалы к докладу: 1. https://github.com/mariyana-rubanenko/MoscowPython_103 2. https://vkvideo.ru/@club230164570 3. https://www.youtube.com/@so_besy 79 • Контактная информация: telegram - https://t.me/maryrubik GitHub VK YouTube