Moscow Python Meetup №107. Суперсжатые полнотекстовые индексы

Мария Рубаненко (Fintech AI, Tech lead DS).

В продолжение темы, связанной с суперсжатием на строках, мы рассмотрим эволюцию различных реализаций суперсжатых индексов для полнотекстового поиска.

Видео: https://moscowpython.ru/meetup/107/supercompressed-indexes/

Moscow Python: http://moscowpython.ru
Курсы Learn Python: http://learn.python.ru
Moscow Python Podcast: http://podcast.python.ru
Заявки на доклады: https://bit.ly/mp-speaker

Transcript

1. Суперсжатые полнотекстовые индексы Рубаненко Мария МФТИ / Fintech AI / ШАД(Яндекс) 2026
2. Содержание 2 • 1. Постановка задачи • 2. Вспомогательные понятия про суперсжатие текста ❏ 2.1. Вейвлет-дерево ❏ 2.2. Преобразование Берроуза-Уилера ❏ 2.3. Обратное преобразование Берроуза-Уилера • 3. Суперсжатые полнотекстовые индексы ❏ 3.1. FM-индекс ❏ 3.2. RLFM-индекс ❏ 3.3. Структуры сдвига • 4. Как реализовать суперсжатые полнотекстовые индексы • 5. Выводы
3. 1. Постановка задачи 3
4. 1. Постановка задачи 4
5. 2. Вспомогательные понятия про суперсжатие текста 5 • 1. Постановка задачи • 2. Вспомогательные понятия про суперсжатие текста ❏ 2.1. Вейвлет-дерево ❏ 2.2. Преобразование Берроуза-Уилера ❏ 2.3. Обратное преобразование Берроуза-Уилера • 3. Суперсжатые полнотекстовые индексы ❏ 3.1. FM-индекс ❏ 3.2. RLFM-индекс ❏ 3.3. Структуры сдвига • 4. Как реализовать суперсжатые полнотекстовые индексы • 5. Выводы
6. 2.1. Вейвлет-дерево 6
7. 2.1. Вейвлет-дерево 7
8. 2.1. Вейвлет-дерево 8
9. 2.1. Вейвлет-дерево 9
10. 2.1. Вейвлет-дерево 10
11. 2.2. Преобразование Берроуза-Уилера 11
12. 2.2. Преобразование Берроуза-Уилера 12
13. 2.3. Обратное преобразование Берроуза-Уилера 13
14. 2.3. Обратное преобразование Берроуза-Уилера 14
15. 2.3. Обратное преобразование Берроуза-Уилера 15
16. 2.3. Обратное преобразование Берроуза-Уилера 16
17. Переходим к основной части Господи, спаси и сохрани…
18. 3. Суперсжатые полнотекстовые индексы 18 • 1. Постановка задачи • 2. Вспомогательные понятия про суперсжатие текста ❏ 2.1. Вейвлет-дерево ❏ 2.2. Преобразование Берроуза-Уилера ❏ 2.3. Обратное преобразование Берроуза-Уилера • 3. Суперсжатые полнотекстовые индексы ❏ 3.1. FM-индекс ❏ 3.2. RLFM-индекс ❏ 3.3. Структуры сдвига • 4. Как реализовать суперсжатые полнотекстовые индексы • 5. Выводы
19. 3.1. FM-индекс (Full-text index in Minute space) 19
20. 3.1. FM-индекс 20
21. 3.1. FM-индекс 21
22. 3.1. FM-индекс 22
23. 3.1. FM-индекс 23
24. 3.1. FM-индекс 24
25. 3.1. FM-индекс 25
26. 3.1. FM-индекс 26
27. 3.1. FM-индекс 27
28. 3.1. FM-индекс 28
29. 3.2. RLFM-индекс 29
30. 3.2. RLFM-индекс 30
31. 3.2. RLFM-индекс 31
32. 3.2. RLFM-индекс 32
33. 3.2. RLFM-индекс 33
34. 3.2. RLFM-индекс 34
35. 3.2. RLFM-индекс 35
36. 3.2. RLFM-индекс 36
37. 3.2. RLFM-индекс 37
38. 3.2. RLFM-индекс 38
39. 3.2. RLFM-индекс 39
40. 3.2. RLFM-индекс 40
41. 3.2. RLFM-индекс 41
42. 3.2. RLFM-индекс 42
43. 3.2. RLFM-индекс 43
44. 3.2. RLFM-индекс 44
45. 3.2. RLFM-индекс 45
46. 3.3. Структуры сдвига 46
47. 3.3. Структуры сдвига 47
48. 3.3. Структуры сдвига 48
49. 3.3. Структуры сдвига 49
50. 3.3. Структуры сдвига 50
51. 3.3. Структуры сдвига 51
52. 3.3. Структуры сдвига 52
53. 3.3. Структуры сдвига 53
54. 3.3. Структуры сдвига 54
55. 4. Как реализовать суперсжатые полнотекстовые индексы 55 • 1. Постановка задачи • 2. Вспомогательные понятия про суперсжатие текста ❏ 2.1. Вейвлет-дерево ❏ 2.2. Преобразование Берроуза-Уилера ❏ 2.3. Обратное преобразование Берроуза-Уилера • 3. Суперсжатые полнотекстовые индексы ❏ 3.1. FM-индекс ❏ 3.2. RLFM-индекс ❏ 3.3. Структуры сдвига • 4. Как реализовать суперсжатые полнотекстовые индексы • 5. Выводы
56. 4. Как реализовать суперсжатые полнотекстовые индексы 56 https://github.com/U-Ar/full-br-index https://github.com/nicolaprezza/r-index BR-index R-index
57. 4. Как реализовать суперсжатые полнотекстовые индексы 57 https://github.com/mohsenzakeri/Movi https://github.com/biointec/b-move Movi B-move
58. 4. Как реализовать суперсжатые полнотекстовые индексы 58 https://gitlab.com/manzai/Big-BWT Big-BWT
59. 5. Выводы 59 Как можно быстро находить вхождения шаблонов в повторяющихся текстовых данных большого размера: • используйте суперсжатые полнотекстовые индексы на основе структуры сдвига; • размещайте таблицу сдвига в одном непрерывном блоке памяти, чтобы уменьшить cache miss; • используйте инструкции CPU для подгрузки следующей строки таблицы заранее, чтобы скрыть задержку памяти;
60. • Материалы к докладу: https://github.com/mariyana-rubanenko/MoscowPython_107 60 • Контактная информация: telegram - https://t.me/maryrubik GitHub Telegram
61. Спасибо за внимание! 61 Ура, это закончилось, брат