02 Xodus - a Database to Store Youtrack Bugs. Maxim Mazin, YouTrack Team Lead

Transcript

1. Максим Мазин, Team Lead в YouTrack “Xodus” — база данных, в которой YouTrack хранит баги — JetBrains Open Day Moscow
2. Зачем писать свою базу данных? —
3. 1. ACID: Atomicity, Consistency, Isolation, Durability 2. Snapshot isolation 3. Embedded 4. Kotlin & Java 5. Apache 2.0
4. Журнал — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System 00000000000.xd 8 MB 00000000800.xd 8 MB 00000001000.xd < 8 MB Запись
5. • Окружение jetbrains.exodus.env. Environment • Ассоциативный массив jetbrains.exodus.env. Store • Byte[ ] → Byte[ ] • Byte[ ] → (Byte[ ], Byte[ ], …) • get, put, add, delete • Курсоры • Транзакция jetbrains.exodus.env. Transaction Хранилище пар «ключ-значение» — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System
6. • B-дерево • Базисное дерево • Мета-дерево Деревья — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System
7. B-дерево — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System
8. Базисное дерево — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System P N Y O L A L L S T Префиксное дерево P N Y O LA LL ST Базисное дерево
9. Модификация — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System G P A B K N R S G P R S T
10. Хранение — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System G P A B K N R S R S T G P
11. Сборка мусора — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System 00000000000.xd 00000000800.xd 00000001000.xd 00000000000.xd 00000000800.xd 00000001000.xd 00000000000.xd 00000001000.xd
12. Граф объектов — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System login: String name: String age: Short local ID: Long User Group name: String local ID: Long groups avatar: Byte[ ] login name age Indices
13. Идентификаторы — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System property ID = 1: String property ID = 2: String property ID = 3: Short local ID: Long type ID = 1 type ID = 2 property ID = 2: String local ID: Long link ID = 1 blob ID = 1: Byte[ ] property ID = 1 property ID = 2 property ID = 3 Indices type ID User — 1 Group — 2 property ID login — 1 name — 2 age — 3 link ID groups — 1 blob ID avatar — 1
14. OKVM — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System type name 㲗 ID property name 㲗 ID link name 㲗 ID blob name 㲗 ID IDs local ID → ID property value (local ID, property ID) → value property index (property ID, value) → local ID not null property index property ID → local ID link value & index (local ID, link ID) 㲗 (link ID, type ID, local ID) blob value (local ID, blob ID) → file name not null blob index blob ID → local ID Для каждого типа
15. • Операции • Вычитание, пересечение, объединение, значения поля, сортировка и т.д. • Кэширование Итераторы — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System
16. Планировщик запросов — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System union intersect intersect allIssues allIssues visibleFor visibleFor filter visibleFor
17. • Ограничения • Значения атрибутов • Ссылочной целостности • Составные ключи • Двунаправленные ассоциации и агрегации • Наследование Метаданные — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System
18. • Проверка ограничений • Нотификации • Оптимистическая блокировка • Накопление изменений • Перепроигрывание транзакции Транзакции — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System
19. Объявление типа — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System
20. Объявление типа — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System
21. Объявление типа — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System
22. Создание и удаление — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System
23. Запросы — Kotlin DSL Transient Entities Queries Object Graph Key-Value Store Log File System
24. Шифрование —
25. 1. Параллельное чтение / запись из разных процессов 2. Улучшение оптимизации плана запроса 3. Android Планы —
26. Ссылки — github.com/JetBrains/xodus github.com/JetBrains/xodus-dnq jetbrains.com/youtrack jetbrains.com/hub
27. Спасибо за внимание —