Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Умный «фейс-контроль»: алгоритмы машинного обучения для эффективного кэширования данных на SSD Светлана Лазарева, Рэйдикс, CEE-SECR 2017

CEE-SECR
October 20, 2017

Умный «фейс-контроль»: алгоритмы машинного обучения для эффективного кэширования данных на SSD Светлана Лазарева, Рэйдикс, CEE-SECR 2017

В работе описан новый алгоритм заполнения SSD-кэша на основе анализа запросов к системе хранения данных c помощью методов машинного обучения. Целью исследования является увеличение срока службы твердотельных накопителей в случаях, когда SSD используется в качестве кэш-устройства.

CEE-SECR

October 20, 2017
Tweet

More Decks by CEE-SECR

Other Decks in Technology

Transcript

  1. October 2017, St. Petersburg Software Engineering Conference Russia October 2017,

    St. Petersburg Software Engineering Conference Russia Умный «фейс-контроль»: алгоритмы машинного обучения для эффективного кэширования данных на SSD Лазарева Светлана, руководитель исследовательской лаборатории, Raidix
  2. О КОМПАНИИ «Рэйдикс» — ведущий российский разработчик высокопроизводительных систем хранения

    данных. Уникальные алгоритмы помехоустойчивого кодирования составляют ключевые преимущества создаваемого продукта.
  3. Системы хранения данных и машинное обучение • Настройка параметров хранения

    на лету
  4. Предиктивная аналитика

  5. QoS- качество обслуживания

  6. Алгоритм упреждающего чтения. Гибридная система хранения

  7. SSD кэш – умная техника заполнения С помощью алгоритмов машинного

    обучения пытаемся определить надо ли кэшировать траффик.
  8. Эффективное кэширование

  9. Гипотеза • Истории запросов описывают типичную нагрузку к СХД по

    крайней мере за какой-то ограниченный промежуток времени • Нагрузка СХД сохраняет какую-то внутреннюю структуру, которая определяет то, какие блоки и с какой частотой запрашиваются
  10. Характерные частотные паттерны. Периодичность Скрытые закономерности Зависимости между адресами

  11. Архитектура

  12. Данные • Время поступления запроса • Логический адрес • Размер

    запроса • Тип запроса (запись или чтение)
  13. Анализатор

  14. Фейс- контроль для SSD-кэша

  15. Метрика WE= число кэш/попаданий число записей в кэш

  16. Разбивка лога на блоки

  17. Атрибуты. Только для запросов случайного чтения • Время • Логический

    адрес • Размер
  18. Различия для классов между средними и стандартными отклонениями признака count_lba

    Различия для классов между средними и стандартными отклонениями признака lba_interdiffs
  19. XGBoost Изменение точности классификации на протяжении обучения. Красный — тренировочная

    выборка, зеленый — тестовая Прогноз модели на случайной тестовой выборке. Цветом обозначен прогноз модели: красный — плохо кэшируемый блок, зеленый — хорошо кэшируемый
  20. Сравнение различных реализаций SSD-кэша LRU LRFU LARC Фейс- контроль+LRFU RAM

    hits 37 37 37 36.4 RRC hits 8.9 8 8.2 8 HDD hits 123.4 124.3 124.1 124.9 SSD writes 10.8 12.1 3.1 1.8 WE 0.8 0.66 2.64 4.44
  21. Спасибо за внимание! www.raidix.ru [email protected]