Дешевле, надёжнее, проще. Хранение петабайтов видео и фото в ОК. Александр Христофоров

Технический прогресс позволил нам снимать Full HD или даже 4К-видео на телефон, загружать их и делиться с друзьями в Одноклассниках или же вести прямые трансляции на весь мир. Для нас это означает необходимость хранить десятки петабайт данных и обеспечивать к ним доступ со скоростью сотни Гб/с, а это в свою очередь требует инфраструктуры, состоящей из многих тысяч дисков и сотен серверов.

Ранее для обеспечения требуемого уровня надежности хранения данных и и отказоустойчивости мы были вынуждены хранить 3 реплики данных - по 1 в каждом ДЦ. Взрывной рост объёмов загружаемого видео и полученный опыт эксплуатации заставил нас переосмыслить подход к хранению таких данных, как фотографии и видео. Было решено разработать новую систему хранения данных с целью хранить данные дешевле и надёжнее. Немаловажно было упростить эксплуатацию системы, так как даже замена дисков и восстановление данных при таких масштабах требует значительных ресурсов.

Мой доклад о том, как мы уменьшили избыточность хранения данных с 3 до 2.1 и при этом добились более высокой надёжности и доступности системы в целом. Поделюсь опытом эксплуатации системы с тысячами дисков. Расскажу о том, как мы сделали процесс замены дисков простым и безопасным, о неожиданных проблемах и нестандартных решениях.

Transcript

1. Развлекательная социальная сеть Одноклассники 2017 Дешевле, Надёжнее, Проще Хранение ПБ видео и фото в ОК
2. До 2016 года 2 Музыка Подарки OBS 2011 Фотографии 250 TB Видео 2013 1 ПБ https://www.slideshare.net/profyclub_ru/ss-9541712
3. OBS 3 Индекс Данные Сервер Клиент Данные Ключ Чтение ОК Ключ + Данные Запись Ключ
4. Распределение данных в OBS 4 ДЦ 1 ДЦ 2 ДЦ 3 Ключ Партиция HASH
5. Запись в OBS 5 Сервер Клиент Сервер Сервер ДЦ 1 ДЦ 2 ДЦ 3
6. Чтение в OBS 6 Сервер Клиент Сервер Сервер ДЦ 1 ДЦ 2 ДЦ 3
7. Нагрузка на OBS 7 Запросы 250 К/с 350 Гб/с Трафик
8. Оборудование 8 Сервера 4U 600 18К Диски 1 - 8 ТБ
9. А в чём проблема? 9 Популярность + Загрузка 4K + Стриминг = Видео 1 ПБ 25 ПБ 2013 2017 15 ПБ 2016 1 ПБ в месяц
10. Количество серверов в OBS + OCS ( Фото + Видео ) 10 0 200 400 600 800 2011 2012 2013 2014 2015 2016 2017 800
11. Проблемы в 2016 11 Стоимость оборудования Стоимость размещения Нехватка места в ДЦ
12. Развлекательная социальная сеть Одноклассники OCS
13. OCS — Цели 13 Хранить дешевле Хранить ЕЩЁ надёжнее Упростить эксплуатацию Работа при отказе ДЦ + диска/сервера
14. Давай уменьшим избыточность 14 Избыточность Допустимая потеря дисков Схема репликации 100% 1 Зеркало (1 + 1) XOR (2 + 1) 50% 1
15. Коды Рида — Соломона 15 2 1 4 3 … Данные — D D Можно потерять любые K дисков 1 … ECC — K K 2
16. Распределение по 3 ДЦ 16 1 3 4 2 … D 1 … K 2 1 … K 2 ДЦ 3 1 … K 2 ДЦ 2 1 … K 2 ДЦ 1 K >= 1/3 (D + K) Избыточность >= 50%
17. Восстановление данных 10 + 5 17 ДЦ 1 ДЦ 2 ДЦ 3 Декодирование Клиент
18. Отказ ДЦ 18 Декодирование Клиент 5 5 ДЦ 1 ДЦ 2 ДЦ 3
19. Трафик / IOPS при отказе ДЦ 19 Рост нагрузки 0% 100% 200% 300% 400% 500% Допустимая потеря дисков при избыточности 50% 2 3 4 5
20. Коды Рида-Соломона 3 + 3 20 Допустима потеря 3 дисков Избыточность + 100% K2 K3 ДЦ 3 3 ДЦ 2 1 2 ДЦ 1 K1 Нагрузка при отказе ДЦ + 150% Работа при отказе ДЦ + диска
21. Мы пошли другим путём 21 2 1 4 3 5 7 6 9 8 10 Данные ДЦ 1 E1 E2 E3 E4 EvenOdd ДЦ 2 ДЦ 3 X2 X1 X4 X3 X5 XOR X6 X7 XOR Данные — 10 Коды — 11 Избыточность 110%
22. EvenOdd 22 XOR Можно потерять любые 2 диска
23. Восстановление данных 23 ДЦ 1 ДЦ 2 ДЦ 3 2 1 4 3 5 E1 E2 7 6 9 8 10 E3 E4 X2 X1 X4 X3 X5 X6 X7 EvenOdd XOR
24. Отказ ДЦ 24 ДЦ 1 ДЦ 2 ДЦ 3 2 1 4 3 5 E1 E2 XOR 1 1 Клиент +100% 7 6 9 8 10 E3 E4 X2 X1 X4 X3 X5 X6 X7
25. ДЦ 1 ДЦ 2 ДЦ 3 2 1 4 3 5 E1 E2 7 6 9 8 10 E3 E4 X2 X1 X4 X3 X5 X6 X7 Много отказов 25 6 1 XOR EvenOdd 5 любых дисков
26. Как записать данные 26 2 1 3 4 5 6 7 8 9 10 2 1 3 4 5 6 7 8 9 10 10 X 1 X Нагрузка /IOPS
27. 1 2 3 4 5 6 7 8 9 10 X1 X2 X3 X4 X5 X6 X7 E3 E4 E3 E4 Проблема с записью 27 ДЦ 1 ДЦ 2 ДЦ 3
28. Как писать данные 28 2 1 3 4 5 6 7 8 9 10 2 1 3 4 5 6 7 8 9 10 2 1 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 10 X1 X2 X3 X4 X5 X6 X7 E3 E4 E3 E4 ДЦ 1 ДЦ 2 ДЦ 3
29. У нас же есть OBS 29 1 2 3 4 5 6 7 8 9 10 X1 X2 X3 X4 X5 X6 X7 E3 E4 E3 E4 OBS
30. Чего мы добились 30 OBS OCS 200 % 110 % Избыточность Допустимая потеря дисков 2 5
31. Развлекательная социальная сеть Одноклассники Архитектура
32. Сегменты и блоки 32 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ 4 ГБ Сегмент 84 ГБ Данные 40 ГБ
33. Хранение блоков — сервер Данных 33 Записать блок Прочитать из блока Восстановить блок Удалить блок Мониторинг Целостность Восстановление RAID ?
34. Диск 34 Таблица блоков Блок 1 Блок 2 …. Блок 2
35. Блок 35 ИД блока Статус Контрольные Суммы Данные 4 ГБ WRITE ACTIVE RESTORE CORRUPTED FREE
36. Работа с большими данными — one-nio 36 one.nio.net.Socket SendFile github.com/odnoklassniki/one-nio one.nio.mem.DirectMemory Offheap
37. Производительность 37 Номинальная нагрузка 1.5 Гб/с Загрузка CPU User 1% IO Wait 17%
38. Отказы дисков 38 Пул обработчиков запросов Шедулер задач Ошибки чтения/записи Каждый диск изолирован: Единица кластера Диски могут потеряться Мониторинг Тормоза перед смертью
39. Замена диска в OBS 39 Отмонтировать Заменить диск Создать раздел Замонтировать Восстановить данные
40. А зачем нам файловая система? 40 Получаем список блочных устройств new RandomAccessFile(‘/dev/sdc’); MBR + GPT из Java ИД диска в GPT
41. Что получилось? 41 Не надо монтировать, форматировать Заменить диск 1 человек вместо 2-х Автоматический ввод в эксплуатацию
42. Восстановление данных в OBS 42 100 МБ/c 27 часов 10 ТБ
43. Восстановление данных в OCS 43 4 ГБ 4 ГБ
44. Скорость восстановления 44 Скорость 2 ГБ/с 1 час 10 ТБ
45. Неравномерное заполнение дисков 45 Замена диска Расширение кластера Временная недоступность
46. Балансировка 46 Восстановить на B блок с A Одинаковый % заполнения Диск, заполненный > среднего A Диск, заполненный < среднего B
47. Время чтения при восстановлении данных 47 0 5.5 11 16.5 22 Скорость восстановления, % 0 5 100 x 3 + 30 % Время, мс
48. Что можно сделать? 48 CFQ + ioprio_set (one.nio.os.Proc) Фоновые процессы: nice, idle Системные запросы: низкий приоритет Ограничение трафика Клиентские запросы: высокий приоритет
49. Расширение кластера 49 Добавлено 2000 дисков Перемещено 6.75 ПБ Заняло 14 дней 0 5.5 11 16.5 22 Скорость восстановления, % 0 5 100 + 7 % Время, мс
50. Сегменты и блоки 50 Сегмент 84 ГБ Блок 4 ГБ 1 2 3 4 5 6 7 8 9 10 X1 X2 X3 X4 X5 X6 X7 E3 E4 E3 E4 Данные 40 ГБ
51. Как прочитать данные 51 ИД сегмента Смещение Диск Сервер Адрес Размер
52. Чтение данных 52 Клиент Индекс Данные Ключ Адрес + Размер Адрес + Размер Данные Ключ
53. Индекс 53 Cassandra 2.0 inside RF = 3 Распределение по ДЦ Служебная информация
54. Данные в индексе 54 Сегмент Смещение Размер Ключ
55. Чтение в Кассандре 55 Клиент Кассандра Кассандра Кассандра Сегмент Смещение Размер ???? Диск Сервер
56. Устройство Индекса 56 Сегмент 1: Диск + Хост … X7: Диск + Хост Сервер Данных Список дисков Список блоков Сегмент Смещение Размер Ключ RAM
57. Спекулятивное чтение из индекса 57 Клиент Индекс RAM one-nio Индекс RAM one-nio Сегмент Смещение Размер 1: Диск + Хост … X7: Диск + Хост
58. Время чтения из индекса 58 Среднее 1 мс 2.1 мс 99%
59. Восстановление данных на лету 59 Индекс Сегмент Смещение Размер 1: Диск + Хост … X7: Диск + Хост XOR
60. Управление кластером 60 Сервер Данных Список дисков Список блоков Сервер Управления Удалить блок Восстановить блок Сервер Управления Мастер Слейв
61. Мастер / слейв 61 Проще принимать решения Автоматичекий Leader Election Потеря мастера не критична
62. Принятие решений 62 Нет блока Восстановить блок Пустой диск Восстановить блок Лишний блок Удалить блок Сбой диска Удалить все блоки
63. Развлекательная социальная сеть Одноклассники Результаты
64. Что в OCS сегодня 64 Старше 140 дней Старше 1.5 лет Видео Фото 80% данных 40% данных 60% запросов 40% запросов
65. Оборудование 65 240 серверов данных 8400 дисков 12 индексов 150 заменённых дисков 4 расширения кластера
66. Результаты 66 Место -19 ПБ 99.9997 % Доступность
67. Количество серверов в OBS + OCS ( Фото + Видео ) 67 0 250 500 750 1000 2011 2012 2013 2014 2015 2016 2017 2018 800 625