Xpdays 2017 - Top-10 fails on real highload project

Данный доклад был представлен на Xpdays 2017 и я рассказал 10 историй о проблемах через которые я с командой прошел на реальном нагруженном проекте с миллионами пользователей.

Истории:
- как ошибка выбора идентификатора пользователя, обнаруженная после запуска проекта, чуть не стоила 2 лет разработки
- как мы боролись с перегруженным mysql когда даже включение binlog убивает сервер
- почистил партицию mysql под нагрузкой - получи мертвый сервер
- как верстальщик поменял верстку серча и уложил продукт на 4 часа
- ошибка в ядре php которая привела даунтайм на несколько часов
- как незнание особенностей работы GC у redis обошлось в $50к чистой прибыли
- добавлением или удалением серверов из пула memcached инвалидировали весь кэш (кривые настройки php клиента Memcache/Memcached)
- как поправив тест потерять 2 миллиона пользовательских писем
- как релиз одного проекта крэшил хелсчеки соседнего проекта
- самый большой фейл с системами очередей и статистикой: ивенты терялись годами

Transcript

1. Дмитрий Меньшиков Aurora Technologies Топ-10 фейлов на реальном highload проекте
2. Gray hat ACM CTF, freelance Senior Team lead Chef Technical Officer Автор журнала ][akep
3. Как ошибка выбора идентификатора пользователя, обнаруженная после запуска проекта, чуть не стоила 2 лет разработки
4. >= 64 бит на id Отсутствие пересечений в разных дата центрах Получение новых id без опроса хранилища
5. Длина 128-bit v1: date + Fme + MAC address v2: random UUID
6. Размер индекса для хранения в БД? 100 000 000 224 ≈ 5.9
7. 100 000 000 224 ≈ 5.9 … как 3 байта сохранить Размер индекса для хранения в БД?
8. Данные перенесли Вскоре началось… Пользователей запустили
9. 100 000 000 224 ≈ 5.9 Размер индекса для хранения в БД?
10. 100 000 000 224 ≈ 5.9 Размер индекса для хранения в БД?
11. 200 SELECTIVITY фактически полученное значение
13. The timestamp is a 60-bit value. For UUID version 1, this is represented by UTC as a count of 100-nanosecond intervals since 00:00:00.00, 15 October 1582 (the date of Gregorian reform to the Christian calendar).
15. 00110111010001101110000000001110 00110111010001101110000101011000 00110111010001101110001110010010 00110111010001101110010001111000 00110111010001101110011000011100 00110111010001101110011011101110 00110111010001101110100001110100
16. Big-endian vs lirle-endian, потому секундная фракция попала в начало Отсутствие равномерного распределения из-за особенностей генерации
17. Остановка миграции и отказ от переноса?
18. ???
19. УВЕЛИЧИТЬ ДЛИНУ ИНДЕКСА ДО 4 БАЙТ
20. 20 Выводы Провести на практике проверку решения на таких же объемах и паттернах использования Для критичного функционала продумать план Б Анализировать критичность функционала
21. Как мы боролись с перегруженным MySQL, когда даже включение binlog убивало сервер
22. Задача: сделать ALTER без блокировки Подключить slave Синхронизировать Вывести slave Сделать ALTER Поменять местами
23. Сервера были с i/o 85-90% Затем был включен binlog
24. Сервера были с i/o 85-90% Затем был включен binlog Включение binlog добило их
25. pt-online-schema-change от PERCONA *работает только с таблицами с PRIMARY KEY или UNIQUE INDEX Нужна альтернатива требующая меньше ресурсов
26. pt-online-schema-change от PERCONA *работает только с таблицами с PRIMARY KEY или UNIQUE INDEX OnlineSchemaChange от Facebook *работает только с таблицами с PRIMARY KEY или UNIQUE INDEX *позволяет переливать базы на другой сервер *отсутствует контроль скорости Нужна альтернатива требующая меньше ресурсов
28. За 4 (бессонных) суток мной была написана утилита*! * - без SMS и регистрации, первые 14 дней использования бесплатны, затем за каждый день взымается абонентская плата в размере $10000 ZWL.
29. Атомарно создаются триггера на INSERT, UPDATE, DELETE с записью изменений в delta-таблицы
30. Атомарно создаются триггера на INSERT, UPDATE, DELETE с записью изменений в delta-таблицы Начинается выборка данных, с регулятором скорости
31. Атомарно создаются триггера на INSERT, UPDATE, DELETE с записью изменений в delta-таблицы Начинается выборка данных, с регулятором скорости Импорт на des•na•on сервер дампа
32. Атомарно создаются триггера на INSERT, UPDATE, DELETE с записью изменений в delta-таблицы Начинается выборка данных, с регулятором скорости Импорт на des•na•on сервер дампа Загрузка данных с delta-таблиц
33. Атомарно создаются триггера на INSERT, UPDATE, DELETE с записью изменений в delta-таблицы Начинается выборка данных, с регулятором скорости Импорт на des•na•on сервер дампа Загрузка данных с delta-таблиц Переключение серверов или свитч баз
34. Еще 2 недели времени потребовалось дабы перетасовать базы с серверов на сервера
35. 3 Почистил таблицы MySQL под нагрузкой – получи мертвый сервер
37. Хронология событий
38. Дежурный сделал TRUNCATE таблицы Запросы все поступали, соединения устанавливались, очередь запросов росла В какой-то момент сервер перестал отвечать…
40. TRUNCATE TABLE ставит lock на операции с table cache и buffer pool
41. Выполняет чистку по pages в buffer pool TRUNCATE TABLE ставит lock на операции с table cache и buffer pool
42. Выполняет чистку по pages в buffer pool TRUNCATE TABLE ставит lock на операции с table cache и buffer pool Снимает блокировки в самом конце
43. …В это время приходит DDL операция и ставится lock на table cache, а затем попытка установить lock на buffer pool… … которая будет ожидать завершения первого TRUNCATE
44. При этом table cache lock не снялся!
45. все запросы в ожидании Как следствие:
46. Баг описан: hƒps://bugs.mysql.com/bug.php?id=80060 hƒps://bugs.mysql.com/bug.php?id=56696 Закрыт только в 5.7.18
47. Замедляться выполнение еще может из-за включенного adap•ve hash index Scan по buffer pool для чистки adap•ve hash index может выполняться долго hƒps://bugs.mysql.com/bug.php?id=68184
48. Проблема не наблюдалась на серверах с небольшим размером buffer pool
49. Рекомендация v1: … Проблема не наблюдалась на серверах с небольшим размером buffer pool
50. Рекомендация v1: не транкейтить таблицы, партиции, а использовать DROP PARTITION Проблема не наблюдалась на серверах с небольшим размером buffer pool
51. Просадка порой наблюдается и с DROP PARTITION
52. Рекомендация v1: не транкейтить таблицы, партиции,а использовать DROP PARTITION Проблема не наблюдалась на серверах с небольшим размером buffer pool Рекомендация v2: использовать EXCHANGE PARTITION
53. Релиз одного проекта и влияние на consul кластер в другом проекте
54. сервера в стойке подключены к стоечному свитчу кроссконнекты между свитчами разных стоек мир подключен к маршрутизатору и от него к свитчам rsync обновлений с билд машины
56. RIP consul
57. Шейпинг rsync Перегрузка гипервизоров ???
58. 5 О том как инвалидировался кэш memcached при добавлении/ удалении сервера в пул
59. server_id = hash(key) % num_servers hash может быть crc32, fnv, md5, murmur, etc Стандартный алгоритм в Memcache и Memcached:
60. hƒps://www.adayinthelifeof.nl/2011/02/06/memcache-internals/ Consistent hashing
61. hƒps://www.adayinthelifeof.nl/2011/02/06/memcache-internals/ Consistent hashing
62. hƒps://www.adayinthelifeof.nl/2011/02/06/memcache-internals/ Consistent hashing
63. При стандартном потоке инвалидируется почти все При consistent hashing инвалидируется только 1/N, где N – количество серверов в пуле
64. 6 Как незнание особенностей работы GC у redis обошлось в $50к чистой прибыли
65. Response Fme: mean 99th percenFle Response Fme: mean
66. Response Fme: mean 99th percenFle Response Fme: mean Response Fme: upper
68. А он фризился на инстансе с сессиями на 2-5 секунд примерно раз в несколько минут Мы знали, что redis использует 1 CPU core Но не учли, что этот 1 CPU core использует и Garbage Collector
69. Мы знали, что redis использует 1 CPU core Но не учли, что этот 1 CPU core использует и Garbage Collector
70. К моменту обнаружения поведение существовало несколько месяцев… QA не видели, так как нагрузка была вне рабочего времени
71. Как верстальщик поменял верстку и уложил продукт на 4 часа
73. hƒp://photo.com/id/photoId? v=eyJ3aWR0aCI6MTYwLCJoZWlnaHQiOjE2MH0K eyJ3aWR0aCI6MTYwLCJoZWlnaHQiOjE2MH0K == base64(‘{"width":160,"height":160}’)
74. А resize динамический!
78. 8 Ошибка в ядре PHP, что привела к даунтайму на несколько часов
80. Завис SoapServer партнера Наши PHP скрипты с SoapClient обращались на SoapServer Но не умирали по таймауту!
81. Код выглядел корректно, таймауты были: connec•on_•meout default_socket_•meout Но strace показывал, что клиент игнорирует настройки
82. Разработчики забыли включить таймаут для HTTPS hƒps://bugs.php.net/bug.php?id=48524
83. 9 Как поправить тест потерять 2 миллиона писем
85. Архитектура системы сбора статистики
87. requests
88. requests events
89. requests events data
90. Смена состояния системы при ошибке обработки с последующим nack Отсутствие очередности в доставке сообщений Purge очереди Hard reboot rabbitmq Включение auto acknowledgment в коде Факторы потери/порчи данных:
91. 91 Выводы
92. 92 Анализировать/выяснять критичность функционала Выводы
93. 93 Анализировать/выяснять критичность функционала Продумывать как система может сломаться, что может пойти не так Выводы
94. 94 Проводить на практике проверку решения на таких же объемах и паттернах использования Анализировать/выяснять критичность функционала Продумывать как система может сломаться, что может пойти не так Выводы
95. 95 Проводить на практике проверку решения на таких же объемах и паттернах использования Иметь запасной план Анализировать/выяснять критичность функционала Продумывать как система может сломаться, что может пойти не так Выводы
96. 96 Проводить на практике проверку решения на таких же объемах и паттернах использования Иметь запасной план Анализировать/выяснять критичность функционала Продумывать как система может сломаться, что может пойти не так Собирать и правильно анализировать метрики Выводы
97. 97 Проводить на практике проверку решения на таких же объемах и паттернах использования Иметь запасной план Анализировать/выяснять критичность функционала Продумывать как система может сломаться, что может пойти не так Собирать и правильно анализировать метрики Инвестировать в знания Выводы
98. hrp://dmenshikov.com hrps://t.me/noTieinIT @noTieinIT
99. hrp://dmenshikov.com hrps://t.me/noTieinIT @noTieinIT ???