Юрий Кербицков «Свобода от блокировок или lock-free многопоточность»

Во время разработки многопоточного кода практически всегда встаёт проблема параллельного доступа к ресурсам. Благо у нас есть необходимый инструментарий для решения этой проблемы. Самым простым способом решения проблемы параллельного доступа к ресурсам являются блокировки. В большинстве разрабатываемых приложений этого достаточно. Но когда на первый план выходит производительность и быстрый отклик, то блокировки могут послужить одним из узких мест. Чтобы повысить производительность и избежать накладных расходов блокировок существуют различные подходы и алгоритмы. Самыми идеальными являются wait-free алгоритмы, но, к сожалению, на практике, ситуации в которых мы можем их использовать, встречаются довольно редко. В этом докладе рассмотрим основные алгоритмы lock-free многопоточности, поговорим о некоторых оптимизациях компилятора, а также сравним производительность lock-free и не lock-free многопоточного кода.

Transcript

1. СВОБОДА ОТ БЛОКИРОВОК ИЛИ LOCK-FREE МНОГОПОТОЧНОСТЬ КЕРБИЦКОВ ЮРИЙ KZNDOTNET MEETUP #1
2. НЕБЛОКИРУЮЩАЯ СИНХРОНИЗАЦИЯ Подход в параллельном программировании на симметрично-многопроцессорных системах, в котором принят отказ от традиционных примитивов блокировки, таких, как семафоры, мьютексы и события.
3. АЛГОРИТМЫ  Obstruction Free
4. АЛГОРИТМЫ  Obstruction Free  Lock Free
5. АЛГОРИТМЫ  Obstruction Free  Lock Free  Wait Free
6. КОНСТРУКЦИЯ LOCK
7. КОНСТРУКЦИЯ LOCK
8. КОНСТРУКЦИЯ LOCK
9. ЧТО НУЖНО ПОМНИТЬ ПРО MONITOR  Реализует паттерн «условная переменная» (Conditional Variable)  Использует мьютекс  Большую часть времени выполняется в пользовательском режиме  Переходит в режим ядра при длительном времени ожидания
10. ПЕРЕСТАНОВКИ
11. КОМПИЛЯТОР  Выполнение меньшего количества инструкций  Оптимизация использования регистров  Уменьшение количества обращений к памяти
12. КОМПИЛЯТОР
13. КОМПИЛЯТОР
14. ПРОЦЕССОР Техники распараллеливания инструкций:  Вычислительный конвейер  Суперскалярный процессор  Модуль предсказания переходов (прогнозирование ветвлений)
15. ПРОЦЕССОР З – запись данных в память Ч – чтение данных из памяти В – выполнение инструкции
16. ПРОЦЕССОР З – запись данных в память Ч – чтение данных из памяти В – выполнение инструкции Цикл 0 1 2 3 4 Инструкция 1 Ч В З Инструкция 2 Ч В З Инструкция 3 Ч В З Скалярный
17. ПРОЦЕССОР З – запись данных в память Ч – чтение данных из памяти В – выполнение инструкции Цикл 0 1 2 3 4 Инструкция 1 Ч В З Инструкция 2 Ч В З Инструкция 3 Ч В З Инструкция 4 Ч В З Инструкция 5 Ч В З Инструкция 6 Ч В З Супер скалярный
18. КОГЕРЕНТНОСТЬ КЭША  Разные архитектуры предоставляют разные политики когерентности
19. КОГЕРЕНТНОСТЬ КЭША  Разные архитектуры предоставляют разные политики когерентности Процессор 1 КЭШ Процессор 2 КЭШ
20. КОГЕРЕНТНОСТЬ КЭША  Разные архитектуры предоставляют разные политики когерентности Процессор 1 КЭШ Процессор 2 КЭШ X = 10
21. КОГЕРЕНТНОСТЬ КЭША  Разные архитектуры предоставляют разные политики когерентности Процессор 1 КЭШ Процессор 2 КЭШ X = 10 X = 10 X = 10
22. КОГЕРЕНТНОСТЬ КЭША  Разные архитектуры предоставляют разные политики когерентности Процессор 1 КЭШ Процессор 2 КЭШ X = 10 X = 15 X = 10 X = X + 5
23. ЧТО В ИТОГЕ?  Последовательность следования инструкций такая, какой мы написали в коде  Реальная последовательность выполнения инструкций  Возможные последовательности выполнения инструкций  Все платформы имеют модель памяти, которая четко описывает допустимые перестановки
24. АТОМАРНОСТЬ
25. АТОМАРНОСТЬ  Операция записи/чтения 32-х битных и менее значений всегда атомарна  Операция записи/чтения 64-х битных значений атомарна только в 64-х битной ОС
26. АТОМАРНОСТЬ  Операция записи/чтения 32-х битных и менее значений всегда атомарна  Операция записи/чтения 64-х битных значений атомарна только в 64-х битной ОС Атомарные типы данных ▪ bool, char, byte, sbyte, short, ushort, uint, int, float ▪ Ссылочные типы ▪ Перечисления, чей базовый тип: byte, sbyte, short, ushort, int, uint
27. EXCHANGE  Прочитать значение и заменить новым  XCHG инструкция
28. COMPARE AND EXCHANGE (CAS)  Прочитать значение, сравнить в компарандом. Если равны, то записать новое значение  CMPXCHG инструкция
29. COMPARE AND EXCHANGE (CAS)
30. 64 бита
31. 64 бита  CMPXCHG8B инструкция
32. 64 бита  CMPXCHG8B инструкция
33. 64 бита  CMPXCHG8B инструкция
34. 64 бита  CMPXCHG8B инструкция
35. БОЛЬШЕ АТОМАРНОСТИ!
36. СОГЛАСОВАННОСТЬ ПАМЯТИ
37. МОДЕЛИ ПАМЯТИ  Слабая – разрешает переставлять все операции чтения/записи  Сильная – не разрешает никаких перестановок. Код, который выполняется = исходному коду, который написан разработчиком
38. МОДЕЛИ ПАМЯТИ X86 AMD64 ARMv7 Чтение после Чтения - - + Чтение после Записи - - + Запись после Записи - - + Запись после Чтения + + +
39. БАРЬЕРЫ ПАМЯТИ. ПРОЦЕССОР  Полный барьер – никакие перестановки операций чтения/записи не могут быть сделаны через этот барьер (MFENCE инструкция)  Барьер операции записи (SFENCE инструкция) – запрещает перестановки операций записи через себя  Барьер операции чтения (LFENCE) – запрещает перестановки операций чтения через себя
40. БАРЬЕРЫ ПАМЯТИ. КОМПИЛЯТОР  Acquire – запрещает операции чтения/записи переносить и ставить перед собой  Release – запрещает операции чтения/записи переносить и ставить после себя ACQUIRE // код до // код после RELEASE // код до // код после
41. БАРЬЕРЫ ПАМЯТИ  Все Interlocked методы устанавливают полный барьер памяти
42. БАРЬЕРЫ ПАМЯТИ  Все Interlocked методы устанавливают полный барьер памяти - полный барьер
43. БАРЬЕРЫ ПАМЯТИ  Все Interlocked методы устанавливают полный барьер памяти - полный барьер Acquire барьер
44. БАРЬЕРЫ ПАМЯТИ  Все Interlocked методы устанавливают полный барьер памяти - полный барьер Acquire барьер Release барьер
45. ПРИМЕР. ПОТОКОБЕЗОПАСНЫЙ СТЕК
46. ЭЛЕМЕНТ СТЕКА
47. РЕАЛИЗАЦИЯ МЕТОДА PUSH
48. РЕАЛИЗАЦИЯ МЕТОДА PUSH
49. РЕАЛИЗАЦИЯ МЕТОДА TRYPOP
50. РЕАЛИЗАЦИЯ МЕТОДА TRYPOP
51. БЕНЧМАРКИНГ
52. БЕНЧМАРКИНГ
53. БЕНЧМАРКИНГ
54. ЗАКЛЮЧЕНИЕ
55. ДОСТОИНСТВА  Производительность НЕДОСТАТКИ  Требуется высокая квалификация и обширные знания для корректной реализации алгоритмов  При длительных периодах ожидания увеличивается утилизация процессора и возрастает нагрузка на кэш для поддержания когерентности  Код становится более запутанным и сложным
56. ЧТО ПОЧИТАТЬ  Спецификации языка и среды – ECMA 334, ECMA 335
57. ВОПРОСЫ? Кербицков Юрий kirbex@mail.ru https://github.com/kirbex https://www.nuget.org/profiles/kirbex https://stackoverflow.com/users/2753469/yury-kerbitskov