Абьюзим random_bytes(). Фёдор Кулаков, разработчик Lamoda Tech

Доклад с митапа Пыхап от канала Пых и Lamoda Tech

Наш unit-тест, проверяющий random_int(0, 999) !== random_int(0, 999), упал три раза за неделю. Вероятность такого события? Да, крайне мала. Но в чём же причина? Поговорим о CSPRNG в современных версиях PHP, вспомним, как работает random_int. Разберёмся, почему arc4random_buf() не виноват в ваших падающих тестах (и как это доказать). В конце раскроем имя подозреваемого и очень удивимся.

Transcript

2. Как две строки unit-тестов заставили меня читать исходники ядра php* * и почему arc4random_buf() не виноват, что тесты падают
3. О чем доклад?
4. О чем доклад? Как устроена генерация случайных чисел 1
5. О чем доклад? Как устроена генерация случайных чисел Насколько она надежна и устойчива 2 1
7. И так трижды за неделю Шанс уронить тест три раза подряд - один на миллиард. Хотя бы трижды на 50 запусков - один на 50 000 7 P(K ≥ 3) = 1 − P(K = 0) − P(K = 1) − P(K = 2) ≈ 0.00002
8. Гипотеза в докере не хватает энтропии 8
9. PHP 8.2, локально 9
10. PHP8.2, docker run -it --cpus="0.1" --memory="128m" 10
11. 11 Как вообще устроена генерация случайных чисел в PHP?
12. 12 А как вообще устроена генерация случайных чисел?
13. 13 RNG - Random number generator распад атомных ядер, состояния хаотических систем.
15. 15 PRNG - Pseudorandom numbers generator
16. 16 CSPRNG - Cryptographically secure pseudorandom number generator
17. 17 Ну а все-таки, как в PHP? Очень по-разному – зависит от версии.
18. До PHP 4.2 - ручное указание seed через srand() 18
19. PHP < 5.3 – rand() и mt_rand(). rand() - стандартная реализация LCG из stdlib.h. Вызвав srand(42), можно задать собственный seed. Xn+1 = (a * Xn + с) (modm) 19
20. mt_rand() Алгоритм Mersenne Twister, Вихрь Мерсенна, он же Mt19937. 20
21. mt_rand() 1. Инициализация состояния 624 чисел из seed 21
22. mt_rand() 1. Инициализация состояния 624 чисел из seed 2. Берем одно из 624 чисел, сдвигаем счетчик 22
23. mt_rand() 1. Инициализация состояния 624 чисел из seed 2. Берем одно из 624 чисел, сдвигаем счетчик 3. Если числа закончились, перемешиваем - Twist 23
24. mt_rand() 1. Инициализация состояния 624 чисел из seed 2. Берем одно из 624 чисел, сдвигаем счетчик 3. Если числа закончились, перемешиваем - Twist 4. Финальная “закалка” выбранного числа 24
25. mt_rand() 1. Инициализация состояния 624 чисел из seed 2. Берем одно из 624 чисел, сдвигаем счетчик 3. Если числа закончились, перемешиваем - Twist 4. Финальная “закалка” выбранного числа 5. Выдаем результат 25
26. mt_rand() 1. Инициализация состояния 624 чисел из seed 2. Берем одно из 624 чисел, сдвигаем счетчик 3. Если числа закончились, перемешиваем - Twist 4. Финальная “закалка” выбранного числа 5. Выдаем результат 6. Повторяемся через каждые 2^19937−1 ≈ 10^6001 вызовов 26
27. 10^6001 - это много? 27
28. 10^6001 - это много? 1. 10^16 - число муравьев на планете 28
29. 10^6001 - это много? 1. 10^16 - число муравьев на планете 2. 10^87 - число элементарных частиц в наблюдаемой вселенной 29
30. 10^6001 - это много? 1. 10^16 - число муравьев на планете 2. 10^87 - число элементарных частиц в наблюдаемой вселенной 3. 10^100 - гугол 30
31. 10^6001 - это много? 1. 10^16 - число муравьев на планете 2. 10^87 - число элементарных частиц в наблюдаемой вселенной 3. 10^100 - гугол 4. 10^6001 31
32. 32 mt_rand() С версии php 7.1.0 rand() - алиас для mt_rand()
33. openssl_random_pseudo_bytes() PHP 5.3+, CSPRNG, но нужно расширение openssl. 33
34. 34 PHP 5.6 - random_bytes(). Туда же random_int() в php 7.0. CSPRNG, подходит для любых задач.
35. 35 PHP 8.0+ – Randomizer
36. 36 PHP 8.0+ – Randomizer Engine\Xoshiro256StarStar - XOR, shift, rotate.
37. 37 PHP 8.0+ – Randomizer Engine\Xoshiro256StarStar - XOR, shift, rotate. Engine\PcgOneseq128XslRr64 - PCG Family
38. 38 PHP 8.0+ – Randomizer Engine\Xoshiro256StarStar - XOR, shift, rotate. Engine\PcgOneseq128XslRr64 - PCG Family Engine\Mt19937 - для тех, кто скучает по mt_rand()
39. 39 PHP 8.0+ – Randomizer Engine\Xoshiro256StarStar - XOR, shift, rotate. Engine\PcgOneseq128XslRr64 - PCG Family Engine\Mt19937 - для тех, кто скучает по mt_rand() Engine\Secure - CSPRNG
40. Что делает random_int()? 40
41. Что делает random_int()? 1. Сбор энтропии 41
42. Что делает random_int()? 1. Сбор энтропии 2. Агрегация в пул энтропии – /dev/random, /dev/urandom. 42
43. Что делает random_int()? 1. Сбор энтропии 2. Агрегация в пул энтропии – /dev/random, /dev/urandom. 3. ←—————— ВЫ НАХОДИТЕСЬ ЗДЕСЬ 43
44. Что делает random_int()? 1. Сбор энтропии 2. Агрегация в пул энтропии – /dev/random, /dev/urandom. 3. ←—————— ВЫ НАХОДИТЕСЬ ЗДЕСЬ 4. Вызывает getrandom(), забирает N байт энтропии 44
45. Что делает random_int()? 1. Сбор энтропии 2. Агрегация в пул энтропии – /dev/random, /dev/urandom. 3. ←—————— ВЫ НАХОДИТЕСЬ ЗДЕСЬ 4. Вызывает getrandom(), забирает N байт энтропии 5. Сбрасывает состояние 45
46. Что делает random_int()? 1. Сбор энтропии 2. Агрегация в пул энтропии – /dev/random, /dev/urandom. 3. ←—————— ВЫ НАХОДИТЕСЬ ЗДЕСЬ 4. Вызывает getrandom(), забирает N байт энтропии 5. Сбрасывает состояние 6. Преобразовывает байты к целому числу 46
47. 47 Почему random_int()?
48. 48 Почему random_int()? Нет алгоритма как такового на стороне PHP. Случайность берется из операционной системы, а там в свою очередь - из реального мира.
49. Почему arc4random_buf() точно не виноват? 49
50. 50 Можно ли обмануть random_int
51. 51 Можно ли обмануть random_int
52. 52 Отключаем getrandom()
53. 53 Отключаем getrandom()
54. Отключаем на хосте 54 ASLR - address space layout randomization. echo "kernel.randomize_va_space = 0" > /etc/sysctl.d/01-disable-aslr.conf
55. Отключаем на хосте (естественно, в VM докера, через orb shell): 55 ASLR - address space layout randomization. echo "kernel.randomize_va_space = 0" > /etc/sysctl.d/01-disable-aslr.conf
56. 56 Выключили?
57. 57 /dev/urandom – CSPRNG. Он правда непредсказуем.
58. 58 Что нам мешает подсунуть с хоста файл с нулями?
59. 59 Congratulations!
66. 66 Частота выпадения чисел от 0 до 999 (100 000 000 итераций) PHP 8.2, LD_PRELOAD 100M
67. 67 P(K ≥ 3) = 1 − P(K = 0) − P(K = 1) − P(K = 2) ≈ 0.0005, 1 из 2000
69. 1. Тесты разбиты на группы 2. Flaky-тесты есть у всех 3. Упавшие тесты запускаем снова 69