Асинхронщина в Python

Александр Полищук (ООО "Код безопасности") @ Moscow Python Meetup 52
"Python – это замечательный язык программирования, но есть одна вещь, которая ограничивает нашу свободу творчества, и называется она GIL. Спикер расскажет, как можно с ним договориться и не ограничивать себя одним потоком".
Видео: http://www.moscowpython.ru/meetup/52/asyncronous-python/

Transcript

1. Асинхронщина в Python Александр Полищук ООО «Код Безопасности» @alpolishchuk
2. Последовательный вызов print("Welcome to") print("MoscowPython") print("MeetUp!")
3. Последовательный вызов print("Welcome to") print("MoscowPython") print("MeetUp!") >> Welcome to >> MoscowPython >> MeetUp!
4. Как можно делать одновременно несколько вещей в Python
5. Как можно делать одновременно несколько вещей в Python • Отдельные процессы
6. Как можно делать одновременно несколько вещей в Python • Отдельные процессы • Отдельные потоки
7. Как можно делать одновременно несколько вещей в Python • Отдельные процессы • Отдельные потоки • Асинхронный код
8. Отдельные процессы это хорошо
9. Отдельные процессы это хорошо • Отдельные программы
10. Отдельные процессы это хорошо • Отдельные программы • Изолированы
11. Отдельные процессы это хорошо • Отдельные программы • Изолированы • Работают параллельно
12. Отдельные процессы это хорошо • Отдельные программы • Изолированы • Работают параллельно • Используют все ресурсы процессора
13. Отдельные процессы это плохо
14. Отдельные процессы это плохо • Нет разделяемых переменных
15. Отдельные процессы это плохо • Нет разделяемых переменных • Необходима синхронизация
16. Отдельные процессы это плохо • Нет разделяемых переменных • Необходима синхронизация • Очень затратные
17. Отдельные процессы это плохо • Нет разделяемых переменных • Необходима синхронизация • Очень затратные • Зависят от количества ядер
18. Где же это использовать?
19. Где же это использовать? • Обработка изображений
20. Где же это использовать? • Обработка изображений • Обработка массивов данных
21. Где же это использовать? • Обработка изображений • Обработка массивов данных • Обработка матриц
22. Библиотеки
23. Библиотеки • multiprocessing
24. Пример from multiprocessing import Pool def print_word(word): print(word) If __name__ == "__main__": pool = Pool() pool.map(print_word, ["Hello", "MoscowPython", "Meetup"]) pool.close() pool.join()
25. Результат Hello MoscowPython Meetup
26. Пример из жизни import os from PIL import Image from multiprocessing import Pool def create_thumbnail(filename): im = Image.open(filename) im.thumbnail((75, 75), Image.ANTIALIAS) save_path = os.path.join(".", "thumbnails", fname) im.save(save_path) if __name__ == "__main__": images = [file for file in os.listdir(".") if "jpeg" in file] pool = Pool() pool.map(create_thumbnail, images) pool.close() pool.join()
27. Отдельные потоки это хорошо
28. Отдельные потоки это хорошо • Общая память
29. Отдельные потоки это хорошо • Общая память • Общие глобальные переменные
30. Отдельные потоки это хорошо • Общая память • Общие глобальные переменные • Не требуют больших ресурсов
31. Отдельные потоки это хорошо • Общая память • Общие глобальные переменные • Не требуют больших ресурсов • Отлично подходит для I/O-bound операций
32. Отдельные потоки это плохо
33. Отдельные потоки это плохо • GIL
34. Отдельные потоки это плохо • GIL • Нельзя использовать CPU-bound функции
35. Отдельные потоки это плохо • GIL • Нельзя использовать CPU-bound функции • Код не тривиален
36. Отдельные потоки это плохо • GIL • Нельзя использовать CPU-bound функции • Код не тривиален • Одновременный доступ к памяти
37. Где же это использовать?
38. Где же это использовать? • Работа с сетью
39. Библиотеки
40. Библиотеки • threading
41. Пример import threading def worker(num): """thread worker function""" print 'Worker: %s' % num return threads = [] for i in range(5): t = threading.Thread(target=worker, args=(i,)) threads.append(t) t.start()
42. Результат Worker: 0 Worker: 1 Worker: 2 Worker: 3 Worker: 4
43. Пример из жизни ДА ПРОСТИТ МЕНЯ PEP
44. Пример из жизни import threading, requests def pinger(url): return requests.get(url) e1 = threading.Event(); e2 = threading.Event() t1 = threading.Thread(target=pinger, args=('https://yandex.ru',)) t2 = threading.Thread(target=pinger, args=('https://mail.ru',)) t1.start(); t2.start() e1.set() t1.join(); t2.join()
45. Асинхронный код это хорошо
46. Асинхронный код это хорошо • Выполнение в одном процессе и потоке
47. Асинхронный код это хорошо • Выполнение в одном процессе и потоке • Очень малое использование ресурсов системы
48. Асинхронный код это хорошо • Выполнение в одном процессе и потоке • Очень малое использование ресурсов системы • ОС независим
49. Асинхронный код это плохо
50. Асинхронный код это плохо • Сложность отладки
51. Асинхронный код это плохо • Сложность отладки • Трудно понять, в каком контексте мы находимся
52. Асинхронный код это плохо • Сложность отладки • Трудно понять, в каком контексте мы находимся • Сложночитаемый код
53. Асинхронный код это плохо • Сложность отладки • Трудно понять, в каком контексте мы находимся • Сложночитаемый код • «Очень легко выстрелить себе в ногу» (с)
54. Библиотеки
55. Библиотеки • Asyncio
56. Библиотеки • Asyncio • gevent
57. Пример import asyncio async def hello_world(): print("Hello Meetup!") loop = asyncio.get_event_loop() loop.run_until_complete(hello_world()) loop.close()
58. Результат Hello Meetup!
59. Пример из жизни import requests import asyncio async def ping_url(url): return requests.get(url) loop = asyncio.get_event_loop() tasks = [ping_url('https://yandex.ru'), ping_url('https://mail.ru')] loop.run_until_complete(asyncio.wait(tasks)) loop.close()
60. Итоги
61. Итоги Multiprocessing • Работают параллельно • Использует все ядра • Максимум пара десятков
62. Итоги • Работают «параллельно» • Использует одно ядро • Максимум несколько сотен Multiprocessing Threading • Работают параллельно • Использует все ядра • Максимум пара десятков
63. Итоги Async • Работают «параллельно» • Использует одно ядро • Максимум несколько сотен Multiprocessing Threading • Работают конкурентно • Использует одно ядро и один поток • Тысячи • Работают параллельно • Использует все ядра • Максимум пара десятков
64. Спасибо за внимание
65. Спасибо за внимание Twitter: @alpolishchuk
66. Спасибо за внимание Twitter: @alpolishchuk Facebook: alxpolishchuk
67. Спасибо за внимание Twitter: @alpolishchuk Facebook: alxpolishchuk E-mail: a.polishchuk@securitycode.ru