Tweet
Tweet

Slide 1

Slide 1 text

Асинхронщина в Python Александр Полищук ООО «Код Безопасности» @alpolishchuk

Slide 2

Slide 2 text

Последовательный вызов print("Welcome to") print("MoscowPython") print("MeetUp!")

Slide 3

Slide 3 text

Последовательный вызов print("Welcome to") print("MoscowPython") print("MeetUp!") >> Welcome to >> MoscowPython >> MeetUp!

Slide 4

Slide 4 text

Как можно делать одновременно несколько вещей в Python

Slide 5

Slide 5 text

Как можно делать одновременно несколько вещей в Python • Отдельные процессы

Slide 6

Slide 6 text

Как можно делать одновременно несколько вещей в Python • Отдельные процессы • Отдельные потоки

Slide 7

Slide 7 text

Как можно делать одновременно несколько вещей в Python • Отдельные процессы • Отдельные потоки • Асинхронный код

Slide 8

Slide 8 text

Отдельные процессы это хорошо

Slide 9

Slide 9 text

Отдельные процессы это хорошо • Отдельные программы

Slide 10

Slide 10 text

Отдельные процессы это хорошо • Отдельные программы • Изолированы

Slide 11

Slide 11 text

Отдельные процессы это хорошо • Отдельные программы • Изолированы • Работают параллельно

Slide 12

Slide 12 text

Отдельные процессы это хорошо • Отдельные программы • Изолированы • Работают параллельно • Используют все ресурсы процессора

Slide 13

Slide 13 text

Отдельные процессы это плохо

Slide 14

Slide 14 text

Отдельные процессы это плохо • Нет разделяемых переменных

Slide 15

Slide 15 text

Отдельные процессы это плохо • Нет разделяемых переменных • Необходима синхронизация

Slide 16

Slide 16 text

Отдельные процессы это плохо • Нет разделяемых переменных • Необходима синхронизация • Очень затратные

Slide 17

Slide 17 text

Отдельные процессы это плохо • Нет разделяемых переменных • Необходима синхронизация • Очень затратные • Зависят от количества ядер

Slide 18

Slide 18 text

Где же это использовать?

Slide 19

Slide 19 text

Где же это использовать? • Обработка изображений

Slide 20

Slide 20 text

Где же это использовать? • Обработка изображений • Обработка массивов данных

Slide 21

Slide 21 text

Где же это использовать? • Обработка изображений • Обработка массивов данных • Обработка матриц

Slide 22

Slide 22 text

Библиотеки

Slide 23

Slide 23 text

Библиотеки • multiprocessing

Slide 24

Slide 24 text

Пример from multiprocessing import Pool def print_word(word): print(word) If __name__ == "__main__": pool = Pool() pool.map(print_word, ["Hello", "MoscowPython", "Meetup"]) pool.close() pool.join()

Slide 25

Slide 25 text

Результат Hello MoscowPython Meetup

Slide 26

Slide 26 text

Пример из жизни import os from PIL import Image from multiprocessing import Pool def create_thumbnail(filename): im = Image.open(filename) im.thumbnail((75, 75), Image.ANTIALIAS) save_path = os.path.join(".", "thumbnails", fname) im.save(save_path) if __name__ == "__main__": images = [file for file in os.listdir(".") if "jpeg" in file] pool = Pool() pool.map(create_thumbnail, images) pool.close() pool.join()

Slide 27

Slide 27 text

Отдельные потоки это хорошо

Slide 28

Slide 28 text

Отдельные потоки это хорошо • Общая память

Slide 29

Slide 29 text

Отдельные потоки это хорошо • Общая память • Общие глобальные переменные

Slide 30

Slide 30 text

Отдельные потоки это хорошо • Общая память • Общие глобальные переменные • Не требуют больших ресурсов

Slide 31

Slide 31 text

Отдельные потоки это хорошо • Общая память • Общие глобальные переменные • Не требуют больших ресурсов • Отлично подходит для I/O-bound операций

Slide 32

Slide 32 text

Отдельные потоки это плохо

Slide 33

Slide 33 text

Отдельные потоки это плохо • GIL

Slide 34

Slide 34 text

Отдельные потоки это плохо • GIL • Нельзя использовать CPU-bound функции

Slide 35

Slide 35 text

Отдельные потоки это плохо • GIL • Нельзя использовать CPU-bound функции • Код не тривиален

Slide 36

Slide 36 text

Отдельные потоки это плохо • GIL • Нельзя использовать CPU-bound функции • Код не тривиален • Одновременный доступ к памяти

Slide 37

Slide 37 text

Где же это использовать?

Slide 38

Slide 38 text

Где же это использовать? • Работа с сетью

Slide 39

Slide 39 text

Библиотеки

Slide 40

Slide 40 text

Библиотеки • threading

Slide 41

Slide 41 text

Пример import threading def worker(num): """thread worker function""" print 'Worker: %s' % num return threads = [] for i in range(5): t = threading.Thread(target=worker, args=(i,)) threads.append(t) t.start()

Slide 42

Slide 42 text

Результат Worker: 0 Worker: 1 Worker: 2 Worker: 3 Worker: 4

Slide 43

Slide 43 text

Пример из жизни ДА ПРОСТИТ МЕНЯ PEP

Slide 44

Slide 44 text

Пример из жизни import threading, requests def pinger(url): return requests.get(url) e1 = threading.Event(); e2 = threading.Event() t1 = threading.Thread(target=pinger, args=('https://yandex.ru',)) t2 = threading.Thread(target=pinger, args=('https://mail.ru',)) t1.start(); t2.start() e1.set() t1.join(); t2.join()

Slide 45

Slide 45 text

Асинхронный код это хорошо

Slide 46

Slide 46 text

Асинхронный код это хорошо • Выполнение в одном процессе и потоке

Slide 47

Slide 47 text

Асинхронный код это хорошо • Выполнение в одном процессе и потоке • Очень малое использование ресурсов системы

Slide 48

Slide 48 text

Асинхронный код это хорошо • Выполнение в одном процессе и потоке • Очень малое использование ресурсов системы • ОС независим

Slide 49

Slide 49 text

Асинхронный код это плохо

Slide 50

Slide 50 text

Асинхронный код это плохо • Сложность отладки

Slide 51

Slide 51 text

Асинхронный код это плохо • Сложность отладки • Трудно понять, в каком контексте мы находимся

Slide 52

Slide 52 text

Асинхронный код это плохо • Сложность отладки • Трудно понять, в каком контексте мы находимся • Сложночитаемый код

Slide 53

Slide 53 text

Асинхронный код это плохо • Сложность отладки • Трудно понять, в каком контексте мы находимся • Сложночитаемый код • «Очень легко выстрелить себе в ногу» (с)

Slide 54

Slide 54 text

Библиотеки

Slide 55

Slide 55 text

Библиотеки • Asyncio

Slide 56

Slide 56 text

Библиотеки • Asyncio • gevent

Slide 57

Slide 57 text

Пример import asyncio async def hello_world(): print("Hello Meetup!") loop = asyncio.get_event_loop() loop.run_until_complete(hello_world()) loop.close()

Slide 58

Slide 58 text

Результат Hello Meetup!

Slide 59

Slide 59 text

Пример из жизни import requests import asyncio async def ping_url(url): return requests.get(url) loop = asyncio.get_event_loop() tasks = [ping_url('https://yandex.ru'), ping_url('https://mail.ru')] loop.run_until_complete(asyncio.wait(tasks)) loop.close()

Slide 60

Slide 60 text

Итоги

Slide 61

Slide 61 text

Итоги Multiprocessing • Работают параллельно • Использует все ядра • Максимум пара десятков

Slide 62

Slide 62 text

Итоги • Работают «параллельно» • Использует одно ядро • Максимум несколько сотен Multiprocessing Threading • Работают параллельно • Использует все ядра • Максимум пара десятков

Slide 63

Slide 63 text

Итоги Async • Работают «параллельно» • Использует одно ядро • Максимум несколько сотен Multiprocessing Threading • Работают конкурентно • Использует одно ядро и один поток • Тысячи • Работают параллельно • Использует все ядра • Максимум пара десятков

Slide 64

Slide 64 text

Спасибо за внимание

Slide 65

Slide 65 text

Спасибо за внимание Twitter: @alpolishchuk

Slide 66

Slide 66 text

Спасибо за внимание Twitter: @alpolishchuk Facebook: alxpolishchuk

Slide 67

Slide 67 text

Спасибо за внимание Twitter: @alpolishchuk Facebook: alxpolishchuk E-mail: [email protected]