Что внутри у питона: откуда быть пошел async

Злата Обуховская (Teamlead в Nvidia) @ MoscowPython Meetup 61

"В этой части мы сконцентрируем внимание на процессе интерпретации. Подробно разберем внутренние структуры интерпретатора. Рассмотрим, как в язык добавили слово async, и какие изменения в виртуальной машине пришлось сделать для этого".

Видео: http://www.moscowpython.ru/meetup/61/inside-python2/

Transcript

1. Что внутри у питона: откуда быть пошел async Злата Обуховская
2. Какие скрипты мы обычно пишем?
3. Скрипты, которые собирают данные
4. Какой была concurrency в 2 треды гринтреды (например, gevent) callbacks (например, Tornado)
5. Проблемы с тредами (помимо GIL) Racing, deadlocks, starvation Нельзя контролировать планировщик ОС Переключение контекста дорогая операция
6. Gevent
7. Gevent выглядит, как треды под капотом — ивент-луп переключение гринтредов подменяет системный стэк
8. Проблемы с gevent легко блокирует остальные гринтреды, т.к. не умеет явно передавать контроль манкипатчинг делать в правильные моменты
9. Callbacks
10. Callbacks ивент-луп обработчики событий
11. Callbacks
12. Проблемы callbacks не могут быть очень долгими нужно таскать стейт коллбэка callback hell непонятно, как обрабатывать исключения
13. Как эти проблемы решили в 3?
14. Добавили асинхронность на уровне языка
15. Генераторы спешат на помощь
16. Как работает питон: короткая версия
17. После кодогенерации получается CodeObject • байткод (инструкции) • таблицы символов • области видимости
19. Как выполняется байткод генератора?
20. Код выполняется внутри фрейма
26. Генератор умеет принимать значение
27. Генератор мог бы помочь с асинхронностью умеет хранить контекст умеет явным образом возвращать выполнение умеет обрабатывать исключения можно писать чистенький код
28. Генератор мог бы... невозможно строить пайплайны из генераторов нужен event loop
29. Появился yield from (3.3)
32. Питон 3.3 и виртуальная машина Изменения в грамматике, парсере, кодогенераторе Поменяли ceval.c (YIELD_FROM) Поменяли PyGenObject (gen_iternext и gen_throw)
33. Уже почти асинхронность на уровне языка
34. Появился asyncio (3.4)
35. Появились корутины Интерфейс взяли у генераторов (декоратор asyncio.coroutine)
36. Появились корутины и ивент луп Ивент луп можно написать свой
39. async и await (3.5)
41. asynс и await Появились Awaitable объекты Корутины на генераторах умеют yield Корутины на async def умеют await Есть проверка, чтобы обычные генераторы не использовались, как асинхронные
44. Что было после 3.5 Асинхронные генераторы asyncio.run Контекстные переменные Обработка исключений
45. сингулярность асинхронность уже тут