Асинхронность в Python: оглядываясь назад

Владимир Филонов (itcanfly, Founder/CTO) @ Moscow Python Conf 2017
"Уже примерно год, как я использую асинхронный python в боевых проектах. Мнолитные системы, микросервисы, утилиты. Думаю пора рассказать какие выводы я сделал за этот год, чего хотел бы увидеть в python в будущем, и почему продолжаю применять Erlang\Elixir".
Видео: https://conf.python.ru/asinhronnost-v-python-oglyadyvayas-nazad/

Transcript

1. Асинхронный Python Реальные впечатления Moscow Python Conference 2017 Владимир Филонов
2. Владимир Филонов • Питонист
3. Владимир Филонов • Питонист ◦ Уж скоро 10 лет
4. Владимир Филонов • Питонист ◦ Уж скоро 10 лет • Евангелист
5. Владимир Филонов • Питонист ◦ Уж скоро 10 лет • Евангелист ◦ Moscow Python, Django Girls, Learn.Python
6. Владимир Филонов • Питонист ◦ Уж скоро 10 лет • Евангелист ◦ Moscow Python, Django Girls, Learn.Python • Авантюрист
7. Владимир Филонов • Питонист ◦ Уж скоро 10 лет • Евангелист ◦ Moscow Python, Django Girls, Learn.Python • Авантюрист ◦ Люблю применять новые технологии и подходы
8. Что использую
9. Что использую • aiohttp
10. Что использую • aiohttp • aiohttp.web
11. Что использую • aiohttp • aiohttp.web • aiopg
12. Что использую • aiohttp • aiohttp.web • aiopg • aioredis
13. Что использую • aiohttp • aiohttp.web • aiopg • aioredis • aioes
14. Для чего использую
15. Для чего использую • Простой веб
16. Для чего использую • Простой веб ◦ Оффтоп: В jinja 2.9+ появились асинхронные методы
17. Для чего использую • Простой веб ◦ Оффтоп: В jinja 2.9+ появились асинхронные методы • REST API
18. Для чего использую • Простой веб ◦ Оффтоп: В jinja 2.9+ появились асинхронные методы • REST API • Микросервисы
19. Для чего использую • Простой веб ◦ Оффтоп: В jinja 2.9+ появились асинхронные методы • REST API • Микросервисы • Воркеры
20. Для чего использую • Простой веб ◦ Оффтоп: В jinja 2.9+ появились асинхронные методы • REST API • Микросервисы • Воркеры ◦ Ну не люблю я celery, что поделать
21. Для чего использую • Простой веб ◦ Оффтоп: В jinja 2.9+ появились асинхронные методы • REST API • Микросервисы • Воркеры ◦ Ну не люблю я celery, что поделать • Асинхронные прокси для Django
22. Для чего использую • Простой веб ◦ Оффтоп: В jinja 2.9+ появились асинхронные методы • REST API • Микросервисы • Воркеры ◦ Ну не люблю я celery, что поделать • Асинхронные прокси для Django ◦ В основном для websocket
23. Для чего использую • Простой веб ◦ Оффтоп: В jinja 2.9+ появились асинхронные методы • REST API • Микросервисы • Воркеры ◦ Ну не люблю я celery, что поделать • Асинхронные прокси для Django ◦ В основном для websocket ◦ Каюсь, до channels и asgi так и не добрался
24. Что изменилось, по сравнению с синхронным питоном?
25. Сознание
26. Сознание • Поначалу асихронность действительно непривычна • Но после Erlang очень просто =) • Event loop — программа разбивается
27. Разработка
28. Консоль python
29. >>> async def test(): ... return "Here i am!" >>> from somewhere import something
30. >>> async def test(): ... return "Here i am!" >>> from somewhere import something >>> test() <coroutine object test at 0x7fd8a0745eb8>
31. >>> async def test(): ... return "Here i am!" >>> from somewhere import something >>> test() <coroutine object test at 0x7fd8a0745eb8> >>> await something() File "<stdin>", line 1 await something() ^ SyntaxError: invalid syntax
32. >>> import asyncio >>> loop = asyncio.get_event_loop() >>> loop.run_until_complete(test()) Here i am
33. aioconsole
34. >>> async def test(): ... return "Here i am" >>> await test() Here i am
35. >>> async def test(): ... return "Here i am" >>> await test() Here i am >>> ^[[A
36. >>> async def test(): ... return "Here i am" >>> await test() Here i am >>> ^[[A >>> awit^[[D^[[D
37. Нет автокомлита, истории и поиска
38. # apython.py import asyncio loop = asyncio.get_event_loop() def _await(coro): return loop.run_until_complete(coro)
39. # apython.py import asyncio loop = asyncio.get_event_loop() def _await(coro): return loop.run_until_complete(coro) # ~/.bashrc alias apython='/usr/bin/env python3 -i /path/to/apython.py'
40. >>> async def test(): ... return "Here i am" >>> _await(test()) Here i am
41. Дебаггер в PyCharm
43. Тестирование
44. pytest-asyncio
45. @pytest.mark.asyncio async def test_async_test(): result = await library.test() assert result == 'Here i am'
46. pytest-asyncio • Асинхронные фикстуры • Быстрый проброс сводобных TCP портов • Вся мощь py.test
47. asynctest
48. asynctest • Обёртка вокруг unittest • Батарейки типа асинхронных моков • Моки для IO объектов (FileMock, SocketMock, SSLSocketMock)
49. mock = asynctest.SocketMock() mock.recv.return_value = b"Data" def read_ready(sock): print("received:", sock.recv(1024)) loop.add_reader(mock, read_ready, mock) set_read_ready() loop.run_forever() # prints received: b"Data"
50. Runtime
51. Оно работает
52. Тут слайд про сравнение производительности
53. http://klen.github.io/py-frameworks-bench/
54. Не смешивать синхронное и асинхронное
55. async def poll_and_process(): while True: data = await poll_data_from_somewhere() await process_data(data) sleep(10)
56. async def poll_and_process(): while True: data = await poll_data_from_somewhere() await process_data(data) sleep(10)
57. async def poll_and_process(): while True: data = await poll_data_from_somewhere() await process_data(data) await asyncio.sleep(10)
58. import requests async def poll_data_from_somewhere() return requests.get("http://some-source.com/").json()
59. А еще иногда память подтекает
60. Исключения — строго внутри сопрограмм
61. async def universe_factory(): try: await big_bang() except Exception: logger.error("New Universe failed =(") async def big_bang(): return float("inf")/0 loop = asyncio.get_event_loop() loop.create_task(universe_factory()) loop.run_forever() loop.close()
62. Выводы
63. • async/await не себерянная пуля для производительности • Но там где много ввода-вывода (web например) — очень хорошо ◦ А вот если у вас функция долго-долго что-то обсчитывает — асинк не поможет • Главное не напортачить с блокирующими операциями Выводы
64. • Асинхронность всё-таки еще очень сырая • И сильно проигрывает в реализации против модели с вытесняющей многозадачностью и асинхронным вводом-выводом, как в Erlang\Elixir Еще выводы
65. Асинхронность в python конкурентная, но не параллельная
66. PS: А вот в PyPy — параллельная
67. Спасибо! Вопросы? https://fb.com/pyhoster vladimir@itcanfly.org