Asyncio/Aiohttp — предел производительности

Павел Петлинский @ Moscow Python

Transcript

2. 40 50+ 700 1700+ млн человек суммарная аудитория группы количество изданий,
 сервисов и проектов разработчиков человек в хорошей компании
4. Языки и технологии
5. Контакты В группе компаний Rambler&Co всегда есть открытые вакансии для тех, кто хочет профессионально расти и развиваться, занимаясь тем, что по-настоящему нравится hr@rambler-co.ru www.rambler-co.ru/jobs
6. AsyncIO предел производительности
7. Python 3.5 @asyncio.coroutine vs. async def Coroutines used with asyncio may be implemented using the async def statement, or by using generators. … Things a coroutine can do: • result = await future or result = yield from future – suspends the coroutine until the future is done, then returns the future’s result, or raises an exception, which will be propagated. (If the future is cancelled, it will raise a CancelledError exception.) Note that tasks are futures, and everything said about futures also applies to tasks. • result = await coroutine or result = yield from coroutine – wait for another coroutine to produce a result (or raise an exception, which will be propagated). The coroutine expression must be a call to another coroutine. (c) https://docs.python.org/3/library/asyncio-task.html 7
8. Python 3.5 @asyncio.coroutine vs. async def 8
9. Python 3.5 @asyncio.coroutine vs. async def 9
10. Python 3.5 @asyncio.coroutine vs. async def Async time 0.24560235091485083 Decorator time 2.0251800750847906 10
11. Python 3.5 @asyncio.coroutine vs. async def 11
12. Как измерить RPS? 12
13. Как измерить RPS? wrk -t 80 -c 80 -d 10s http://127.0.0.1:8080/test 80 threads and 80 connections …. Requests/sec: 2339.74 13
14. Как измерить RPS? /usr/local/bin/weighttp -n 800 -c 80 127.0.0.1:8080/test/ … spawning thread #1: 80 concurrent requests, 800 total requests … finished in 0 sec, 619 millisec and 649 microsec, 1291 req/s, 220 kbyte/s status codes: 800 2xx, 0 3xx, 0 4xx, 0 5xx 14
16. Как измерить RPS? “wrk creates all TCP connections first, and, then only, it sends HTTP requests” • real Web users send an HTTP request immediately after the TCP handshake • wrk masks the ability (or the inability) of a server to quickly accept and close connections (c) http://gwan.com/en_apachebench_httperf.html 16
17. UVLoop - маркетинг или реальность? “uvloop makes asyncio 2-4x times faster.” (c) https://github.com/MagicStack/uvloop 17
18. UVLoop - маркетинг или реальность? 18
19. UVLoop - маркетинг или реальность? wrk -t 80 -c 80 -d 10s http://127.0.0.1:8080/test … 80 threads and 80 connections … Requests/sec: 2739.65 19
20. UVLoop - маркетинг или реальность? /usr/local/bin/weighttp -n 8000 -c 80 127.0.0.1:8080/test/ …. spawning thread #1: 80 concurrent requests, 8000 total requests … finished in 3 sec, 201 millisec and 135 microsec, 2499 req/s, 427 kbyte/s status codes: 8000 2xx, 0 3xx, 0 4xx, 0 5xx 20
21. Asyncio loop scaling 21
22. UVLoop scaling 22
23. Где наши 10k rps??? 23 •Получение и парсинг http запроса - 100 мкс •Роутинг - 30 мкс •Метод send_headers - 180 мкс • etc…
24. Выводы 24 • HTTP протокол - это дорого! • Используйте правильные инструменты для замеров • Читайте исходники • Бенчмарки врут :-)
25. Вопросы?