Питон под нагрузкой, Андрей Сумин, HeadHunter

Выступление на конференции PyCon Russia 2016

Transcript

1. Питон под нагрузкой Сумин Андрей, hh.ru
3. Основные фронтенды ~ 1500 RPS
4. Сервис интеграционной логики ~ 2500 RPS
5. Сходить в бекенды Обработать ответы Применить шаблон Наложить переводы Запрос Ответ
6. https://github.com/hhru/tornado https://github.com/hhru/frontik
9. for emp in xml.findall('employer-group/employer'): vacancies = set(emp.xpath('vacancies/id/text()')) if len(vacancies) <= 10: get_short_vacancies(self, vacancies)
11. Curl story http-клиент Дай резюме Васи Дай резюме Пети Бекенд Таймаут http-клиент
12. Баги в Питоне Воркэраунды (например для urlparse.urlsplit)
13. Баги в Питоне Воркэраунды (например для urlparse.urlsplit) Cookie — использовать в исходном виде нельзя
14. IOLoop while True: run_callbacks() run_timeouts() for fd, event in select.epoll(): run_handler(fd, event)
15. Что нельзя? — никаких долгих вычислений
16. Что нельзя? — никаких долгих вычислений — синхронные походы в базу/кеш — проблема
17. Что нельзя? — никаких долгих вычислений — синхронные походы в базу/кеш — проблема — даже резолвинг ДНС чаще всего блокирующий
18. Что нельзя? — никаких долгих вычислений — синхронные походы в базу/кеш — проблема — даже резолвинг ДНС чаще всего блокирующий — логирование может стать проблемой!
20. Треды спасают мир — в сишной либе можно явно отпустить GIL (с помощью макроса Py_BEGIN_ALLOW_THREADS / Py_END_ALLOW_THREADS)
24. Три закона — пользователи способны на всё
25. Три закона — пользователи способны на всё — всё что может произойти — произойдёт
26. Три закона — пользователи способны на всё — всё что может произойти — произойдёт — всё что может упасть — упадёт
27. Три рецепта — проводите нагрузочное тестирование
28. Три рецепта — проводите нагрузочное тестирование — измеряйте потерянную прибыль
29. Три рецепта — проводите нагрузочное тестирование — измеряйте потерянную прибыль — вкладывайтесь в инфраструктуру
30. Вопросы? an.sumin@hh.ru