Нагрузочное тестирование с помощью locust.io

Алексей Стрелков

На примере дейтинга расскажу на чем не только модно, но и удобно тестировать высоконагруженные проекты с нетривиальными сценариями взаимодействия с пользователями. И все это не отрываясь от любимого питона.

Transcript

1. Нагрузочное тестирование с помощью locust.io Алексей Стрелков для MoscowDjango, 2015
2. Кто этот чувак
3. Помощь зала
4. 7 комментариев!
5. 7 комментариев! (Три из них мои)
6. Существующие инструменты ApacheBench httpperf Tsung JMeter The Grinder Танк тысячи их! (на самом деле нет)
7. Анти-фича №1 GUI для описания тестов
8. Анти-фича №2 Декларативность
9. Анти-фича №3 Дорогое масштабирование (не везде)
10. Фрустрация
11. Выход есть!
12. Locust Создан, чтобы симулировать поведение настоящих пользователей
13. Фича №1 Тесты описываются на питоне
14. Пример • API какого-нибудь media-ресурса • /posts/ - все статьи • /posts/{id} - отдельная статья • /login - логин пользователя
15. Пример $ pip install locustio Создаем locustfile.py
16. from locust import HttpLocust, TaskSet, task
 
 class UserBehavior(TaskSet):
 
 @task()
 def get_index(self):
 self.client.get("/")
17. from locust import HttpLocust, TaskSet, task
 
 class UserBehavior(TaskSet):
 
 @task()
 def get_index(self):
 self.client.get("/") @task()
 def read_all_posts(self):
 response = self.client.get("/posts")
 posts = response.json().get('items')
 
 for item in posts:
 url= "/posts/{}".format(item['id'])
 self.client.get(url) self.wait()
18. from locust import HttpLocust, TaskSet, task
 
 class UserBehavior(TaskSet):
 
 @task(1)
 def get_index(self):
 self.client.get("/") @task(2)
 def read_all_posts(self):
 response = self.client.get("/posts")
 posts = response.json().get('items')
 
 for item in posts:
 url= "/posts/{}".format(item['id'])
 self.client.get(url) self.wait()
19. class UserBehavior(TaskSet): 
 # <...>
20. class UserBehavior(TaskSet):
 # <...> def on_start(self):
 """ вызывается при старте"""
 self.login()
21. class UserBehavior(TaskSet): 
 # <...> def on_start(self):
 """ вызывается при старте"""
 self.login() def login(self):
 self.client.post("/login", {"username":"King Fury", "password":"90s_rule!!"} )
22. class UserBehavior(TaskSet): 
 # <...> # <...> class AndroidUser(HttpLocust):
 task_set = UserBehavior
 min_wait=5000
 max_wait=9000
23. Фича №2 Простой и удобный веб-интерфейс
24. Запускаем $ locust --host http://pentagon.com
27. Фича №3 Хакáбельный
28. Хакабельность • опенсорсный • не только HTTP (например XML-RPC) • реакция на события (успех, неудача) • переопределение событий
29. Фича №4 Распределенный и масштабируемый
30. --slave --master-host=192.168.1.10
31. --slave --master-host=192.168.1.10 > 2M пользователей
32. Дальше будет немного методологической нудятины (совсем чуть-чуть, но это важно)
33. Не просто тестируйте конечные точки API на прочность
34. Симулируйте поведение пользователей! Не просто тестируйте конечные точки API на прочность
35. RPS* ≠ успех *requests per second Успех должен определяться временем ответа и процентом ошибок
36. Бонус Побочный эффект – функциональные тесты! (на самом деле MATS)
37. Сухой остаток • Все тесты пишутся на питоне • Удобный веб-интерфейс (можно не использовать) • Все опенсорсное и хакабельное • Легко масштабировать • Вы сами определяете, что считать ошибкой • Смоук-тесты нахаляву :3
38. Недостатки • monkey-patching для записи статистики ramp-up периода • ловит не все ошибки (например из on_start() ), но все есть в stdout • интервалы между тасками равны интервалам TaskSet.wait() • мелкие баги (запуск с неправильным протоколом)
39. Полезные ссылки • locust.io – сайт Locust • https://github.com/locustio/ - репозиторий Locust • getpure.org - Pure, уже на iOS, скоро Android (записывайтесь в бета-тестеры!) • theuntitled.net - присылайте ваш стартап на рассмотрение (info@theuntitled.net)
40. Вопросы? datagreed@gmail.com