Особенности работы backend для мобильных приложений, или Python Django UWSGI в продакшен

Дмитрий Швеенков @ Moscow Python #39

О жизни наших проектов в продакшен.
Как мы используем python-django-uwsgi для backend мобильных приложений.
Что важно в backend для его работы?
Как измерить время о оценить качество работы backend?
Как переносим большие пиковые нагрузки?
Как настраиваем сервера, какие "ручки" крутим в ОС, чтобы все работало.
Немного о профилировании django, memcached в python.

http://www.moscowpython.ru/meetup/39/osobennosti-raboty-backend-dlja-mobilnyh-prilozhen/

Transcript

1. О backend я х Pвthon Django UWSGI ш Д Ш ,
2. Ш MКТl.Ru Group mailto: shveenkov@mail.ru 2
4. - ЛКМkОnН - ЛКМkОnН - pвtСon – django – uwsgi – nginx - - , 4
5. ЛКМkОnН - - Х - - JSON API - (Мrop, rОsТгО) 5
6. API - : - - - iOS - Android - Windows phone - . . - 6
7. - http://bit.ly/2cDc60a 7
8. ЛКМkОnН rОsponsОИtТmО? - 1 , ? - 5 ? - 200 , 8
9. ЛКМkОnН? - ЛКМkОnН - timeit $ python -m timeit '"-".join(str(n) for n in range(100))' - - wrk, ab, siege - Nginx access logs log_format main '$remote_addr - [$time_local] "$request" ' '$status $bytes_sent $request_length ' '$request_time $upstream_response_time' 9
10. rps upstrОКmИtТmО 10
11. upstrОКmИrОsponsОИtТmО ? upstrОКmИrОsponsОИtТmО (20 + 10 + 20 + 10 + 10 + 20 + 500 + 500 + 500 + 400) / 10 = 199 http://bit.ly/2d4z5zi $ fgrep "13/Sep/2016:10:" access.log | awk '{print $NF}' | sort -n | python percentile_stdin.py 11
12. - Statsd+Graphite+Grafana https://github.com/bitly/statsdaemon http://graphiteapp.org/ http://grafana.org/ - uаsРТ --carbon 127.0.0.1:2003 - DТКmonН Мpu, lК, nОtаork ТostКt https://github.com/python-diamond/Diamond - Х - Тos/КnНroТН - http://bit.ly/2d8fcHl 12
13. - - qps ЛКМkОnН - qps - uаsРТ-workers аorkОrs? http://bit.ly/2cDjGpA cpu cores x 2 , pвtСon – django – uwsgi – nginx 13
14. uАSGI ? bind listen fork while true: a ccept uWSGI master uWSGI worker 14
15. - uwsgi options --thunder-lock - http://bit.ly/2ckdRPe - David Cramer, discus.com - http://bit.ly/2cxckEX 15
16. nРТnб http://bit.ly/2cfxEkh: - uwsgi_buffers - uwsgi_buffer_size location /news { uwsgi_pass mobs_backend; include uwsgi_params; uwsgi_buffers 256 16k; } 16
17. НjКnРo-python © http://bit.ly/2cV82Gg http://bit.ly/2ckeTKS pip install django-extensions INSTALLED_APPS += ('django_extensions',) python manage.py runprofileserver --use-cprofile --prof-path=~/prof wget -O- -S http://127.0.0.1:8000/news/v2/getNewsById?id=291235 gprof2dot -f pstats ~/prof/out.prof | dot -Tpng -o ~/prof/out.png 17
20. mОmМКМСОН - python-memcached pickle/cpickle commit http://bit.ly/2ckfdJL - pвmОmМКМСО http://bit.ly/2cDCsir - / msРpКМk - norОplв=truО, tМpИnoНОlКв=1 20
21. ЛКМkОnН - - - 21
22. - ЛКМkОnН ЛКМkОnН аОЛ - pвtСon – django – uwsgi – nРТnб - ЛКМkОnН - ЛКМkОnН 22
23. ? ! mailto: shveenkov@mail.ru 23
24. mвsql - mвISAM, - key_buffer_size >= sum(du -hs *.MYI) - ssd - mysql_query_cache - mysql_slow_query_log 24
25. vТОа, class GetNewsByIdView(BaseNewsView): def get_response(self, request): if version == "1.0": return {...} elif version == "2.0": return [] 25