Ускоряем производительность Python-клиента Redis, используя Golang

Юрий Букаткин (Программный регион, Руководитель группы разработки) @ Moscow Python Meetup 58

"Тема доклада такая же про ускорение python клиента для redis. Но с использованием расширения написанным на golang. Ну и сравнение в итоге что получилось python клиент, cython клиент и клиент python с использованием golang. Вот ссылка как пример: https://blog.filippo.io/building-python-modules-with-go-1-5/".

Видео: http://www.moscowpython.ru/meetup/58/speed-up-python/

Transcript

1. Ускоряем производительность Python-клиента Redis, используя Golang Букаткин Юрий @randomazer Moscow Python Meetup 58
2. Ускоряем производительность Python-клиента Redis, используя Golang
3. Цель  Быстрый Python-клиент для Redis  Pipeline, Pooling, многопоточность  Простое использование в Python  Читаемость кода Ускоряем производительность Python-клиента Redis, используя Golang
4. Альтернативы Ускоряем производительность Python-клиента Redis, используя Golang Grumpy Gopy Go extensions for Python
5. Реализация
6. Ускоряем производительность Python-клиента Redis, используя Golang
7. Ускоряем производительность Python-клиента Redis, используя Golang
8. Ускоряем производительность Python-клиента Redis, используя Golang
9. Build project Ускоряем производительность Python-клиента Redis, используя Golang
10. Single commands
11. Реализация Python Ускоряем производительность Python-клиента Redis, используя Golang
12. Тестирование Ускоряем производительность Python-клиента Redis, используя Golang  Redis-py https://github.com/andymccurdy/redis-py  Credis https://github.com/yihuang/credis  Python + Go (raw realization)  Python + Go (https://github.com/go-redis/redis)
13. Benchmarks Ускоряем производительность Python-клиента Redis, используя Golang 50000 100000 250000 0 5 10 15 20 25 Credis Go Go library Redis-python hashmap size Seconds
14. Pipelining
15. Структура pipeline Ускоряем производительность Python клиента Redis, используя Golang hset hashmap key value *4\r\n$4\r\nhset$7\r\nhashmap$3\r\nkey$5\r\n value\r\n
16. Реализация Python Ускоряем производительность Python-клиента Redis, используя Golang
17. Benchmarks hashmap size Ускоряем производительность Python-клиента Redis, используя Golang 100 500 1000 5000 10000 50000 100000 0 0.5 1 1.5 2 2.5 3 3.5 Credis Go Go library RedisPy Seconds
18. Benchmarks pipeline size Ускоряем производительность Python-клиента Redis, используя Golang 100 500 1000 5000 10000 50000 100000 0 2 4 6 8 10 12 14 16 Credis Go Go library RedisPy Pipeline size Seconds
19. Pooling & Async
20. Реализация Python Ускоряем производительность Python-клиента Redis, используя Golang
21. Тестирование Ускоряем производительность Python-клиента Redis, используя Golang  Credis https://github.com/yihuang/credis  Asyncio redis https://github.com/jonathanslenders/asyncio-redis  Aredis https://github.com/NoneGG/aredis  Python + Go (raw realization)  Python + Go-redis library https://github.com/go-redis/redis
22. Benchmark Ускоряем производительность Python-клиента Redis, используя Golang 1 0 2 4 6 8 10 12 Aredis Asyncio redis Go Go library Credis Seconds
23. Выводы
24. Достоинства Ускоряем производительность Python-клиента Redis, используя Golang  Ощутимый прирост скорости pipeline и async  Читаемый код на Go  Максимально простое использование в Python  Инкапсуляция всей логики работы библиотеки в Golang
25. Недостатки Ускоряем производительность Python-клиента Redis, используя Golang  Мало информации  Сложность реализации по сравнению с другими методами  Вся ответственность за результат лежит на разработчике
26. Полезные ссылки Ускоряем производительность Python-клиента Redis, используя Golang  https://github.com/deslum/gopipe  http://nigerlittlepoole.com/post/153224915028/using-go-to-boost-python-performance  https://hackernoon.com/extending-python-3-in-go-78f3a69552ac  https://www.datadoghq.com/blog/engineering/cgo-and-python/  https://habr.com/company/mailru/blog/324250/
27. Контакты Ускоряем производительность Python-клиента Redis, используя Golang Email: Randomazer@gmail.com Github: https://github.com/deslum Twitter: https://twitter.com/randomazer