Как взбодрить грустную панду? Используем Pandas в Production

Александр Швец (CTO @ Marilyn) @ Moscow Python Conf 2017
"Последние 7 лет я активно занимаюсь разработкой в области AdTech, а это всегда работа с данными, порой очень и очень большими. Также я читаю курс в Нетологии, посвященный исследованию данных на Python. На Moscow Python Conf я хочу поделиться с вами практикой промышленного использования Pandas и чем она отличается от теории. Ведь существует мнение, что Pandas предназначен только для исследовательских задач или для того, чтобы что-нибудь быстро прикинуть на коленке, так как он медленный и неповоротливый. Однако мы на своем опыте убедились, что Pandas можно и нужно использовать в бою, если вы работаете с большим количеством данных. В докладе я расскажу про оптимизацию Pandas для быстрой обработки больших массивов данных".
Видео: https://conf.python.ru/kak-vzbodrit-grustnuyu-pandu-ispolzuem-pandas-v-production/

Transcript

1. КАК ВЗБОДРИТЬ ГРУСТНУЮ ПАНДУ
2. АЛЕКСАНДР ШВЕЦ
3. “ Лениво панда Свернулась калачиком Инь и ян ” ХОККУ
4. PANDAS • Библиотека для анализа данных • Позволяет Python порвать R и любые другие специализированные инструменты • От простых Excel-style задач до машинного обучения
5. MARILYN НАШ ОПЫТ • 25 октября 2017 системе исполняется 5 лет • Pandas с 2013 года • Огромное количество внешних источников • “Терабайт слева, терабайт – справа!”
6. ДО PANDAS • Ничего не помещается в память • Как же все медленно!
7. PANDAS – БЫСТРАЯ?! • Построена на основе NumPy и Cython • Правильное и неправильное использование может давать разницу в разы
8. C PANDAS • Меньше • Быстрее • Но недостаточно!
9. ПРОБЛЕМА 1. ЗАГРУЗКА ИЗ CSV • Обратите внимание на то, какие типы получаются
10. dtypes здорового человека dtypes курильщика
11. РЕШЕНИЕ • Заранее вычищать/заменять все ненужное • Использовать конвертацию • pd.to_numeric • pd.to_datetime • …
13. ПРОБЛЕМА 2. ИСПОЛЬЗОВАНИЕ ЛИШНЕЙ ПАМЯТИ • Многие операции могут создавать целые копии огромного DataFrame
15. РЕШЕНИЕ • Не создавать копии, менять текущий фрейм • Использовать облегченные типы данных
17. ПРОБЛЕМА 3. ПРОХОД ПО ФРЕЙМУ • Иногда очень хочется пройтись циклом по фрейму • Но нельзя!
18. Очень медленно
19. РЕШЕНИЕ • Векторизировать все операции!
21. ПРОБЛЕМА 4. MERGE Основная польза от Pandas в объединении данных Но так ли бытро оно работает?
23. РЕШЕНИЕ • Pandas в этом плане ничем не отличается от РСУБД • Индексы решают все!
25. Может ли ClickHouse заменить Pandas? vs
26. До: хранение в PostgreSQL
27. После: хранение в Pandas
28. https://github.com/mymarilyn/clickhouse-driver clickhouse-driver
29. https://github.com/xzkostyan/clickhouse-sqlalchemy clickhouse-sqlalchemy
30. ВЫВОДЫ • Pandas действительно производителен даже в Production • Но надо знать нюансы • Для некоторых задач есть все же более подходящие инструменты
31. МЫ ЖДЕМ ТЕБЯ В MARILYN
32. СПАСИБО fb.com/ashwets ashvets@mymary.ru Александр Швец директор по продукту