High Performance SQLAlchemy

PyCon Ukraine 2014

Transcript

1. High Performance SQLAlchemy Vladimir Magamedov @vmagamedov
2. Как выполнять работу быстре? 1. Не делать ничего лишнего ◦ Не загружать лишние данные ◦ joinedload, subqueryload ◦ Не использовать ORM объекты
3. Как выполнять работу быстре? 1. Не делать ничего лишнего 2. Оптимизировать оставшееся
4. Как оптимизировать оставшееся? 1. Профилировать – борьба со следствием
5. Как оптимизировать оставшееся? 1. Профилировать – борьба со следствием 2. Писать простой код – исправить причину
6. Как влияет простота кода на его эффективность? 1. Решение любой задачи зависит от того, как мы на неё смотрим 2. Простой код облегчает изменение кода
7. Признаки сложного кода? Условия (if..else) 1. Наделяют код умом 2. Логика распределяется по всему приложению
8. Признаки сложного кода? Условия (if..else) 1. Наделяют код умом 2. Логика распределяется по всему приложению Решение: выносить логику как можно выше, концентрировать в одном месте
9. Признаки сложного кода? Универсальные функции – Функции, выполняющие более одной задачи
10. Признаки сложного кода? Универсальные функции – Функции, выполняющие более одной задачи Решение: как можно большая часть функций должна выполнять одну задачу
11. Признаки сложного кода? Избыточные аргументы 1. Чаще всего это ORM объекты 2. Ещё хуже когда обращаются к связанным объектам, например: product.company.owner.contacts.phone
12. Признаки сложного кода? Избыточные аргументы 1. Чаще всего это ORM объекты 2. Ещё хуже когда обращаются к связанным объектам Решение: принцип "Бритвы Оккама"
13. Признаки сложного кода? Неявные запросы Routing View Template Helpers queries queries queries
14. Признаки сложного кода? Неявные запросы 1. Спрятанные запросы внутрь функций ◦ снаружи на них никак нельзя повлиять
15. Признаки сложного кода? Неявные запросы 1. Спрятанные запросы внутрь функций 2. Ленивая загрузка колонок и объектов ◦ ведет к проблеме N+1 запросов
16. Признаки сложного кода? Неявные запросы 1. Спрятанные запросы внутрь функций 2. Ленивая загрузка колонок и объектов Решение: запросы как и логику надо выносить как можно выше, чтобы иметь возможность ими управлять
17. Вывод 1. Использовать только необходимое 2. Бо́льшая часть простых функций, выполняющих одну задачу 3. Концентрировать логику и запросы в одном месте
18. Вывод 1. Использовать только необходимое 2. Бо́льшая часть простых функций, выполняющих одну задачу 3. Концентрировать логику и запросы в одном месте Решение: SQLConstruct
19. SQLConstruct Декларативный способ описания запросов…
20. SQLConstruct Декларативный способ описания запросов… … позволяющий описать что мы хотим получить из базы данных…
21. SQLConstruct Декларативный способ описания запросов… … позволяющий описать что мы хотим получить из базы данных… … и как эти данные преобразовать в удобный для использования вид.
22. Пример query = ConstructQuery( # аналог session.query() { "id": User.id, # название атрибута "name": User.name, # вычисляемое значение }, db.session, # scoped session ) # результат запроса [Object({"id": 1, "name": "Guido"}), Object({"id": 2, "name": "Barry"})]
23. apply_ query = ConstructQuery( { "id": User.id, "name": apply_(string.upper, # функция [User.name]), # аргументы }, db.session, ) [Object({"id": 1, "name": "GUIDO"}), Object({"id": 2, "name": "BARRY"})]
24. if_ { "text": Comment.text, "author": if_(Comment.user_id, then_=User.name, else_="Anonymous"), }
25. define query = ( ConstructQuery( { "name": User.name, "photo": apply_(url_for_photo, [Photo.id, Photo.name]), }, db.session, ) .join(User.photo) )
26. define @define def url_for_photo(photo) def body(photo_id, photo_name): return url_for('photo', id=photo_id, slug=slugify(photo_name)) return body, [photo.id, photo.name]
27. define # в описании результата url_for_photo.defn(Photo) # объектная форма url_for_photo(photo) # функциональная форма url_for_photo.func(photo.id, photo.name)
28. define query = ( ConstructQuery( { "name": User.name, "photo": url_for_photo.defn(Photo), }, db.session, ) .join(User.photo) )
29. get_ query = ConstructQuery( { "name": User.name, "photo": get_(url_for_photo.defn(Photo), User.photo), # relationship }, db.session, )
30. map_ query = ConstructQuery( { "name": Product.name, "photos": map_(url_for_photo.defn(Photo), Product.photos), }, db.session, )
31. Вопросы? github:vmagamedov/sqlconstruct