Экзотический батчинг запросов

Выступление Максима Зинченко, нашего разработчика-эксперта, на конференции JPoint (Москва, 5 апреля 2019).

Transcript

1. Экзотический батчинг запросов Максим Зинченко Java-разработчик JPoint Москва, 5 апреля 2019 #performance #batch_processing #backend #enterprise #java #spring
2. Предисловие CUSTIS занимается заказной и продуктовой разработкой Я в последнее время занимаюсь пресейлами 2 16
3. Причины плохой производительности в пресейлах | Быстрая разработка. Код proof-of-concept часто остается единственным | Большинство участников привлекается ненадолго Перформанс или инсталляция? 3 16
4. Задача Сериализация гетерогенного графа сущностей (REST) 4 16
5. Задача Подразделения Dep Сотрудники Emp Платежи Pay 5 16
6. depSerializer = depSerializer(empByDep, …); depSerializer.apply(dep); Как это выглядит Function<Dep,Json> depSerializer( Function<Dep,Collection<Emp>> empByDep, Function<Dep,Collection<Pay>> payByDep, … ) {…} Сериализация узлов одного типа Получение подузлов High latency Кто-то инжектит методы Стартуем сериализацию 6 16
7. Function<Dep,Json> depSerializer(…) { … emps = empByDep.apply(dep).stream() .map(empSerializer) … } Внутри сериализатора Получаем подузлы Сериализуем подузлы другим сериализатором 7 16
8. Проблемы Использование тяжелых функций | Массовое | Непредсказуемое в плане аргументов | Почти без повторов 8 16
9. Как решить? Что делать с медленными запросами 9 16
10. Prefetch с эвристикой Предсказываем все значения аргументов Делаем один вызов Результат представляем как функцию Больше ничего не меняем 10 16
11. Prefetch с эвристикой Подразделения Сотрудники Платежи Увеличение скорости в 10 раз бесплатно без регистрации и смс! 11 16
12. Function<Dep,Collection<Emp>> empByDep = withPrefetch(()→ empService.findBySomeScope(…)); Как это выглядит в коде Интерфейс сохраняется depSerializer = depSerializer(empByDep, …); depSerializer.apply(dep); Вызов ленивый Предсказание Приводим к нужному виду Не изменился ни сериализатор, ни его использование 12 16
13. Предсказание аргументов | Ни в одном месте стека не известен полный скоуп | Для произвольного графа сделать предсказание невозможно | Нет предсказания ⇒ нет prefetch 13 16
14. Грубая оценка Вычитываем весь подграф и лишние данные, потом фильтруем 14 16
15. Ограничения Stateful функции Leaky abstraction Эвристику нужно придумать 15 16
16. Спасибо за внимание! Максим Зинченко mzinchenko@custis.ru