[SnowOne 2024] Сергей Петрелевич: Виртуальные потоки в SpringBoot

В ходе доклада разберемся как виртуальные потоки java 21 можно использовать в приложениях на SpringBoot.

Затронем вопрос, как в SpringBoot реализовали обратную совместимость с предыдущими версиями java. Т.е. как одна и та же версия SpringBoot может и использовать новые классы java 21 и работать на предыдущих релизах java.

Посмотрим, как применение этого нового функционала повлияет на производительность и потребляемые приложением ресурсы.

Сравним производительность встроенных популярных контейнеров сервлетов.

Transcript

1. Виртуальные потоки в SpringBoot Петрелевич Сергей
2. Кто Я? Петрелевич Сергей В IT «со времен Спектрума». В профессиональной разработке с 2003 года. Программировал на QNX, C/C++, Oracle PL/SQL. В последние годы в основном использую Java в разных вариациях. В основном работаю в финансовой сфере. Работал в московском тех центре Deutsche Bank, Райффайзенбанк, Мир. Сейчас работаю в компании Squad. 2
3. ПРОБЛЕМАТИКА Java – приложения – не самые эффективные пользователи ресурсов. Рассмотрим один из архитектурных вариантов оптимизации. 3
4. Архитектурные варианты 4 Client 1 Client N Server Thread 1 Thread N Client 1 Client N Server Thread Много клиентов – один поток (Nio, Netty) Один клиент – один поток (TomCat)
5. Много клиентов – один поток 5 Reactor и его друзья? да, и Java 21. Virtual Thread
6. Java 21. Virtual Threads 6 Один «традиционный» (платформенный) поток Java может работать со множеством клиентов одновременно.
7. Virtual Threads. Для чего хороши? 7 Если надо что-то подождать, например I/O, то пусть это делает дешевый Virtual Thread
8. Virtual Threads. Пример создания 8 Все примеры находятся тут: https://github.com/petrelevich/jvm-digging/tree/master/virtual-thread
9. Virtual Threads. Пример создания 9 Новый вариант Executor-а: для новой задачи – новый поток.
10. Virtual Threads. SpringBoot как включить? 10 Добавлено свойство: "spring.threads.virtual.enabled” и к нему enum
11. Virtual Threads. SpringBoot как включить? 11 А на основе enum: @ConditionalOnThreading – новая аннотация в семействе conditionalOn*.
12. Что Virtual Threads делают в SpringBoot? 12 Для примера рассмотрим: @Async @Schedule
13. SpringBoot. @Async 13 Class AsyncExecutionInterceptor Использует deprecated SimpleAsyncTaskExecutor SimpleAsyncTaskExecutor deprecated, т.к. создает новый поток для выполнения новой задачи. Но сейчас именно это нам и надо.
14. SpringBoot. SimpleAsyncTaskExecutor 14 Интересно, что сейчас этот класс и «Deprecated» и «не-Deprecated» в зависимости от варианта использования.
15. SpringBoot. @Async 15 Теперь не надо для @Async создавать явный Executor.
16. SpringBoot. @Schedule 16 Class TaskSchedulingConfigurations Использует deprecated SimpleAsyncTaskExecutor да, использует все тот же executor.
17. SpringBoot. @Schedule 17 Executor и для @Schedule работает из коробки.
18. SpringBoot. Virtual Threads 18 В итоге. @ConditionalOnThreading(Threading.VIRTUAL) создает SimpleAsyncTaskExecutor который используется в - AsyncExecutionInterceptor - TaskSchedulingConfigurations
19. SpringBoot. SimpleAsyncTaskExecutor 19 Посмотрим внимательнее…
20. SpringBoot. VirtualThreadDelegate 20 И как же это все работает?
21. Обратная совместимость. jar 21 Класс на месте, ровно тот, что показывает Idea
22. Обратная совместимость 22 Как сделать так, чтобы приложение работало с разными версиями jvm?
23. Обратная совместимость 23 SpringFramework поддерживает Virtual Thread, но как это работает на java 17? Class VirtualThreadDelegate две реализации: https://github.com/spring-projects/spring-framework/blob/main/spring- core/src/main /java21/org/springframework/core/task/VirtualThreadDelegate.java https://github.com/spring-projects/spring-framework/blob/main/spring- core/src/main /java/org/springframework/core/task/VirtualThreadDelegate.java
24. Обратная совместимость. VirtualThreadDelegate 24 Как собирается jar ? https://melix.github.io/mrjar-gradle-plugin/0.1/index.html support for building and testing multi-release jars with Gradle Как выполняется jar ? https://openjdk.org/jeps/238 JEP 238: Multi-Release JAR Files
25. Обратная совместимость. jar 25 Специально для java 21
26. Idea. Navigation into multi-release JARs 26 Пока делался доклад Idea улучшалась. https://youtrack.jetbrains.com/issue/IDEA-341317/Navigation-into-multi-release-JARs Теперь это так:
27. Обратная совместимость. Еще варианты? 27 Реализация в TomCat
28. Демонстрационное приложение 28 А как же оптимизация приложения? Рассмотрим на примере Rest-сервис с блокирующим api c использованием: Tomcat Jetty Undertow
29. Демонстрационное приложение 29 Особенности: - rest-интерфейс; - наличие блокирующего api; - сотни параллельных клиентов; - минимальное потребление памяти.
30. Демонстрационное приложение 30 Почему 500 мс?
31. Как настроить сервлеты? TomCat 31 class EmbeddedWebServerFactoryCustomizerAutoConfiguration В нем: @ConditionalOnThreading(Threading.VIRTUAL) TomcatVirtualThreadsWebServerFactoryCustomizer tomcatVirtualThreadsProtocolHandlerCustomizer() в нем используется org.apache.tomcat.util.threads.VirtualThreadExecutor;
32. Как настроить сервлеты? Jetty 32 class EmbeddedWebServerFactoryCustomizerAutoConfiguration В нем: @ConditionalOnThreading(Threading.VIRTUAL) JettyVirtualThreadsWebServerFactoryCustomizer jettyVirtualThreadsWebServerFactoryCustomizer() в нем используется org.eclipse.jetty.util.VirtualThreads;
33. Как настроить сервлеты? Undertow 33 class EmbeddedWebServerFactoryCustomizerAutoConfiguration В нем: Undertow Нет варианта для Virtual thread. 
34. Как настроить сервлеты? Undertow 34 Автоконфиг для Undertow Обещают добавить в SpringBoot 3.3: https://github.com/spring-projects/spring-boot/issues/38819 Autoconfigure Undertow/XNIO for virtual thread support А пока сделаем это руками 
35. Как настроить сервлеты? gradle 35
36. Сравнение производительности 36 Генератор нагрузки: https://github.com/rakyll/hey Host hey Host Приложения switch Ethernet 1000 Mb/s Запускаем в докере: 128 Mb, 1 cpu
37. Сравнение производительности 37 ./hey -n=100000 -c=400 Virtual, sec Platform, sec Tomcat 170 X Jetty X X Undertow 150 3131 ./hey -n=100000 -c=300 Virtual, sec Platform, sec Tomcat 195 289 Jetty 196 336 Undertow 185 3128 280 мб (261 сек) Базовый вариант: 128 мб В таблицах средние значения, отклонение ~10-15 sec
38. Что случилось с TomCat? 38 Virtual, sec Platform, sec Tomcat 170 X Потоки: 26 vs 224
39. Что случилось с Jetty? 39 И это с виртуальными потоками. Exception in thread "qtp1603729058-28" java.lang.OutOfMemoryError: Java heap space HTTP request -> class QueuedThreadPool В QueuedThreadPool создаются потоки qtp* а в них уже выполняется AdaptiveExecutionStrategy и используютсяVirtual Thread. Про хитрые и разнообразные стратегии Jetty и Mechanical sympathy : https://webtide.com/jetty-12-virtual-threads-support/
40. А кто такой Undertow? 40 https://undertow.io Undertow is a flexible performant web server written in java, providing both blocking and non-blocking API’s based on NIO. Undertow основан на event loop (NIO), поэтому требует особый подход в работе с блокирующим кодом. “Вызов блокирующего API в Spring WebFlux” https://youtu.be/1OERuVTs_LE?si=BZT13Z8qVvKInITN
41. TomCat, Jetty, Undertow – что взять? 41 Надо учитывать экстремальный характер теста. Выделено всего: 128 мб, 1 cpu. При этом достаточно большая нагрузка: ~400 параллельных запросов. И требование: минимальное потребление памяти. Надо выбирать конкретный инструмент под конкретное применение.
42. Что в итоге? 42 Virtual Thread позволяют эффективнее использовать ресурсы, без усложнения кода. Но с некоторыми нюансами…
43. Спасибо за внимание petrelevich@yandex.ru телега: @petrelevich 43 Примеры: https://github.com/petrelevich/jvm-digging/tree/master/virtual-thread Петрелевич Сергей, Squad