[SnowOne 2024] Егор Зиборов: Java, сделай мне больно!

Все мы пишем код, используем новые подходы и технологии в работе, но иногда в продакшене все оборачивается совсем неожиданным образом.

Прибегают Ops-инженеры с проблемами, о которых мы иногда даже задуматься не могли во время дизайна и написания сервиса. Почему бы им не помочь в разборе проблем?

Спикер на примерах расскажет о неочевидных ошибках, которые ловили в продакшене, как искали их причины и как их можно было бы избежать.

Transcript

1. «JAVA, СДЕЛАЙ МНЕ БОЛЬНО!» JAVA Егор Зиборов | Сбер 1
2. whoami 2
3. 2014 МФТИ 11 лет в IT whoami 5 лет в Сбере 3
4. ПланЪ Немного контекста Немного про Spring AOP Совсем чуть-чуть про DataSource GRPC на дорожку 01 02 03 04 4
5. НЕМНОГО КОНТЕКСТА 5
6. СБОЛ жи есть Активных клиентов в месяц MAU 80млн 4000rps Количество одновременных входов в приложение 6
7. СБОЛ жи есть СБОЛ КАРТЫ ВКЛАДЫ КРЕДИТЫ 7
8. TechOverview Project Reactor 8
9. Disclaimer О чем? • Про опыт • Про ресерч • Про боль Для кого? • Для разработчиков • Для Ops инженеров 9
10. ОДНАЖДЫ В SPRING AOP 10
11. Новый релиз… 3 месяца разработки команды 100500 бизнес фичей 11
12. Горы-горы 12
13. Тем временем на мониторинге 13
14. Откатываем релиз… 14
15. Надо разобраться 15
16. Что за ошибки-то? HTTP 1.1 POST Cookie: JSESSION=UNEXISTED_SESSION HTTP Status: 403 Клиент BackEnd 16
17. Floating bug 17
18. Что делать-то? Как исследуем плавающие дефекты? Локализуем: o Один VM? o Один ExecutorService? o Один Thread? 18
19. TL курильщика 19
20. TL здорового человека 20
21. В поисках проблемы 21
22. Идем к истоку Логи заротировались… Воспроизводим ошибку еще раз Ищем первую ошибку и… 22
23. Бага в Spring? 23
24. Принятие дефекта 24
25. Что там в Spring’e? ExposeInvocationInterceptor Internal – API Возвращает предыдущее значение 25
26. Разовый провал или…? TransactionAspectSupport 26
27. Разовый провал или…? AopContext 27
29. А локи как? 29
30. StackOverflow в Java EntryFrame Frame 1 Frame 2 Frame 3 Frame 4 Yellow Zone Red Zone XSS Fatal JVM error StackOverflowError 30
31. Java решает! (с jdk 9) JEP 270: Reserved Stack Areas for Critical Sections Reserve extra space on thread stacks for use by critical sections, so that they can complete even when stack overflows occur. https://pangin.pro/posts/stack-overflow-handling EntryFrame Frame 1 Frame 2 Frame 3 Reserved Zone Yellow Zone Red Zone Fatal JVM error StackOverflowError StackOverflowError ПОСЛЕ выхода из секции 31
32. Чудо-аннотация 32
33. Чудо-фикс 33
34. А воспроизвести? 34
35. Make Java Great Again JDK-8318888 - ReentrantLock results in a locked state after StackOverflowError JDK-8319090 - StackOverflow from ThreadLocal.set might shadow the root cause 35
36. Логируй, логируй… 36
37. Логируй правильно! 37
38. Или даже так 38
39. А со ScopedValue? 39
40. А со ScopedValue? 40
41. Подождем… Тут скриншот готового ПР в jdk и картинка со дуном 41
42. • Нет StackOverFlow – нет проблем! • Мониторь StackOverflowError и OutOfMemoryError в системе • Добавлять? –XX:AbortVMOnException=java.lang.StackOverflowError Мораль 42
43. 1 СОВСЕМ НЕМНОГО DATASOURCE’ОВ 43
44. У вас и БД есть? БД Зачем? o Кэш o Мастер-данные СБОЛ КАРТЫ ВКЛАДЫ КРЕДИТЫ 44
45. StandIn Что важно? o Есть резервный блок, без нагрузки o В любой момент можно перевести всю нагрузку на него Активный блок Резервный блок NGINX БД БД Репликации 45
46. DataSource – это просто Как мы все работают с DataSource 46
47. И вот однажды… Переключение в StandBy под нагрузкой Не прогретые DataSource’ы Массовое создание Connection’ов Logon Storm на БД Что произошло? 47
50. Но в DataSource же…. 50
51. Как же так…? WebSphere::Minimum connections This property defines the minimum number of physical connections that will be kept open in the free pool. When the JVM is started, WAS does not automatically create the number of connections that is defined by this property. HikariCP::minimumIdle 🔢minimumIdle This property controls the minimum number of idle connections that HikariCP tries to maintain in the pool. If the idle connections dip below this value and total connections in the pool are less than maximumPoolSize, HikariCP will make a best effort to add additional connections quickly and efficiently. However, for maximum performance and responsiveness to spike demands, we recommend not setting this value and instead allowing HikariCP to act as a fixed size connection pool. Default: same as maximumPoolSize 51
52. Грелка! CONNECTION WARMUP SLEEP 52
53. Грелка! 53
54. Грелка! 54
55. Немного рандома T1 T2 T3 T4 T5 55
56. Мораль 56
57. Мораль Есть StandBy? Проверяй “холодный” переход на него под полной нагрузкой 57
58. 1 GRPC НА ДОРОЖКУ 58
59. Пара слов о 59
60. Создавай gRPC клиент генерируется на основе: o proto файл o Google либы o Gradle таск 60
61. Подключай 61
62. Используй! 62
63. Все работает! Node1 Node2 NodeN External System gRPC Connect gRPC Connect gRPC Connect Имеем: o для всех нод одна точка подключения (LoadBalancer) – ничего не знаем о его структуре o каждая нода держит один connection 63
64. Или нет… Node1 Node2 NodeN External System gRPC Connect gRPC Connect gRPC Connect Что-то случилось! o На одной из нод начались таймауты на 100% запросов Что делаем? Конечно, ребутаем! 64
65. Одним ребутом сыт не будешь Node1 Node2 NodeN gRPC Connect gRPC Connect gRPC Connect LoadBalancer POD1 POD2 POD3 65
66. Одним ребутом сыт не будешь Node1 Node2 NodeN gRPC Connect gRPC Connect gRPC Connect LoadBalancer POD1 POD2 POD3 POD2 POD3 66
67. Одним ребутом сыт не будешь Node1 Node2 NodeN gRPC Connect gRPC Connect gRPC Connect LoadBalancer POD1 POD2 POD3 POD2 POD3 67
68. ClientReconnect io.grpc.ManagedChannel 68
69. Иииииспользуем 69
70. Ииии… 70
71. gRPC ли? Node1 Node2 NodeN HTTP Connect HTTP Connect HTTP Connect LoadBalancer POD1 POD2 POD3 POD2 POD3 71
72. Мораль Есть пул соединений? Убедись, что в нем есть реконнекты 72
73. 1 ИТОГИ 73
74. Выводы 1. Что такое СБОЛ 2. StackOverflow в finally блоке 3. Важность проверки переключения на StandBy 4. Важность reconnect’a внутри ConnectionPool’ов 74
75. Контакты @WinZib winzib@yandex.ru 75