Спасение от Jar Hell с помощью слоев Jigsaw

Модульную систему Java aka JPMS или Jigsaw часто критикуют из-за отсутствия версионирования, которое есть в альтернативных модульных системах для Java, таких как OSGi. Одна из главных целей версионирования — это решать проблему Jar Hell, которая возникает, когда приложение зависит от двух разных версий одной и той же библиотеки.

Jigsaw может детектировать такую конфликтную ситуацию через детектирование так называемых split-пакетов, но не позволяет загрузить две версии одного модуля, присутствующих в module path. Однако не всегда возможно избавиться от конфликта версий в большом приложении, потому что конфликтующие версии могут появляться в приложении через транзитивные зависимости, которые не всегда под контролем разработчика. К счастью, в Jigsaw предусмотрели возможность бороться с этой проблемой с помощью так называемых слоев Jigsaw (Jigsaw Layers).

В этом докладе мы разберемся, какие проблемы могли бы возникнуть, если бы в Jigsaw были явные версии для модулей, и как слои Jigsaw вместе с Jigsaw-сервисами могут помочь безопасно решать проблему Jar Hell.

Transcript

1. Спасение от Jar Hell с помощью слоев Jigsaw Никита Липский Excelsior LLC
2. Jigsaw и версионирование 2
3. Про себя ? •  Инициатор проекта Excelsior JET –  работал над проектом более 18 лет –  как идейный вдохновитель –  компиляторный инженер –  руководитель –  и много в каких еще ролях •  twitter: @pjBooms •  team blog: https://www.excelsiorjet.com/blog 3
4. План доклада •  Очень краткое введение в Jigsaw •  Проблема Jar Hell •  Версионирование как способ решить Jar Hell •  Проблемы связанные с версионированием •  Jigsaw Layers •  Как решать Jar Hell с помощью Jigsaw Layers •  Демо 4
5. Модульная система OSGi
6. Пример модуля // src/java.sql/module-info.java module java.sql { requires transitive java.logging; requires transitive java.xml; exports java.sql; exports javax.sql; exports javax.transaction.xa; uses java.sql.Driver; } 6
7. Модульная система Jigsaw Jigsaw модуль •  импортирует: –  модули: requires –  сервисы: uses •  экспортирует: –  пакеты: exports –  сервисы: provides SomeService with ServiceImpl 7
8. Модульная система Jigsaw Module A Class A Module B Class B Module C Class C exports packageC; requires: A exports packageA; I requires A; requires C; 8
9. Jar Hell 9
10. Jar/Classpath Hell App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 10
11. Jar/Classpath Hell App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 11
12. Jar/Classpath Hell App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 12
13. Jar/Classpath Hell App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 13
14. Jar/Classpath Hell App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 14
15. Jar/Classpath Hell App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 15
16. Версионирование •  Для решения проблемы JAR hell в первых драфтах Jigsaw модуль мог иметь версию – соответственно импорт/экспорт квалифицировался версией – если два модуля требовали библиотеку разных версий, грузились обе версии библиотеки 16
17. Версионирование Но потом от версионирования в Jigsaw отказались … 17
18. Версионирование Но потом от версионирования в Jigsaw отказались … Почему? 18
19. Версионирование Вопрос: Как реализовать версионирование? Задача: Имеем модуль A, использующий библиотеку Lib (v1), и модуль B, использующий Lib (v2). Требуется, чтобы обе версии Lib работали и не конфликтовали. Решение: грузить обе версии библиотеки разными загрузчиками классов. 19
20. Версионирование Вопрос: Как реализовать версионирование? Задача: Имеем модуль A, использующий библиотеку Lib (v1), и модуль B, использующий Lib (v2). Требуется, чтобы обе версии Lib работали и не конфликтовали. Решение: грузить обе версии библиотеки разными загрузчиками классов. 20
21. Версионирование Вопрос: Как реализовать версионирование? Задача: Имеем модуль A, использующий библиотеку Lib (v1), и модуль B, использующий Lib (v2). Требуется, чтобы обе версии Lib работали и не конфликтовали. Решение: грузить обе версии библиотеки разными загрузчиками классов. 21
22. Версионирование •  ClassLoader образует уникальное пространство имен классов •  Если каждый модуль грузить своим загрузчиком классов, то нет конфликтов с классами других модулей 22
23. Версионирование com.foo App 1.0 com.foo parse-api 2.0 com.foo persist-api 3.0 org.apache commons 2.1 org.apache commons 3.1 CL1 CL2 CL3 CL4 CL5 Разные версии apache commons могут одновременно жить в JVM 23
24. Проблемы с версионированием 24
25. Версионирование Версионирование означает: 1 модуль ßà 1 загрузчик классов 25
26. Версионирование Версионирование означает: 1 модуль ßà 1 загрузчик классов И в первых версиях Jigsaw так и было! 26
27. Jigsaw и загрузчики Jigsaw – это не только модули, но и разбиение Java платформы на модули. 27
28. Jigsaw и загрузчики Проблемы обратной совместимости: По спецификации getClassloader() == null для всех классов платформы. Что противоречит разбиению платформы на модули, где каждый модуль грузится своим загрузчиком 28
29. Jigsaw и загрузчики Проблемы обратной совместимости: По спецификации getClassloader() == null для всех классов платформы. Что противоречит разбиению платформы на модули, где каждый модуль грузится своим загрузчиком 29
30. Jigsaw и загрузчики Проблемы обратной совместимости: Даже то, что классы вашего предложения будут грузится многими загрузчиками может вызывать проблемы Ф 30
31. Jigsaw и загрузчики Проблемы обратной совместимости: И даже то, что Application Classloader перестал наследовать URLClassloader уже вызывает проблемы Ф 31
33. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 33
34. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A 34
35. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A A 35
36. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A A 36
37. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A A 37
38. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A A 38
39. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A A 39
40. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A A Я - “A”! 40
41. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A Нет, это я “A”! A Я - “A”! 41
42. App 1.0 A Версионирование? Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A AAAAA! AAAAA! 42
44. Loading constraints •  Loading constraints запрещают двум разным классам с одинаковыми именами (fully qualified) появиться в области видимости одного класса 44
45. Loading constraints B.java: class B { T1 f1 = A.f; int f2 = A.m(t2); } A.java: class A { static T1 f; static int m(T2 t) Если B грузится загрузчиком L1, а A грузится L2, то JVM проверит, что (T1, L1) = (T1, L2) и (T2, L1) = (T2, L2) == 45
46. Версионирование? •  При нарушении loading constraints, JVM кидает java.lang.LinkageError 46
47. Версионирование Еще деталь: импорт в ранних версиях Jigsaw специфицировался не просто версией, а диапазоном версий: –  Модуль мог декларировать, что может работать с зависимостями версий от и до 47
48. Версионирование // src/module-info.java module my.module@1.0 { //1.2.3.1 <= lib.module version < 4.0 requires lib.module@1.[2.3.1+];2*;3*; } 48
49. Версионирование Оказалось, что разрешение зависимостей (wiring модулей) от диапазонов версий – это NP полная проблема! –  Сводится к 3-SAT 49
50. Версионирование … после чего версионирование в модульной системе Java приказало долго жить. 50
51. Версионирование … после чего версионирование в модульной системе Java приказало долго жить. Нет версионирования – не нужны загрузчики классов для модулей. 51
52. Jar Hell Но как же тогда решать проблему Jar Hell? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 52
53. Jar Hell Такая ситуация в Jigsaw запрещена App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 53
54. Jar Hell Stop! Но ведь в Jigsaw нет версий! App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 54
55. Jar Hell Stop! Но ведь в Jigsaw нет версий! У двух версий одной и той же библиотеки скорей всего есть одинаковые пакеты 55
56. Jar Hell Stop! Но ведь в Jigsaw нет версий! У двух версий одной и той же библиотеки скорей всего есть одинаковые пакеты Jigsaw запрещает двум модулям иметь одинаковые пакеты (split packages) 56
57. Jar Hell Но как же все таки решать проблему Jar Hell? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 57
58. Jar Hell Один из вариантов решения: App 1.0 Foo 2.5 Bar 3.0 Baz 3.1 58
60. Всегда мечтал решать NP-полные проблемы! 60
61. Jar Hell Другой вариант – разложить разные версии библиотеки по разным пакетам (Maven Shade плагин) 61
62. Jar Hell Другой вариант – разложить разные версии библиотеки по разным пакетам (Maven Shade плагин) Не всегда работает из-за reflection. 62
63. Jigsaw Layers *
64. Jigsaw Layers * Третий вариант -- использовать механизм слоев (Layers) 64
65. Jigsaw Layers * Jigsaw layer: •  Локальная модульная система •  Внутри одного слоя запрещены split пакеты •  Разные модули с одинаковыми пакетами должны принадлежать разным слоям 65
66. Jigsaw Layers * * Картинка позаимствована из презентации Alex Buckley: Project Jigsaw Under the hood 66
67. Jigsaw Layers * •  Слои Jigsaw реализованы …через загрузчики классов. •  У каждого слоя по крайней мере один свой загрузчик (может быть несколько) •  Но при этом невозможно по построению нарушение classloader constraints! 67
68. Jigsaw Layers * •  Слои Jigsaw реализованы через загрузчики классов! •  У каждого слоя по крайней мере один свой загрузчик (может быть несколько) •  Но при этом невозможно по построению нарушение classloader constraints! 68
69. Jigsaw Layers * •  Слои Jigsaw реализованы через загрузчики классов! •  У каждого слоя по крайней мере один свой загрузчик (может быть несколько) •  Но при этом невозможно по построению нарушение classloader constraints! 69
70. Jigsaw Layers * •  Слои Jigsaw реализованы через загрузчики классов! •  У каждого слоя по крайней мере один свой загрузчик (может быть несколько) •  Но при этом невозможно по построению нарушение classloader constraints! 70
71. Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 71
72. Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Boot Layer 72
73. Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 Boot Layer 73
74. Layer 3 Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 Boot Layer 74
75. Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 75
76. Layer 3 Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 Boot Layer 76
77. Layer 3 Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 Boot Layer 77
78. Jigsaw Layers •  У каждого слоя есть родительский слой •  Модули дочернего слоя могут импортировать модули родительского слоя •  Но модули родительского слоя не могут импортировать модули дочернего! •  Именно поэтому не возможны нарушения classloaders constraints! 78
79. Jigsaw Layers •  У каждого слоя есть родительский слой •  Модули дочернего слоя могут импортировать модули родительского слоя •  Но модули родительского слоя не могут импортировать модули дочернего! •  Именно поэтому не возможны нарушения classloaders constraints! 79
80. Jigsaw Layers •  У каждого слоя есть родительский слой •  Модули дочернего слоя могут импортировать модули родительского слоя •  Но модули родительского слоя не могут импортировать модули дочернего! •  Именно поэтому не возможны нарушения classloaders constraints! 80
81. Jigsaw Layers •  У каждого слоя есть родительский слой •  Модули дочернего слоя могут импортировать модули родительского слоя •  Но модули родительского слоя не могут импортировать модули дочернего! •  Именно поэтому невозможны нарушения classloaders constraints! 81
82. Layer 3 Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 Boot Layer A A 82
83. Layer 3 Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 A A Boot Layer 83
84. Layer 3 Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 A A Boot Layer 84
85. Layer 3 Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 A A Boot Layer Я живу на одном Ну а ты на другом На высоком берегу на крутом 85
86. Jigsaw Layers Вопрос: если модули основного приложения не могут импортировать модули дочерних слоев, как тогда использовать их функциональность? 86
88. Jigsaw Layers Вопрос: если модули основного приложения не могут импортировать модули дочерних слоев, как тогда использовать их функциональность? Ответ: Использовать шаблон IoC через Jigsaw Services: cлои могут предоставлять сервисы в модули родительского слоя 88
89. Jigsaw Layers Вопрос: если модули основного приложения не могут импортировать модули дочерних слоев, как тогда использовать их функциональность? Ответ: Использовать шаблон IoC через Jigsaw Services: cлои могут предоставлять сервисы в модули родительского слоя 89
90. Jigsaw Layers Вопрос: если модули основного приложения не могут импортировать модули дочерних слоев, как тогда использовать их функциональность? Ответ: Использовать шаблон IoC через Jigsaw Services: cлои могут предоставлять сервисы в модули родительского слоя 90
91. Layer 3 Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 Boot Layer 91
92. Layer 3 Jigsaw Layers Jar Hell Resolution App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 Layer 2 App Service Provider 1 App Service Provider 2 Boot Layer 92
94. Как использовать var finder = ModuleFinder.of(Paths.get(“MyLayer”)); var parent = ModuleLayer.boot(); Configuration cf = parent.configuration().resolve( finder, ModuleFinder.of(), Set.of(“myRootMod")); ModuleLayer myL = parent.defineModulesWithOneLoader( cf, ClassLoader.getSystemClassLoader()); 94
95. Как использовать var finder = ModuleFinder.of(Paths.get(“MyLayer”)); var parent = ModuleLayer.boot(); Configuration cf = parent.configuration().resolve( finder, ModuleFinder.of(), Set.of(“myRootMod")); ModuleLayer myL = parent.defineModulesWithOneLoader( cf, ClassLoader.getSystemClassLoader()); 95
96. Как использовать var finder = ModuleFinder.of(Paths.get(“MyLayer”)); var parent = ModuleLayer.boot(); Configuration cf = parent.configuration().resolve( finder, ModuleFinder.of(), Set.of(“myRootMod")); ModuleLayer myL = parent.defineModulesWithOneLoader( cf, ClassLoader.getSystemClassLoader()); 96
97. Как использовать var finder = ModuleFinder.of(Paths.get(“MyLayer”)); var parent = ModuleLayer.boot(); Configuration cf = parent.configuration().resolve( finder, ModuleFinder.of(), Set.of(“myRootMod")); ModuleLayer myL = parent.defineModulesWithOneLoader( cf, ClassLoader.getSystemClassLoader()); 97
98. Как использовать var finder = ModuleFinder.of(Paths.get(“MyLayer”)); var parent = ModuleLayer.boot(); Configuration cf = parent.configuration().resolve( finder, ModuleFinder.of(), Set.of(“myRootMod")); ModuleLayer myL = parent.defineModulesWithOneLoader( cf, ClassLoader.getSystemClassLoader()); var services = ServiceLoader.load(myL, MySrv.class); 98
99. Демо https://github.com/pjBooms/Jigsaw-Layers- Example 99
100. Где еще могут пригодиться слои Проблема: стандарт servlet контейнеров не знает пока про модули –  Зависимости в war файлах – это по сути тот же самый classpath! Решение: можно форкнуть ваш любимый app server, добавив модульный слой в его загрузчик приложений –  пример: 100
101. Где еще могут пригодиться слои Проблема: стандарт servlet контейнеров не знает пока про модули –  Зависимости в war файлах – это по сути тот же самый classpath! Решение: можно форкнуть ваш любимый app server, добавив модульный слой в его загрузчик приложений –  пример: https://github.com/pjBooms/tomcat 101
102. Tomcat •  В classpath лежит bootstrap.jar •  Сам Томкат грузится отдельным загрузчиком (org.apache.catalina.startup.ClassLoaderFactory) •  Каждое веб-приложение грузится своим загрузчиком (org.apache.catalina.loader.WebappClassLoaderBase) 102
103. Tomcat •  У каждого загрузчика есть свой Unnamed модуль •  Если не предпринимать специальных усилий, то классы загружаемые загрузчиком попадут в Unnamed модуль – даже если они формально лежат в именованном модуле 103
104. Modular War Example Пример (https://github.com/pjBooms/modular-war-example): –  2 модуля: helloworld-provider, helloworld-web-app –  helloworld-web-app выводит на страницу имена модулей, загруженных классов: "<H3>HelloServlet module: " + HelloServlet.class.getModule().getName() + "</H3>\n" + "<H3>HelloWorldProvider module: " + HelloWorldProvider.class.getModule().getName() + "</H3>\n" + 104
105. Modular War Example Если пример запустить на обычном Томкате: 105
106. Modular War Example На модифицированном Томкате (https://github.com/pjBooms/tomcat): 106
107. Tomcat fork Модификация ClassLoaderFactory.createClassLoader: вместо return new URLClassLoader(array); создание модульного слоя: ModuleFinder finder = ModuleFinder.of(array); … ModuleLayer moduleLayer = parentLayer.defineModulesWithOneLoader(cf, parent); return moduleLayer.findLoader(moduleNames.get(0)); 107
108. Tomcat fork Модификация WebAppClassloaderBase.start() cоздается модульный слой: WebResource modules = resources.getResource("/WEB-INF/modules"); if (modules.exists()) { ModuleFinder finder = ModuleFinder.of(Paths.get(modules)); ModuleLayer parent = Catalina.class.getModule().getLayer(); … ModuleLayer moduleLayer = parent.defineModulesWithOneLoader(cf, getParent()); 108
109. Tomcat fork Модификация WebAppClassloaderBase.loadClass() слой используется для загрузки классов веб- приложения: if (moduleLayerLoader != null) { try { return moduleLayerLoader.loadClass(name); } catch (ClassNotFoundException e) { // Ignore } } 109
110. Jigsaw Mantra Reliable Configuration Strong Encapsulation 110
111. Как насчет Spring Boot? •  Классы Spring Boot executable Jar грузятся Spring Boot загрузчиком •  Этот загрузчик не знает про модули •  Соответственно у Spring Boot нет модулей в рантайме 111
112. Как насчет Spring Boot? •  Классы Spring Boot executable Jar грузятся Spring Boot загрузчиком •  Этот загрузчик не знает про модули •  Соответственно у Spring Boot нет модулей в рантайме 112
113. Как насчет Spring Boot? •  Классы Spring Boot executable Jar грузятся Spring Boot загрузчиком •  Этот загрузчик не знает про модули •  Соответственно у Spring Boot нет модулей в рантайме 113
114. Как насчет Spring Boot? •  Классы Spring Boot executable Jar грузятся Spring Boot загрузчиком •  Этот загрузчик не знает про модули •  Соответственно у Spring Boot нет модулей в рантайме 114
115. Как насчет Spring Boot? Хорошая новость: Spring Boot приложения можно запускать без Spring Boot загрузчика – сложив все его зависимости в classpath 115
116. Как насчет Spring Boot? Хорошая новость: Spring Boot приложения можно запускать без Spring Boot загрузчика – сложив все его зависимости в classpath Соответственно их можно модуляризировать, используя стандартный способ! 116
117. Как насчет Spring Boot? Упражнение: добавить модульный слой в Spring Boot загрузчик. 117
118. Заключение Версии для модулей кажутся хорошей идеей, но на деле с ними много проблем: – обратная совместимость – небезопасность (classloaders constraints) – NP-полнота на разрешение зависимостей 118
119. Заключение Jigsaw Layers позволяют решать проблему Jar Hell безопасно: – невозможно нарушение classloaders constraints по построению – Jigsaw services помогают использовать функциональность реализованную в дочернем слое из родительского 119
120. Заключение Знание про слои вам могут помочь в модуляризации, в том числе серверных приложений 120
121. Никита Липский, Excelsior nlipsky@excelsior-usa.com twitter: @pjBooms Team blog: https://www.excelsiorjet.com/blog 121