JUGNsk Meetup #3. Никита Липский: "Спасение от Jar Hell с помощью Jigsaw Layers"

Модульную систему Java aka JPMS или Jigsaw часто критикуют из-за отсутствия версионирования, которое в других модульных системах призвано решать проблему Jar Hell. К счастью, в Jigsaw продумали способ борьбы с конфликтами при помощи так называемых слоев Jigsaw (Jigsaw Layers). В этом докладе мы разберемся, какие проблемы могли бы возникнуть, если бы в Jigsaw были явные версии для модулей, и как слои Jigsaw вместе с Jigsaw сервисами помогают решать проблему Jar Hell безопасно

Transcript

1. Спасение от Jar Hell с помощью слоев Jigsaw Никита Липский Excelsior LLC
2. Jigsaw и версионирование 2
3. Про себя ? •  Инициатор проекта Excelsior JET –  работал над проектом более 18 лет –  как идейный вдохновитель –  компиляторный инженер –  руководитель –  и много в каких еще ролях •  twitter: @pjBooms •  team blog: https://www.excelsiorjet.com/blog 3
4. План доклада •  Очень краткое введение в Jigsaw •  Проблема Jar Hell •  Версионирование как способ решить Jar Hell •  Проблемы связанные с версионированием •  Jigsaw Layers •  Как решать Jar Hell с помощью Jigsaw Layers •  Демо 4
5. Модульная система OSGi 5
6. Пример модуля // src/java.sql/module-info.java module java.sql { requires transitive java.logging; requires transitive java.xml; exports java.sql; exports javax.sql; exports javax.transaction.xa; uses java.sql.Driver; } 6
7. Модульная система Jigsaw Jigsaw модуль •  импортирует: –  модули: requires –  сервисы: uses •  экспортирует: –  пакеты: exports –  сервисы: provides SomeService with ServiceImpl 7
8. Модульная система Jigsaw 8 Module A Class A Module B Class B Module C Class C exports packageC; requires: A exports packageA; I requires A; requires C;
9. Jar Hell
10. Jar/Classpath Hell App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 10
11. Jar/Classpath Hell App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 11
12. Jar/Classpath Hell App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 12
13. Jar/Classpath Hell App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 13
14. Jar/Classpath Hell App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 14
15. Jar/Classpath Hell App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 15
16. Версионирование •  Для решения проблемы JAR hell в первых драфтах Jigsaw модуль мог иметь версию – соответственно импорт/экспорт квалифицировался версией – если два модуля требовали библиотеку разных версий, грузились обе версии библиотеки 16
17. Версионирование Но потом от версионирования в Jigsaw отказались … 17
18. Версионирование Но потом от версионирования в Jigsaw отказались … Почему? 18
19. Версионирование Вопрос: Как реализовать версионирование? Задача: Имеем модуль A, использующий библиотеку Lib (v1), и модуль B, использующий Lib (v2). Требуется, чтобы обе версии Lib работали и не конфликтовали. Решение: грузить обе версии библиотеки разными загрузчиками классов. 19
20. Версионирование Вопрос: Как реализовать версионирование? Задача: Имеем модуль A, использующий библиотеку Lib (v1), и модуль B, использующий Lib (v2). Требуется, чтобы обе версии Lib работали и не конфликтовали. Решение: грузить обе версии библиотеки разными загрузчиками классов. 20
21. Версионирование Вопрос: Как реализовать версионирование? Задача: Имеем модуль A, использующий библиотеку Lib (v1), и модуль B, использующий Lib (v2). Требуется, чтобы обе версии Lib работали и не конфликтовали. Решение: грузить обе версии библиотеки разными загрузчиками классов. 21
22. Версионирование •  ClassLoader образует уникальное пространство имен классов •  Если каждый модуль грузить своим загрузчиком классов, то нет конфликтов с классами других модулей 22
23. Версионирование 23 com.foo App 1.0 com.foo parse-api 2.0 com.foo persist-api 3.0 org.apache commons 2.1 org.apache commons 3.1 CL1 CL2 CL3 CL4 CL5 Разные версии apache commons могут одновременно жить в JVM
24. Проблемы с версионированием
25. Версионирование Версионирование означает: 1 модуль ßà 1 загрузчик классов 25
26. Версионирование Версионирование означает: 1 модуль ßà 1 загрузчик классов И в первых версиях Jigsaw так и было! 26
27. Jigsaw и загрузчики Jigsaw – это не только модули, но и разбиение Java платформы на модули. 27
28. Jigsaw и загрузчики Проблемы обратной совместимости: По спецификации getClassloader() == null для всех классов платформы. Что противоречит разбиению платформы на модули, где каждый модуль грузится своим загрузчиком 28
29. Jigsaw и загрузчики Проблемы обратной совместимости: По спецификации getClassloader() == null для всех классов платформы. Что противоречит разбиению платформы на модули, где каждый модуль грузится своим загрузчиком 29
30. Jigsaw и загрузчики Проблемы обратной совместимости: Даже то, что классы вашего предложения будут грузится многими загрузчиками может вызывать проблемы Ф 30
31. Jigsaw и загрузчики Проблемы обратной совместимости: И даже то, что Application Classloader перестал наследовать URLClassloader уже вызывает проблемы Ф 31
33. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 33
34. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 34
35. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A 35
36. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A A 36
37. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A A 37
38. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A A 38
39. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A A 39
40. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A A Я - “A”! 40
41. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 A A Я - “A”! Нет, это я “A”! 41
42. Версионирование? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 AAAAA! AAAAA! A A 42
44. Loading constraints •  Loading constraints запрещают двум разным классам с одинаковыми именами (fully qualified) появиться в области видимости одного класса 44
45. Loading constraints B.java: class B { T1 f1 = A.f; int f2 = A.m(t2); } A.java: class A { static T1 f; static int m(T2 t) Если B грузится загрузчиком L1, а A грузится L2, то JVM проверит, что (T1, L1) = (T1, L2) и (T2, L1) = (T2, L2) == 45
46. Версионирование? •  При нарушении loading constraints, JVM кидает java.lang.LinkageError 46
47. Версионирование Еще деталь: импорт в ранних версиях Jigsaw специфицировался не просто версией, а диапазоном версий: –  Модуль мог декларировать, что может работать с зависимостями версий от и до 47
48. Версионирование // src/module-info.java module my.module@1.0 { //1.2.3.1 <= lib.module version < 4.0 requires lib.module@1.[2.3.1+];2*;3*; } 48
49. Версионирование Оказалось, что разрешение зависимостей (wiring модулей) от диапазонов версий – это NP полная проблема! –  Сводится к 3-SAT 49
50. Версионирование … после чего версионирование в модульной системе Java приказало долго жить. 50
51. Версионирование … после чего версионирование в модульной системе Java приказало долго жить. Нет версионирования – не нужны загрузчики классов для модулей. 51
52. Jar Hell Но как же тогда решать проблему Jar Hell? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 52
53. Jar Hell Такая ситуация в Jigsaw запрещена App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 53
54. Jar Hell Stop! Но ведь в Jigsaw нет версий! App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 54
55. Jar Hell Stop! Но ведь в Jigsaw нет версий! У двух версий одной и той же библиотеки скорей всего есть одинаковые пакеты 55
56. Jar Hell Stop! Но ведь в Jigsaw нет версий! У двух версий одной и той же библиотеки скорей всего есть одинаковые пакеты Jigsaw запрещает двум модулям иметь одинаковые пакеты (split packages) 56
57. Jar Hell Но как же все таки решать проблему Jar Hell? App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 57
58. Jar Hell Один из вариантов решения: App 1.0 Foo 2.5 Bar 3.0 Baz 3.1 58
59. Jar Hell Другой вариант – разложить разные версии библиотеки по разным пакетам (Maven Shade плагин)
60. Jar Hell Другой вариант – разложить разные версии библиотеки по разным пакетам (Maven Shade плагин) Не всегда работает из-за reflection.
61. Jigsaw Layers
62. Jigsaw Layers * Третий вариант -- использовать механизм слоев (Layers) 62
63. Jigsaw Layers * Jigsaw layer: •  Локальная модульная система •  Внутри одного слоя запрещены split пакеты •  Разные модули с одинаковыми пакетами должны принадлежать разным слоям 63
64. Jigsaw Layers * * Картинка позаимствована из презентации Alex Buckley: Project Jigsaw Under the hood 64
65. Jigsaw Layers * •  Слои Jigsaw реализованы …через загрузчики классов. •  У каждого слоя по крайней мере один свой загрузчик (может быть несколько) •  Но при этом невозможно по построению нарушение classloader constraints!
66. Jigsaw Layers * •  Слои Jigsaw реализованы через загрузчики классов! •  У каждого слоя по крайней мере один свой загрузчик (может быть несколько) •  Но при этом невозможно по построению нарушение classloader constraints!
67. Jigsaw Layers * •  Слои Jigsaw реализованы через загрузчики классов! •  У каждого слоя по крайней мере один свой загрузчик (может быть несколько) •  Но при этом невозможно по построению нарушение classloader constraints!
68. Jigsaw Layers * •  Слои Jigsaw реализованы через загрузчики классов! •  У каждого слоя по крайней мере один свой загрузчик (может быть несколько) •  Но при этом невозможно по построению нарушение classloader constraints!
69. Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 69
70. Jigsaw Layers Jar Hell Resolution 70 App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Boot Layer
71. Jigsaw Layers Jar Hell Resolution 71 App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 Boot Layer
72. Layer 3 Jigsaw Layers Jar Hell Resolution 72 App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 Boot Layer
73. Jigsaw Layers Jar Hell Resolution App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 73
74. Layer 3 Jigsaw Layers Jar Hell Resolution 74 App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 Boot Layer
75. Layer 3 Jigsaw Layers Jar Hell Resolution 75 App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 Boot Layer
76. Jigsaw Layers •  У каждого слоя есть родительский слой •  Модули дочернего слоя могут импортировать модули родительского слоя •  Но модули родительского слоя не могут импортировать модули дочернего! •  Именно поэтому не возможны нарушения classloaders constraints!
77. Jigsaw Layers •  У каждого слоя есть родительский слой •  Модули дочернего слоя могут импортировать модули родительского слоя •  Но модули родительского слоя не могут импортировать модули дочернего! •  Именно поэтому не возможны нарушения classloaders constraints!
78. Jigsaw Layers •  У каждого слоя есть родительский слой •  Модули дочернего слоя могут импортировать модули родительского слоя •  Но модули родительского слоя не могут импортировать модули дочернего! •  Именно поэтому не возможны нарушения classloaders constraints!
79. Jigsaw Layers •  У каждого слоя есть родительский слой •  Модули дочернего слоя могут импортировать модули родительского слоя •  Но модули родительского слоя не могут импортировать модули дочернего! •  Именно поэтому невозможны нарушения classloaders constraints!
80. Layer 3 Jigsaw Layers Jar Hell Resolution 80 App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 Boot Layer A A
81. Layer 3 Jigsaw Layers Jar Hell Resolution 81 App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 A A Boot Layer
82. Layer 3 Jigsaw Layers Jar Hell Resolution 82 App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 A A Boot Layer
83. Layer 3 Jigsaw Layers Jar Hell Resolution 83 App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 A A Boot Layer Я живу на одном Ну а ты на другом На высоком берегу на крутом
84. Jigsaw Layers Вопрос: если модули основного приложения не могут импортировать модули дочерних слоев, как тогда использовать их функциональность?
86. Jigsaw Layers Вопрос: если модули основного приложения не могут импортировать модули дочерних слоев, как тогда использовать их функциональность? Ответ: Использовать шаблон IoC через Jigsaw Services: cлои могут предоставлять сервисы в модули родительского слоя
87. Jigsaw Layers Вопрос: если модули основного приложения не могут импортировать модули дочерних слоев, как тогда использовать их функциональность? Ответ: Использовать шаблон IoC через Jigsaw Services: cлои могут предоставлять сервисы в модули родительского слоя
88. Jigsaw Layers Вопрос: если модули основного приложения не могут импортировать модули дочерних слоев, как тогда использовать их функциональность? Ответ: Использовать шаблон IoC через Jigsaw Services: cлои могут предоставлять сервисы в модули родительского слоя
89. Layer 3 Jigsaw Layers Jar Hell Resolution 89 App 1.0 Library Foo 2.0 Library Bar 3.0 Library Baz 2.1 Library Baz 3.1 Layer 2 Boot Layer
90. Layer 3 Jigsaw Layers Jar Hell Resolution 90 App 1.0 Foo 2.0 Bar 3.0 Baz 2.1 Baz 3.1 Layer 2 App Service Provider 1 App Service Provider 2 Boot Layer
92. Как использовать var finder = ModuleFinder.of(Paths.get(“MyLayer”)); var parent = ModuleLayer.boot(); Configuration cf = parent.configuration().resolve( finder, ModuleFinder.of(), Set.of(“myRootMod")); ModuleLayer myL = parent.defineModulesWithOneLoader( cf, ClassLoader.getSystemClassLoader());
93. Как использовать var finder = ModuleFinder.of(Paths.get(“MyLayer”)); var parent = ModuleLayer.boot(); Configuration cf = parent.configuration().resolve( finder, ModuleFinder.of(), Set.of(“myRootMod")); ModuleLayer myL = parent.defineModulesWithOneLoader( cf, ClassLoader.getSystemClassLoader());
94. Как использовать var finder = ModuleFinder.of(Paths.get(“MyLayer”)); var parent = ModuleLayer.boot(); Configuration cf = parent.configuration().resolve( finder, ModuleFinder.of(), Set.of(“myRootMod")); ModuleLayer myL = parent.defineModulesWithOneLoader( cf, ClassLoader.getSystemClassLoader());
95. Как использовать var finder = ModuleFinder.of(Paths.get(“MyLayer”)); var parent = ModuleLayer.boot(); Configuration cf = parent.configuration().resolve( finder, ModuleFinder.of(), Set.of(“myRootMod")); ModuleLayer myL = parent.defineModulesWithOneLoader( cf, ClassLoader.getSystemClassLoader());
96. Как использовать var finder = ModuleFinder.of(Paths.get(“MyLayer”)); var parent = ModuleLayer.boot(); Configuration cf = parent.configuration().resolve( finder, ModuleFinder.of(), Set.of(“myRootMod")); ModuleLayer myL = parent.defineModulesWithOneLoader( cf, ClassLoader.getSystemClassLoader()); var services = ServiceLoader.load(myL, MySrv.class);
97. Демо https://github.com/pjBooms/Jigsaw-Layers- Example
98. Где еще могут пригодиться слои Проблема: стандарт servlet контейнеров не знает пока про модули –  Зависимости в war файлах – это по сути тот же самый classpath! Решение: можно форкнуть ваш любимый app server, добавив модульный слой в его загрузчик приложений –  пример:
99. Где еще могут пригодиться слои Проблема: стандарт servlet контейнеров не знает пока про модули –  Зависимости в war файлах – это по сути тот же самый classpath! Решение: можно форкнуть ваш любимый app server, добавив модульный слой в его загрузчик приложений –  пример: https://github.com/pjBooms/tomcat
100. Заключение Версии для модулей кажутся хорошей идеей, но на деле с ними много проблем: – обратная совместимость – небезопасность (classloaders constraints) – NP-полнота на разрешение зависимостей
101. Заключение Jigsaw Layers позволяют решать проблему Jar Hell безопасно: – невозможно нарушение classloaders constraints по построению – Jigsaw services помогают использовать функциональность реализованную в дочернем слое из родительского
102. Никита Липский, Excelsior nlipsky@excelsior-usa.com twitter: @pjBooms Team blog: https://www.excelsiorjet.com/blog 102