JUGNsk Meetup #2. Григорий Кошелев: "Интеграция виртуальных машин .NET и Java"

Микросервисы дали отличную возможность в создании мультистековой архитектуры в рамках одного проекта, когда разработчикам на отличных от Java языках стали доступны крутые библиотеки и инструменты, создаваемые джавистами на протяжении вот уже более двух десятков лет. Попробуем разобраться, какова цена такой возможности.

И продолжим экспериментировать с интеграцией виртуальных машин. Зачем и как мы это делаем, с какими сложностями сталкиваемся и как их решаем — всё это в первом докладе встречи.

Transcript

1. ИНТЕГРАЦИЯ ВИРТУАЛЬНЫХ МАШИН .NET И JAVA JUG Nsk, Meetup #2 Григорий Кошелев Новосибирск, 21 июня 2018
2. О чѐм поговорим 2
3. • Микросервисы О чѐм поговорим 2
4. • Микросервисы • .NET и Java О чѐм поговорим 2
5. • Микросервисы • .NET и Java • С++, нативный код и прочие «кишки» О чѐм поговорим 2
6. План (крупно) 3
7. • Задачи План (крупно) 3
8. • Задачи • Радикальные способы решения План (крупно) 3
9. • Задачи • Радикальные способы решения • Интеграция: Акт I (микросервисы) План (крупно) 3
10. • Задачи • Радикальные способы решения • Интеграция: Акт I (микросервисы) • Интеграция: Акт II (Java Inside) План (крупно) 3
11. • Задачи • Радикальные способы решения • Интеграция: Акт I (микросервисы) • Интеграция: Акт II (Java Inside) • Интеграция: Акт III (Deep Integration) План (крупно) 3
12. • Задачи • Радикальные способы решения • Интеграция: Акт I (микросервисы) • Интеграция: Акт II (Java Inside) • Интеграция: Акт III (Deep Integration) • Планы на будущее План (крупно) 3
13. Дисклеймер 4
14. • СКБ Контур: 85% стека – .NET Дисклеймер 4
15. • СКБ Контур: 85% стека – .NET Дисклеймер 4
16. • СКБ Контур: 85% стека – .NET • Докладчик: 85% стека – Java Дисклеймер 4
17. • СКБ Контур: 85% стека – .NET • Докладчик: 85% стека – Java Дисклеймер 4
18. • СКБ Контур: 85% стека – .NET • Докладчик: 85% стека – Java Дисклеймер 4 ПОЕХАЛИ?
19. Задачи 5
20. Задача №1 6
21. Много XML Задача №1 6
22. Задача №1 6
23. Очень много XML Задача №1 6
24. Очень много XML И всѐ это надо конвертировать в PDF Задача №1 6
25. Очень много XML И всѐ это надо конвертировать в PDF Решение: Apache FOP (XSL-FO + XML -> PDF) Задача №1 6
26. Apache FOP 7
27. • Начало разработки – неизвестно Apache FOP 7
28. • Начало разработки – неизвестно • Передана в ASF в 1999 году Apache FOP 7
29. • Начало разработки – неизвестно • Передана в ASF в 1999 году • Apache FOP 1.0 – 01.07.2011 • Apache FOP 1.1 – 16.10.2012 • Apache FOP 2.0 – 02.06.2015 • Apache FOP 2.1 – 15.01.2016 • Apache FOP 2.2 – 10.04.2017 Apache FOP 7
30. Задача №2 8
31. Много ЭП Задача №2 8
32. Задача №2 8
33. Очень много ЭП Задача №2 8
34. Очень много ЭП И всѐ это надо разбирать / проверять Задача №2 8
35. Очень много ЭП И всѐ это надо разбирать / проверять Решение: Bouncy Castle Задача №2 8
36. Bouncy Castle 9 Версия Первый релиз Актуальный Java 1.59 xx.05.2000 18.08.2017 09.01.2018 C# 1.8.1 13.10.2003 22.11.2015 28.12.2015
37. Задача №3 10
38. • Интеграция с Альфа-банком Задача №3 10
39. • Интеграция с Альфа-банком • Java SDK Задача №3 10
40. Радикальные способы решения 11
41. Радикальные способы 12
42. • Выучить Java и писать всѐ на ней Радикальные способы 12
43. • Выучить Java и писать всѐ на ней Радикальные способы 12
44. • Выучить Java и писать всѐ на ней Радикальные способы 13
45. • Выучить Java и писать всѐ на ней • Переписать всѐ на C# Радикальные способы 13
46. • Выучить Java и писать всѐ на ней • Переписать всѐ на C# Радикальные способы 14
47. • Выучить Java и писать всѐ на ней • Переписать всѐ на C# • Сконвертировать код какой-нибудь тулзой, а потом яростно допиливать Радикальные способы 14
48. Конвертация кода Java -> C# 15
49. • Where can I find a Java to C# converter? (StackOverflow, 2009) Конвертация кода Java -> C# 15
50. • Where can I find a Java to C# converter? (StackOverflow, 2009) Конвертация кода Java -> C# 15
51. • Convert Java to C# with a tool, or manually? (StackOverflow, 2011) Конвертация кода Java -> C# 16
52. • Convert Java to C# with a tool, or manually? (StackOverflow, 2011) Конвертация кода Java -> C# 16
53. • Выучить Java и писать всѐ на ней • Переписать всѐ на C# • Сконвертировать код какой-нибудь тулзой, а потом яростно допиливать Радикальные способы 17
54. • Выучить Java и писать всѐ на ней • Переписать всѐ на C# • Сконвертировать код какой-нибудь тулзой, а потом яростно допиливать • Использовать кросс-компиляцию байткода Радикальные способы 17
55. Кросс-компиляция байткода 18
56. • IKVM.NET (https://www.ikvm.net/) Кросс-компиляция байткода 18
57. • IKVM.NET (https://www.ikvm.net/) • Реализация JVM под .NET • Реализация библиотеки классов Java в .NET • Транслятор байткода (jar -> dll) Кросс-компиляция байткода 18
58. • IKVM.NET (https://www.ikvm.net/) • Реализация JVM под .NET • Реализация библиотеки классов Java в .NET • Транслятор байткода (jar -> dll) • IKVM 8.1 – 26.08.2015 • https://www.nuget.org/packages/IKVM/ Кросс-компиляция байткода 18
59. • IKVM.NET (https://www.ikvm.net/) • Реализация JVM под .NET • Реализация библиотеки классов Java в .NET • Транслятор байткода (jar -> dll) • IKVM 8.1 – 26.08.2015 • https://www.nuget.org/packages/IKVM/ • The End of IKVM.NET (21.04.2017) Кросс-компиляция байткода 18
60. Кросс-компиляция байткода 19
61. • Удачный опыт: конвертация Java-клиента для ZooKeeper и обѐртки Curator; используется в продакшене Кросс-компиляция байткода 19
62. • Удачный опыт: конвертация Java-клиента для ZooKeeper и обѐртки Curator; используется в продакшене • Неудачный опыт: конвертация Apache FOP; стало работать в 2 раза медленнее, выкинули Кросс-компиляция байткода 19
63. • Выучить Java и писать всѐ на ней • Переписать всѐ на C# • Сконвертировать код какой-нибудь тулзой, а потом яростно допиливать • Использовать кросс-компиляцию байткода Радикальные способы 20
64. • Выучить Java и писать всѐ на ней • Переписать всѐ на C# • Сконвертировать код какой-нибудь тулзой, а потом яростно допиливать • Использовать кросс-компиляцию байткода Это всѐ разовые операции! Радикальные способы 20
65. Радикальные способы: вывод 21
66. Не работают Радикальные способы: вывод 21
67. Интеграция: Акт I 22
68. Java <-> .NET 23
69. • Микросервисы же! Java <-> .NET 23
70. • Микросервисы же! Java <-> .NET 23
71. • Микросервисы же! • Транспорт? Формат? Java <-> .NET 23
72. Модельный пример 24
73. Модельный пример • Получение строки с хэшем по заданному алгоритму для заданного массива байтов 24
74. Модельный пример • Получение строки с хэшем по заданному алгоритму для заданного массива байтов • Пример: SHA-512, (byte)'a' 24
75. Модельный пример • Получение строки с хэшем по заданному алгоритму для заданного массива байтов • Пример: SHA-512, (byte)'a' "1F40FC92DA241694750979EE6CF582F2D5D7D28E18 335DE05ABC54D0560E0F5302860C652BF08D560252A A5E74210546F369FBBBCE8C12CFC7957B2652FE9A75 " 24
76. Тестирование • Intel Core i7-4710MQ, 2.5 ГГц • 12 ГБ ОЗУ • Windows 7 Professional x64 • Java 8 (1.8.0_161) • .NET 4.6.1 25
77. Инструменты для бенчмарков • JMH 1.20 • BenchmarkDotNet 0.10.13 26
78. Результаты бенчмарка • Алгоритм SHA-512 • Переменная длина массива байтов 27
79. Результаты бенчмарка • Алгоритм SHA-512 • Переменная длина массива байтов 28 5 000 50 000 500 000 plain java 24,41 ± 0,365 мкс 230,87 ± 2,613 мкс 2 339,28 ± 49,665 мкс
80. Java HTTP REST JSON сервис C# КЛИЕНТ JVM HTTP REST JSON сервис 29
81. Java HTTP REST JSON сервис C# КЛИЕНТ JVM HTTP REST JSON сервис 29 HttpClient DataContractJsonSerializer
82. Java HTTP REST JSON сервис C# КЛИЕНТ JVM HTTP REST JSON сервис 29 Spring Boot 2.0.0.RELEASE
83. Результаты бенчмарка • Алгоритм SHA-512 • Переменная длина массива байтов 30 5 000 50 000 500 000 plain java 24,41 ± 0,365 мкс 230,87 ± 2,613 мкс 2 339,28 ± 49,665 мкс JSON ? ? ?
84. Результаты бенчмарка • Алгоритм SHA-512 • Переменная длина массива байтов 31 5 000 50 000 500 000 plain java 24,41 ± 0,365 мкс 230,87 ± 2,613 мкс 2 339,28 ± 49,665 мкс JSON 1,380 ± 0,040 мс 10,177 ± 0,117 мс 98,441 ± 1,820 мс
85. gRPC 32
86. • Библиотека для удалѐнного вызова процедур gRPC 32
87. • Библиотека для удалѐнного вызова процедур • Поддерживаются: C/C++, Node.js, Python, Ruby, Objective-C, PHP, C# и Java gRPC 32
88. • Библиотека для удалѐнного вызова процедур • Поддерживаются: C/C++, Node.js, Python, Ruby, Objective-C, PHP, C# и Java • Первый публичный релиз – 26.02.2015 • gRPC 1.0.0 – 19.08.2016 • gRPC 1.10.0 – 01.03.2018 • gRPC 1.12.0 – 09.05.2018 gRPC 32
89. gRPC изнутри 33
90. • Protobuf 3 – описание типов данных и сериализация gRPC изнутри 33
91. • Protobuf 3 – описание типов данных и сериализация • HTTP/2 в качестве транспорта gRPC изнутри 33
92. • Protobuf 3 – описание типов данных и сериализация • HTTP/2 в качестве транспорта • Кодогенерация плагином для Protobuf gRPC изнутри 33
93. Java gRPC сервис C# КЛИЕНТ JVM Java сервер protobuf protobuf 34
94. Результаты бенчмарка • Алгоритм SHA-512 • Переменная длина массива байтов 35 5 000 50 000 500 000 plain java 24,41 ± 0,365 мкс 230,87 ± 2,613 мкс 2 339,28 ± 49,665 мкс gRPC ? ? ? JSON 1,380 ± 0,040 мс 10,177 ± 0,117 мс 98,441 ± 1,820 мс
95. Результаты бенчмарка • Алгоритм SHA-512 • Переменная длина массива байтов 36 5 000 50 000 500 000 plain java 24,41 ± 0,365 мкс 230,87 ± 2,613 мкс 2 339,28 ± 49,665 мкс gRPC 155,9 ± 2,463 мкс 495,4 ± 7,676 мкс 5 417,8 ± 526,193 мкс JSON 1,380 ± 0,040 мс 10,177 ± 0,117 мс 98,441 ± 1,820 мс
96. Лог бенчмарка 37 № итерации мс / оп 1 4,1672 2 4,1738 … … 10 4,2284 11 8,8731 12 4,2938 13 6,5047 14 6,5204 15 4,5225
97. Интеграция: Акт II 38
98. JVM внутри .NET-процесса .NET процесс C# КЛИЕНТ JVM Java сервер protobuf protobuf 39
99. Мотивация 40
100. Мотивация • Инфраструктурные ограничения 40
101. Мотивация • Инфраструктурные ограничения • Перспектива снижения издержек на передачу данных 40
102. Java Native Interface 41
103. • Появился в 1.1 Java Native Interface 41
104. • Появился в 1.1 • Позволяет вызывать нативный код из Java Java Native Interface 41
105. • Появился в 1.1 • Позволяет вызывать нативный код из Java • Но это не всѐ! Есть Invocation API Java Native Interface 41
106. • Появился в 1.1 • Позволяет вызывать нативный код из Java • Но это не всѐ! Есть Invocation API • Позволяет управлять JVM из нативного кода Java Native Interface 41
107. Java Native Interface JavaVM *jvm; JNIEnv *env; JavaVMInitArgs args; JavaVMOption* options = new JavaVMOption[1]; options[0].optionString = params; args.nOptions = 1; args.options = options; args.version = JNI_VERSION_1_6; args.ignoreUnrecognized = 0; int result = JNI_CreateJavaVM(&jvm, (void**)&env, &args); 42
108. Java Native Interface JavaVM *jvm; JNIEnv *env; JavaVMInitArgs args; JavaVMOption* options = new JavaVMOption[1]; options[0].optionString = params; args.nOptions = 1; args.options = options; args.version = JNI_VERSION_1_6; args.ignoreUnrecognized = 0; int result = JNI_CreateJavaVM(&jvm, (void**)&env, &args); 42 Осторожно! C++
109. Java Native Interface JavaVM *jvm; JNIEnv *env; JavaVMInitArgs args; JavaVMOption* options = new JavaVMOption[1]; options[0].optionString = params; args.nOptions = 1; args.options = options; args.version = JNI_VERSION_1_6; args.ignoreUnrecognized = 0; int result = JNI_CreateJavaVM(&jvm, (void**)&env, &args); 42 Осторожно! C++
110. Java Native Interface JavaVM *jvm; JNIEnv *env; JavaVMInitArgs args; JavaVMOption* options = new JavaVMOption[1]; options[0].optionString = params; args.nOptions = 1; args.options = options; args.version = JNI_VERSION_1_6; args.ignoreUnrecognized = 0; int result = JNI_CreateJavaVM(&jvm, (void**)&env, &args); 42 Осторожно! C++
111. Java Native Interface JavaVM *jvm; JNIEnv *env; JavaVMInitArgs args; JavaVMOption* options = new JavaVMOption[1]; options[0].optionString = params; args.nOptions = 1; args.options = options; args.version = JNI_VERSION_1_6; args.ignoreUnrecognized = 0; int result = JNI_CreateJavaVM(&jvm, (void**)&env, &args); 42 Осторожно! C++
112. package ru.kontur; public class Program { public static int doSmth(int x, String str) { return 0; } } Java Native Interface jclass programClass = env->FindClass("ru/kontur/Program"); jmethodID doSmthMethod = env->GetStaticMethodID(programClass, "doSmth", "(ILjava/lang/String;)I"); jint intParam = …; jstring stringParam = …; jint result = env->CallStaticIntMethod(programClass, doSmthMethod, intParam, stringParam); 43
113. package ru.kontur; public class Program { public static int doSmth(int x, String str) { return 0; } } Java Native Interface jclass programClass = env->FindClass("ru/kontur/Program"); jmethodID doSmthMethod = env->GetStaticMethodID(programClass, "doSmth", "(ILjava/lang/String;)I"); jint intParam = …; jstring stringParam = …; jint result = env->CallStaticIntMethod(programClass, doSmthMethod, intParam, stringParam); 43 Осторожно! C++
114. package ru.kontur; public class Program { public static int doSmth(int x, String str) { return 0; } } Java Native Interface jclass programClass = env->FindClass("ru/kontur/Program"); jmethodID doSmthMethod = env->GetStaticMethodID(programClass, "doSmth", "(ILjava/lang/String;)I"); jint intParam = …; jstring stringParam = …; jint result = env->CallStaticIntMethod(programClass, doSmthMethod, intParam, stringParam); 43 Осторожно! C++
115. package ru.kontur; public class Program { public static int doSmth(int x, String str) { return 0; } } Java Native Interface jclass programClass = env->FindClass("ru/kontur/Program"); jmethodID doSmthMethod = env->GetStaticMethodID(programClass, "doSmth", "(ILjava/lang/String;)I"); jint intParam = …; jstring stringParam = …; jint result = env->CallStaticIntMethod(programClass, doSmthMethod, intParam, stringParam); 43 Осторожно! C++
116. package ru.kontur; public class Program { public static int doSmth(int x, String str) { return 0; } } Java Native Interface jclass programClass = env->FindClass("ru/kontur/Program"); jmethodID doSmthMethod = env->GetStaticMethodID(programClass, "doSmth", "(ILjava/lang/String;)I"); jint intParam = …; jstring stringParam = …; jint result = env->CallStaticIntMethod(programClass, doSmthMethod, intParam, stringParam); 43 Осторожно! C++
117. package ru.kontur; public class Program { public static int doSmth(int x, String str) { return 0; } } Java Native Interface jclass programClass = env->FindClass("ru/kontur/Program"); jmethodID doSmthMethod = env->GetStaticMethodID(programClass, "doSmth", "(ILjava/lang/String;)I"); jint intParam = …; jstring stringParam = …; jint result = env->CallStaticIntMethod(programClass, doSmthMethod, intParam, stringParam); 43 Осторожно! C++
118. package ru.kontur; public class Program { public static int doSmth(int x, String str) { return 0; } } Java Native Interface jclass programClass = env->FindClass("ru/kontur/Program"); jmethodID doSmthMethod = env->GetStaticMethodID(programClass, "doSmth", "(ILjava/lang/String;)I"); jint intParam = …; jstring stringParam = …; jint result = env->CallStaticIntMethod(programClass, doSmthMethod, intParam, stringParam); 43 Осторожно! C++
119. package ru.kontur; public class Program { public static int doSmth(int x, String str) { return 0; } } Java Native Interface jclass programClass = env->FindClass("ru/kontur/Program"); jmethodID doSmthMethod = env->GetStaticMethodID(programClass, "doSmth", "(ILjava/lang/String;)I"); jint intParam = …; jstring stringParam = …; jint result = env->CallStaticIntMethod(programClass, doSmthMethod, intParam, stringParam); 43 Осторожно! C++
120. C#-обѐртка вокруг JNI 44
121. gRPC снаружи vs gRPC внутри 45
122. gRPC снаружи vs gRPC внутри .NET процесс Standalone Java 45
123. .NET процесс gRPC снаружи vs gRPC внутри .NET процесс Standalone Java Java 45
124. gRPC снаружи vs gRPC внутри Среднее, мс Стд. откл, мс Относительное время Снаружи 73 065 2 367 100% Внутри 72 002 1 266 99% 46
125. gRPC снаружи vs gRPC внутри 47
126. План по реализации 48
127. • Импорт Java-бинаря в .NET-процесс План по реализации 48
128. • Импорт Java-бинаря в .NET-процесс • Создаѐм JVM внутри .NET-процесса План по реализации 48
129. • Импорт Java-бинаря в .NET-процесс • Создаѐм JVM внутри .NET-процесса • Поднимаем gRPC-сервис План по реализации 48
130. • Импорт Java-бинаря в .NET-процесс • Создаѐм JVM внутри .NET-процесса • Поднимаем gRPC-сервис План по реализации 49
131. Импорт JVM.dll 50 C:\Program Files\Java\jre1.8.0_xxx\bin\server\jvm.dll
132. Импорт JVM.dll 50 C:\Program Files\Java\jre1.8.0_xxx\bin\server\jvm.dll • PInvoke – вызов неуправляемого кода (DLL) из управляемой среды CLR
133. • Импорт Java-бинаря в .NET-процесс • Создаѐм JVM внутри .NET-процесса • Поднимаем gRPC-сервис План по реализации 51
134. public unsafe void CreateJavaVm(IntPtr* vm, IntPtr* env, IntPtr args) { /* ... */ } Процедура создания JVM 52
135. public unsafe void CreateJavaVm(IntPtr* vm, IntPtr* env, IntPtr args) { /* ... */ } Процедура создания JVM 52
136. public unsafe void CreateJavaVm(IntPtr* vm, IntPtr* env, IntPtr args) { /* ... */ } Процедура создания JVM 52
137. • Импорт Java-бинаря в .NET-процесс • Создаѐм JVM внутри .NET-процесса • Поднимаем gRPC-сервис План по реализации 53
138. JavaVmWrapper vm; JniEnvWrapper env; unsafe { IntPtr envP; IntPtr vmP; CreateJavaVm(&vmP, &envP, vmArgsP); vm = new JavaVmWrapper(vmP); env = new JniEnvWrapper(envP); } var classPtr = env.FindClass("ru/kontur/Program"); var constructor = env.GetMethodId(classPtr, "<init>", "()V"); var runMethod = env.GetMethodId(classPtr, "run", "()V"); var obj = env.NewObject(classPtr, constructor, port); env.CallObjectMethod(obj, runMethod); C#-обѐртка вокруг JNI 54
139. JavaVmWrapper vm; JniEnvWrapper env; unsafe { IntPtr envP; IntPtr vmP; CreateJavaVm(&vmP, &envP, vmArgsP); vm = new JavaVmWrapper(vmP); env = new JniEnvWrapper(envP); } var classPtr = env.FindClass("ru/kontur/Program"); var constructor = env.GetMethodId(classPtr, "<init>", "()V"); var runMethod = env.GetMethodId(classPtr, "run", "()V"); var obj = env.NewObject(classPtr, constructor, port); env.CallObjectMethod(obj, runMethod); C#-обѐртка вокруг JNI 54
140. JavaVmWrapper vm; JniEnvWrapper env; unsafe { IntPtr envP; IntPtr vmP; CreateJavaVm(&vmP, &envP, vmArgsP); vm = new JavaVmWrapper(vmP); env = new JniEnvWrapper(envP); } var classPtr = env.FindClass("ru/kontur/Program"); var constructor = env.GetMethodId(classPtr, "<init>", "()V"); var runMethod = env.GetMethodId(classPtr, "run", "()V"); var obj = env.NewObject(classPtr, constructor, port); env.CallObjectMethod(obj, runMethod); C#-обѐртка вокруг JNI 54
141. JavaVmWrapper vm; JniEnvWrapper env; unsafe { IntPtr envP; IntPtr vmP; CreateJavaVm(&vmP, &envP, vmArgsP); vm = new JavaVmWrapper(vmP); env = new JniEnvWrapper(envP); } var classPtr = env.FindClass("ru/kontur/Program"); var constructor = env.GetMethodId(classPtr, "<init>", "()V"); var runMethod = env.GetMethodId(classPtr, "run", "()V"); var obj = env.NewObject(classPtr, constructor, port); env.CallObjectMethod(obj, runMethod); C#-обѐртка вокруг JNI 54
142. JavaVmWrapper vm; JniEnvWrapper env; unsafe { IntPtr envP; IntPtr vmP; CreateJavaVm(&vmP, &envP, vmArgsP); vm = new JavaVmWrapper(vmP); env = new JniEnvWrapper(envP); } var classPtr = env.FindClass("ru/kontur/Program"); var constructor = env.GetMethodId(classPtr, "<init>", "()V"); var runMethod = env.GetMethodId(classPtr, "run", "()V"); var obj = env.NewObject(classPtr, constructor, port); env.CallObjectMethod(obj, runMethod); C#-обѐртка вокруг JNI 54
143. JavaVmWrapper vm; JniEnvWrapper env; unsafe { IntPtr envP; IntPtr vmP; CreateJavaVm(&vmP, &envP, vmArgsP); vm = new JavaVmWrapper(vmP); env = new JniEnvWrapper(envP); } var classPtr = env.FindClass("ru/kontur/Program"); var constructor = env.GetMethodId(classPtr, "<init>", "()V"); var runMethod = env.GetMethodId(classPtr, "run", "()V"); var obj = env.NewObject(classPtr, constructor, port); env.CallObjectMethod(obj, runMethod); C#-обѐртка вокруг JNI 54
144. JavaVmWrapper vm; JniEnvWrapper env; unsafe { IntPtr envP; IntPtr vmP; CreateJavaVm(&vmP, &envP, vmArgsP); vm = new JavaVmWrapper(vmP); env = new JniEnvWrapper(envP); } var classPtr = env.FindClass("ru/kontur/Program"); var constructor = env.GetMethodId(classPtr, "<init>", "()V"); var runMethod = env.GetMethodId(classPtr, "run", "()V"); var obj = env.NewObject(classPtr, constructor, port); env.CallObjectMethod(obj, runMethod); C#-обѐртка вокруг JNI 54
145. Загрузка классов 55
146. • classpath Загрузка классов 55
147. • classpath Загрузка классов java -classpath C:\fop\jars ru.kontur.fop.FopService 55
148. • classpath Загрузка классов java -classpath C:\fop\jars ru.kontur.fop.FopService 55
149. • classpath • ClassLoader Загрузка классов 55
150. • classpath • ClassLoader URL[] jars = new URL[]{new URL("file:///c:/fop/jars/fop.jar")}; URLClassLoader cl = new URLClassLoader(jars); Class<?> serviceClass = cl.loadClass("ru.kontur.fop.FopService"); Загрузка классов 55
151. • classpath • ClassLoader URL[] jars = new URL[]{new URL("file:///c:/fop/jars/fop.jar")}; URLClassLoader cl = new URLClassLoader(jars); Class<?> serviceClass = cl.loadClass("ru.kontur.fop.FopService"); Загрузка классов 55
152. • classpath • ClassLoader URL[] jars = new URL[]{new URL("file:///c:/fop/jars/fop.jar")}; URLClassLoader cl = new URLClassLoader(jars); Class<?> serviceClass = cl.loadClass("ru.kontur.fop.FopService"); Загрузка классов 55
153. • classpath • ClassLoader URL[] jars = new URL[]{new URL("file:///c:/fop/jars/fop.jar")}; URLClassLoader cl = new URLClassLoader(jars); Class<?> serviceClass = cl.loadClass("ru.kontur.fop.FopService"); Загрузка классов 55
154. public void InjectClass(string className, byte[] classBytes) { var loaderClass = new JavaClassLoaderClass(env); var loader = loaderClass.GetSystemClassLoader(); var loadedClass = env.DefineClass( className, loader, classBytes, classBytes.Length); } Загрузка классов 56
155. public void InjectClass(string className, byte[] classBytes) { var loaderClass = new JavaClassLoaderClass(env); var loader = loaderClass.GetSystemClassLoader(); var loadedClass = env.DefineClass( className, loader, classBytes, classBytes.Length); } Загрузка классов 56
156. public void InjectClass(string className, byte[] classBytes) { var loaderClass = new JavaClassLoaderClass(env); var loader = loaderClass.GetSystemClassLoader(); var loadedClass = env.DefineClass( className, loader, classBytes, classBytes.Length); } Загрузка классов 56
157. public void InjectClass(string className, byte[] classBytes) { var loaderClass = new JavaClassLoaderClass(env); var loader = loaderClass.GetSystemClassLoader(); var loadedClass = env.DefineClass( className, loader, classBytes, classBytes.Length); } Загрузка классов 56
158. Промежуточные итоги 57
159. • Запустили виртуальную машину Java внутри .NET процесса Промежуточные итоги 57
160. • Запустили виртуальную машину Java внутри .NET процесса • Реализовали обмен данными между программами на Java и на C# Промежуточные итоги 57
161. • Запустили виртуальную машину Java внутри .NET процесса • Реализовали обмен данными между программами на Java и на C# • Получили готовый работающий прототип решения задачи конвертации документов Промежуточные итоги 57
162. Мотивация? Но я же… 58
163. Мотивация? Но я же… • Инфраструктурные ограничения • Перспектива снижения издержек на передачу данных 58
164. Интеграция: Акт III 59
165. • Ручное управление объектами, размещѐнными в нативной памяти • Используем using-блоки (аналог try- with-resources) Указатели в нативную память 60
166. Объекты из Java heap 61
167. • Объект существует на стороне Java Объекты из Java heap 61
168. • Объект существует на стороне Java • В нативный код передаѐтся по «локальной» ссылке Объекты из Java heap 61
169. • Объект существует на стороне Java • В нативный код передаѐтся по «локальной» ссылке var wrappedMethodId = Env.GetMethodId(classPtr, "<init>", "(I)V"); /* ... */ Env.DeleteLocalRef(wrappedMethodId.LocalRef); Объекты из Java heap 61
170. • Объект существует на стороне Java • В нативный код передаѐтся по «локальной» ссылке var wrappedMethodId = Env.GetMethodId(classPtr, "<init>", "(I)V"); /* ... */ Env.DeleteLocalRef(wrappedMethodId.LocalRef); Объекты из Java heap 61
171. • Объект существует на стороне Java • В нативный код передаѐтся по «локальной» ссылке • Как Java GC узнает, что пора собирать? var wrappedMethodId = Env.GetMethodId(classPtr, "<init>", "(I)V"); /* ... */ Env.DeleteLocalRef(wrappedMethodId.LocalRef); Объекты из Java heap 61
172. • Объект существует на стороне Java • В нативный код передаѐтся по «локальной» ссылке • Как Java GC узнает, что пора собирать? var wrappedMethodId = Env.GetMethodId(classPtr, "<init>", "(I)V"); /* ... */ Env.DeleteLocalRef(wrappedMethodId.LocalRef); Объекты из Java heap 61
173. А что с многопоточностью? 62
174. var env = Jvm.AttachCurrentThread(); /* process */ Jvm.DetachCurrentThread(); А что с многопоточностью? 62
175. var env = Jvm.AttachCurrentThread(); /* process */ Jvm.DetachCurrentThread(); А что с многопоточностью? 62
176. var env = Jvm.AttachCurrentThread(); /* process */ Jvm.DetachCurrentThread(); А что с многопоточностью? 62
177. var env = Jvm.AttachCurrentThread(); /* process */ Jvm.DetachCurrentThread(); var globalRef = Env.NewGlobalRef(localRef); /* process */ Env.DeleteGlobalRef(globalRef); А что с многопоточностью? 62
178. var env = Jvm.AttachCurrentThread(); /* process */ Jvm.DetachCurrentThread(); var globalRef = Env.NewGlobalRef(localRef); /* process */ Env.DeleteGlobalRef(globalRef); А что с многопоточностью? 62
179. var env = Jvm.AttachCurrentThread(); /* process */ Jvm.DetachCurrentThread(); var globalRef = Env.NewGlobalRef(localRef); /* process */ Env.DeleteGlobalRef(globalRef); А что с многопоточностью? 62
180. var env = Jvm.AttachCurrentThread(); /* process */ Jvm.DetachCurrentThread(); var globalRef = Env.NewGlobalRef(localRef); /* process */ Env.DeleteGlobalRef(globalRef); Env.MonitorEnter(obj); /* synchronized block */ Env.MonitorExit(obj); synchronized (obj) { /* synchronized block */ } А что с многопоточностью? 62
181. var env = Jvm.AttachCurrentThread(); /* process */ Jvm.DetachCurrentThread(); var globalRef = Env.NewGlobalRef(localRef); /* process */ Env.DeleteGlobalRef(globalRef); Env.MonitorEnter(obj); /* synchronized block */ Env.MonitorExit(obj); synchronized (obj) { /* synchronized block */ } А что с многопоточностью? 62
182. var env = Jvm.AttachCurrentThread(); /* process */ Jvm.DetachCurrentThread(); var globalRef = Env.NewGlobalRef(localRef); /* process */ Env.DeleteGlobalRef(globalRef); Env.MonitorEnter(obj); /* synchronized block */ Env.MonitorExit(obj); synchronized (obj) { /* synchronized block */ } А что с многопоточностью? 62
183. Exception T SafeJniCall<T>(Func<T> func) { T result = func(); if (Env.ExceptionCheck()) { var exception = Env.ExceptionOccurred(); /* process exception */ Env.ExceptionClear(); } return result; } 63
184. Exception T SafeJniCall<T>(Func<T> func) { T result = func(); if (Env.ExceptionCheck()) { var exception = Env.ExceptionOccurred(); /* process exception */ Env.ExceptionClear(); } return result; } 63
185. Exception T SafeJniCall<T>(Func<T> func) { T result = func(); if (Env.ExceptionCheck()) { var exception = Env.ExceptionOccurred(); /* process exception */ Env.ExceptionClear(); } return result; } 63
186. Exception T SafeJniCall<T>(Func<T> func) { T result = func(); if (Env.ExceptionCheck()) { var exception = Env.ExceptionOccurred(); /* process exception */ Env.ExceptionClear(); } return result; } 63
187. Exception T SafeJniCall<T>(Func<T> func) { T result = func(); if (Env.ExceptionCheck()) { var exception = Env.ExceptionOccurred(); /* process exception */ Env.ExceptionClear(); } return result; } 63
188. Exception T SafeJniCall<T>(Func<T> func) { T result = func(); if (Env.ExceptionCheck()) { var exception = Env.ExceptionOccurred(); /* process exception */ Env.ExceptionClear(); } return result; } 63
189. var enumClass = env.FindClass("ru/kontur/fop/TransformationType"); var fieldIdPDF = env.GetStaticFieldID(enumClass, "PDF", "Lru/kontur/fop/TransformationType;"); var PDF = env.GetStaticObjectField(enumClass, fieldIdPDF); package ru.kontur.fop; public enum TransformationType { CSV, PDF, SVG; } Enum 64
190. var enumClass = env.FindClass("ru/kontur/fop/TransformationType"); var fieldIdPDF = env.GetStaticFieldID(enumClass, "PDF", "Lru/kontur/fop/TransformationType;"); var PDF = env.GetStaticObjectField(enumClass, fieldIdPDF); package ru.kontur.fop; public enum TransformationType { CSV, PDF, SVG; } Enum 64
191. var enumClass = env.FindClass("ru/kontur/fop/TransformationType"); var fieldIdPDF = env.GetStaticFieldID(enumClass, "PDF", "Lru/kontur/fop/TransformationType;"); var PDF = env.GetStaticObjectField(enumClass, fieldIdPDF); package ru.kontur.fop; public enum TransformationType { CSV, PDF, SVG; } Enum 64
192. var enumClass = env.FindClass("ru/kontur/fop/TransformationType"); var fieldIdPDF = env.GetStaticFieldID(enumClass, "PDF", "Lru/kontur/fop/TransformationType;"); var PDF = env.GetStaticObjectField(enumClass, fieldIdPDF); package ru.kontur.fop; public enum TransformationType { CSV, PDF, SVG; } Enum 64
193. var enumClass = env.FindClass("ru/kontur/fop/TransformationType"); var fieldIdPDF = env.GetStaticFieldID(enumClass, "PDF", "Lru/kontur/fop/TransformationType;"); var PDF = env.GetStaticObjectField(enumClass, fieldIdPDF); package ru.kontur.fop; public enum TransformationType { CSV, PDF, SVG; } Enum 64
194. var enumClass = env.FindClass("ru/kontur/fop/TransformationType"); var fieldIdPDF = env.GetStaticFieldID(enumClass, "PDF", "Lru/kontur/fop/TransformationType;"); var PDF = env.GetStaticObjectField(enumClass, fieldIdPDF); package ru.kontur.fop; public enum TransformationType { CSV, PDF, SVG; } Enum 64
195. var enumClass = env.FindClass("ru/kontur/fop/TransformationType"); var fieldIdPDF = env.GetStaticFieldID(enumClass, "PDF", "Lru/kontur/fop/TransformationType;"); var PDF = env.GetStaticObjectField(enumClass, fieldIdPDF); package ru.kontur.fop; public enum TransformationType { CSV, PDF, SVG; } Enum 64
196. byte[] public byte[] convert(byte[] data) { // ... } using (var byteArray = Env.NewByteArray(bytes)) { Env.CallObjectMethod( obj, method, new JValue() { PointerValue = byteArray.LocalRef }; } 65
197. byte[] public byte[] convert(byte[] data) { // ... } using (var byteArray = Env.NewByteArray(bytes)) { Env.CallObjectMethod( obj, method, new JValue() { PointerValue = byteArray.LocalRef }; } 65
198. byte[] public byte[] convert(byte[] data) { // ... } using (var byteArray = Env.NewByteArray(bytes)) { Env.CallObjectMethod( obj, method, new JValue() { PointerValue = byteArray.LocalRef }; } 65
199. byte[] public byte[] convert(byte[] data) { // ... } using (var byteArray = Env.NewByteArray(bytes)) { Env.CallObjectMethod( obj, method, new JValue() { PointerValue = byteArray.LocalRef }; } 65
200. byte[] public byte[] convert(byte[] data) { // ... } using (var byteArray = Env.NewByteArray(bytes)) { Env.CallObjectMethod( obj, method, new JValue() { PointerValue = byteArray.LocalRef }; } 65
201. DirectByteBuffer fixed (byte* b = bytes) { var buffer = Env.NewDirectByteBuffer((IntPtr)b, bytes.Length)); Env.CallIntMethod( obj, method, new JValue() { PointerValue = buffer.LocalRef }); } public int convert(ByteBuffer buffer) { byte[] data = new byte[buffer.capacity()]; buffer.get(data); // convert } 66
202. DirectByteBuffer fixed (byte* b = bytes) { var buffer = Env.NewDirectByteBuffer((IntPtr)b, bytes.Length)); Env.CallIntMethod( obj, method, new JValue() { PointerValue = buffer.LocalRef }); } public int convert(ByteBuffer buffer) { byte[] data = new byte[buffer.capacity()]; buffer.get(data); // convert } 66
203. DirectByteBuffer fixed (byte* b = bytes) { var buffer = Env.NewDirectByteBuffer((IntPtr)b, bytes.Length)); Env.CallIntMethod( obj, method, new JValue() { PointerValue = buffer.LocalRef }); } public int convert(ByteBuffer buffer) { byte[] data = new byte[buffer.capacity()]; buffer.get(data); // convert } 66
204. DirectByteBuffer fixed (byte* b = bytes) { var buffer = Env.NewDirectByteBuffer((IntPtr)b, bytes.Length)); Env.CallIntMethod( obj, method, new JValue() { PointerValue = buffer.LocalRef }); } public int convert(ByteBuffer buffer) { byte[] data = new byte[buffer.capacity()]; buffer.get(data); // convert } 66
205. DirectByteBuffer fixed (byte* b = bytes) { var buffer = Env.NewDirectByteBuffer((IntPtr)b, bytes.Length)); Env.CallIntMethod( obj, method, new JValue() { PointerValue = buffer.LocalRef }); } public int convert(ByteBuffer buffer) { byte[] data = new byte[buffer.capacity()]; buffer.get(data); // convert } 66
206. DirectByteBuffer fixed (byte* b = bytes) { var buffer = Env.NewDirectByteBuffer((IntPtr)b, bytes.Length)); Env.CallIntMethod( obj, method, new JValue() { PointerValue = buffer.LocalRef }); } public int convert(ByteBuffer buffer) { byte[] data = new byte[buffer.capacity()]; buffer.get(data); // convert } 66
207. DirectByteBuffer fixed (byte* b = bytes) { var buffer = Env.NewDirectByteBuffer((IntPtr)b, bytes.Length)); Env.CallIntMethod( obj, method, new JValue() { PointerValue = buffer.LocalRef }); } public int convert(ByteBuffer buffer) { byte[] data = new byte[buffer.capacity()]; buffer.get(data); // convert } 66
208. DirectByteBuffer fixed (byte* b = bytes) { var buffer = Env.NewDirectByteBuffer((IntPtr)b, bytes.Length)); Env.CallIntMethod( obj, method, new JValue() { PointerValue = buffer.LocalRef }); } public int convert(ByteBuffer buffer) { byte[] data = new byte[buffer.capacity()]; buffer.get(data); // convert } 66
209. Результаты бенчмарка • Алгоритм SHA-512 • Переменная длина массива байтов 67 5 000 50 000 500 000 plain java 24,41 ± 0,365 мкс 230,87 ± 2,613 мкс 2 339,28 ± 49,665 мкс j4net proxy ? ? ? gRPC 155,9 ± 2,463 мкс 495,4 ± 7,676 мкс 5 417,8 ± 526,193 мкс JSON 1,380 ± 0,040 мс 10,177 ± 0,117 мс 98,441 ± 1,820 мс
210. Результаты бенчмарка • Алгоритм SHA-512 • Переменная длина массива байтов 68 5 000 50 000 500 000 plain java 24,41 ± 0,365 мкс 230,87 ± 2,613 мкс 2 339,28 ± 49,665 мкс j4net proxy 29,23 ± 0,540 мкс 248,06 ± 3,032 мкс 2 486,54 ± 60,480 мкс gRPC 155,9 ± 2,463 мкс 495,4 ± 7,676 мкс 5 417,8 ± 526,193 мкс JSON 1,380 ± 0,040 мс 10,177 ± 0,117 мс 98,441 ± 1,820 мс
211. Где может пригодиться? 69
212. • Десктоп – всѐ в одном процессе (удобно) Где может пригодиться? 69
213. • Десктоп – всѐ в одном процессе (удобно) • Большой memory traffic (быстро) Где может пригодиться? 69
214. • Десктоп – всѐ в одном процессе (удобно) • Большой memory traffic (быстро) • Не нужна дополнительная инфраструктура для работы (просто и надѐжно) Где может пригодиться? 69
215. Планы на завтра 70
216. • У • У • У Что хотим? 71
217. • Удобно • У • У Что хотим? 72
218. • Удобно • Универсально • У Что хотим? 73
219. • Удобно • Универсально • Уютно (open source) Что хотим? 74
220. 75 DSL DLL
221. 75 DSL DLL
222. 75 DSL DLL
223. Java user lib 76 public class Tourist { public static Answer ask(Question question) { /* ... */ } public void walk(byte[] map) { /* ... */ } }
224. Java user lib 76 public class Tourist { public static Answer ask(Question question) { /* ... */ } public void walk(byte[] map) { /* ... */ } }
225. Java user lib 76 public class Tourist { public static Answer ask(Question question) { /* ... */ } public void walk(byte[] map) { /* ... */ } }
226. Java user lib 76 public class Tourist { public static Answer ask(Question question) { /* ... */ } public void walk(byte[] map) { /* ... */ } }
227. Java user lib 76 public class Tourist { public static Answer ask(Question question) { /* ... */ } public void walk(byte[] map) { /* ... */ } }
228. Java user lib 76 public class Tourist { public static Answer ask(Question question) { /* ... */ } public void walk(byte[] map) { /* ... */ } }
229. 77 DSL DLL
230. 77 DSL DLL
231. 77 DSL DLL
232. 77 DSL DLL
233. 77 DSL DLL
234. 77 DSL DLL
235. 77 DSL DLL
236. 77 DSL DLL
237. Java user lib proxy • C#-proxy для Java-библиотеки • Подключается к C#-проекту как обычная .NET-библиотека 78
238. Вишенка 79
239. Вишенка • Прогнать через парсинг/кодогенерацию стандартные Java-классы 79
240. Вишенка • Прогнать через парсинг/кодогенерацию стандартные Java-классы • Получить полную (в известной мере) C#- proxy-библиотеку 79
241. 80 DSL DLL
242. 80 DSL DLL
243. 80 DSL DLL
244. 80 DSL DLL
245. 80 DSL DLL
246. • https://github.com/j4net/ j4net 81
247. Спасибо за внимание! 82
248. Григорий Кошелев @GregoryKoshelev kgn@skbkontur.ru ВОПРОСЫ? https://kontur.ru/ https://t.me/java_ural_Meetup 83
249. • Примеры на Github: https://github.com/gnkoshelev • j4net: https://github.com/j4net (прототип, J4Net.Core использовался в примерах) • gRPC http://www.grpc.io/ • JNI http://docs.oracle.com/javase/8/docs/technotes/guides/jni/spec/jniTOC.html • Invocation API http://docs.oracle.com/javase/8/docs/technotes/guides/jni/spec/invocation.html Ссылки 84