From cozy Java to brutal Native code or There and Back Again (ITeaConf 2021, RU)

Версия доклада, где меньше внимания уделяется фреймворкам JNA, JNR и JavaCPP, но зато обновлена информация и примеры про Panama в контексте Java 17.

---

Все мы любим Java и другие управляемые языки, но иногда их бывает просто недостаточно. Нужен доступ к библиотеке машинного обучения, написанной исключительно на С? Или всего-то хочется позвать небольшой метод из OS API? А может, для одного из модулей вы хотите получить большую производительность, чем вы когда-либо сможете выжать из Java? Тогда вам прямой путь в нативный код!

Вроде все просто — пишем нативный метод, загружаем библиотеку, вызываем, и дело в шляпе! Но вот беда: JVM начала крашиться в случайных местах, производительность упала ниже прежнего, а ваш репозиторий заполонили бесконечные сишные файлы, испещренные буквами J-N-I. Что же пошло не так?

В докладе разберемся со всем по порядку: что необычного в интеропе между Java и нативным кодом и какая у него история; как работать с нативным кодом прямо сейчас, чтобы избежать сегфолтов, просадки производительности, внезапных OOM; наконец, что же нас ждет в будущем в контексте таких проектов, как Panama и Sulong, и будет ли после них вообще смысл говорить про какой-то интероп.

Transcript

1. В нативный код из уютного мира Java Путешествие Туда и Обратно Иван Углянский Excelsior@Huawei
2. Иван Углянский 2 JVM engineer at Excelsior@Huawei ivan.ugliansky@gmail.com @dbg_nsk JUGNsk co-lead
3. Какой еще нативный код? 3
4. Какой еще нативный код? 4 public class JavaToNative { static native void goNative(); static native void goThere(Callback andBackAgain); }
5. Какой еще нативный код? 5 public class JavaToNative { static native void goNative(); static native void goThere(Callback andBackAgain); }
6. Какой еще нативный код? 6 public class JavaToNative { static native void goNative(); static native void goThere(Callback andBackAgain); } Java C/C++/... goNative
7. Какой еще нативный код? 7 public class JavaToNative { static native void goNative(); static native void goThere(Callback andBackAgain); } Java goThere andBackAgain C/C++/...
8. Но зачем нам нативы? 8
9. Но зачем нам нативы? 9 Java - managed язык
10. Но зачем нам нативы? 10 Java - managed язык ◦ автоматическое управление памятью
11. Но зачем нам нативы? 11 Java - managed язык ◦ автоматическое управление памятью ◦ безопасные операции
12. Но зачем нам нативы? 12 Java - managed язык ◦ автоматическое управление памятью ◦ безопасные операции Java - это...
14. Но зачем нам нативы? 14 Java - managed язык ◦ автоматическое управление памятью ◦ безопасные операции А вот нативный код - это...
15. Причины звать нативный код из Java 15
16. Но знаете, как это бывает... 16
17. Причины звать нативный код из Java 17 1. Есть отличная библиотека! (Но она на С/C++)
18. Причины звать нативный код из Java 18 1. Есть отличная библиотека! (Но она на С/C++) OpenGL, DirectX, Tensorflow, Cuda, OpenCL, OpenSSl, Vulkan, Криптография, ...
19. Причины звать нативный код из Java 19 1. Есть отличная библиотека! (Но она на С/C++) 2. Да мне всего лишь один метод из WinAPI позвать!
20. Причины звать нативный код из Java 20 1. Есть отличная библиотека! (Но она на С/C++) 2. Да мне всего лишь один метод из WinAPI позвать! 3. Напишу один модуль на C++, все как разгонится!
22. 22 A fatal error has been detected by the Java Runtime Environment: # # SIGSEGV (0xb) at pc=0x00007f542922359f, pid=25670, tid=0x00007f5444efa700 # # JRE version: Java(TM) SE Runtime Environment (8.0_151-b12) (build 1.8.0_151-b12) # Java VM: Java HotSpot(TM) 64-Bit Server VM (25.151-b12 mixed mode linux-amd64 compressed oops) # Problematic frame: # C [libavutil.so.56+0x1159f] av_strstart+0x1f
23. 23 A fatal error has been detected by the Java Runtime Environment: # # SIGSEGV (0xb) at pc=0x00007f542922359f, pid=25670, tid=0x00007f5444efa700 # # JRE version: Java(TM) SE Runtime Environment (8.0_151-b12) (build 1.8.0_151-b12) # Java VM: Java HotSpot(TM) 64-Bit Server VM (25.151-b12 mixed mode linux-amd64 compressed oops) # Problematic frame: # C [libavutil.so.56+0x1159f] av_strstart+0x1f # EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x0000000180005b00, pid=13432, tid=13952 # # JRE version: Java(TM) SE Runtime Environment (12.0.2+10) (build 12.0.2+10) # Java VM: Java HotSpot(TM) 64-Bit Server VM (12.0.2+10, mixed mode, sharing, tiered, compressed oops, g1 gc, windows-amd64) # Problematic frame: # C [rxtxSerial.dll+0x5b00]
24. 24 A fatal error has been detected by the Java Runtime Environment: # # SIGSEGV (0xb) at pc=0x00007f542922359f, pid=25670, tid=0x00007f5444efa700 # # JRE version: Java(TM) SE Runtime Environment (8.0_151-b12) (build 1.8.0_151-b12) # Java VM: Java HotSpot(TM) 64-Bit Server VM (25.151-b12 mixed mode linux-amd64 compressed oops) # Problematic frame: # C [libavutil.so.56+0x1159f] av_strstart+0x1f # EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x0000000180005b00, pid=13432, tid=13952 # # JRE version: Java(TM) SE Runtime Environment (12.0.2+10) (build 12.0.2+10) # Java VM: Java HotSpot(TM) 64-Bit Server VM (12.0.2+10, mixed mode, sharing, tiered, compressed oops, g1 gc, windows-amd64) # Problematic frame: # C [rxtxSerial.dll+0x5b00] # SIGSEGV (0xb) at pc=0x00007f098dac2618, pid=1720, tid=0x00007f0963f7a700 # # JRE version: OpenJDK Runtime Environment (8.0_212-b03) (build 1.8.0_212-8u212-b03-0ubuntu1.18.04.1-b03) # Java VM: OpenJDK 64-Bit Server VM (25.212-b03 mixed mode linux-amd64 compressed oops) # Problematic frame: # C [libopencv_core.so.3.2+0x132618] cv::_InputArray::size(int) const+0x1d8
25. 25 A fatal error has been detected by the Java Runtime Environment: # # SIGSEGV (0xb) at pc=0x00007f542922359f, pid=25670, tid=0x00007f5444efa700 # # JRE version: Java(TM) SE Runtime Environment (8.0_151-b12) (build 1.8.0_151-b12) # Java VM: Java HotSpot(TM) 64-Bit Server VM (25.151-b12 mixed mode linux-amd64 compressed oops) # Problematic frame: # C [libavutil.so.56+0x1159f] av_strstart+0x1f # EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x0000000180005b00, pid=13432, tid=13952 # # JRE version: Java(TM) SE Runtime Environment (12.0.2+10) (build 12.0.2+10) # Java VM: Java HotSpot(TM) 64-Bit Server VM (12.0.2+10, mixed mode, sharing, tiered, compressed oops, g1 gc, windows-amd64) # Problematic frame: # C [rxtxSerial.dll+0x5b00] # SIGSEGV (0xb) at pc=0x00007f098dac2618, pid=1720, tid=0x00007f0963f7a700 # # JRE version: OpenJDK Runtime Environment (8.0_212-b03) (build 1.8.0_212-8u212-b03-0ubuntu1.18.04.1-b03) # Java VM: OpenJDK 64-Bit Server VM (25.212-b03 mixed mode linux-amd64 compressed oops) # Problematic frame: # C [libopencv_core.so.3.2+0x132618] cv::_InputArray::size(int) const+0x1d8
26. Будем разбираться 26
27. Будем разбираться 27 1. Почему так много проблем с нативами?
28. Будем разбираться 28 1. Почему так много проблем с нативами? 2. Как пройти в Мордор и не получить SIGSEGV?
29. Как позвать натив? 29
30. Как позвать натив? 30 Где взять нативы?
31. Как позвать натив? 31 Где взять нативы? Как работать с Java из натива?
32. Как позвать натив? 32 Как себя должен вести GC? Где взять нативы? Как работать с Java из натива?
33. Немного истории 33
34. 1. JDK 1.0 NMI — Native Method Invocation (Sun JVM) 2. Raw Native Interface (RNI) in Microsoft J++ and J/Direct 3. Netscape’s JRI (Java Runtime Interface) 4. ... История до нашей эры 34
35. Наша эра 35 JNI - Java Native Interface
36. Наша эра 36 JNI - Java Native Interface ✓ Единый интерфейс, чтобы править всеми!
37. Наша эра 37 JNI - Java Native Interface ✓ Единый интерфейс, чтобы править всеми! ✓ Детали реализации скрыты ⇒ JVM нейтрален, GC нейтрален
38. Как это выглядит со стороны Java? 38
39. Как это выглядит со стороны Java? 39 public class JavaToNative { static native void goNative(); static native void goThere(Callback andBackAgain); public static void main(String[] args) { System.loadLibrary("NativeLib"); goThere(new Callback("Eagles")); } }
40. Как это выглядит со стороны Java? 40 public class JavaToNative { static native void goNative(); static native void goThere(Callback andBackAgain); public static void main(String[] args) { System.loadLibrary("NativeLib"); goThere(new Callback("Eagles")); } }
41. Как это выглядит со стороны Java? 41 public class JavaToNative { static native void goNative(); static native void goThere(Callback andBackAgain); public static void main(String[] args) { System.loadLibrary("NativeLib"); goThere(new Callback("Eagles")); } }
42. Как это выглядит со стороны Java? 42 public class JavaToNative { static native void goNative(Object obj); static native void goThere(Callback andBackAgain); public static void main(String[] args) { System.loadLibrary("NativeLib"); goThere(new Callback("Eagles")); } } class Callback { private final String transport; public Callback(String transport) { this.transport = transport; } public void call() { System.out.println("Ok, we are in Shire again! Returned by " + transport); } }
43. Как это выглядит со стороны С? 43
44. Как это выглядит со стороны С? 44 public class JavaToNative { static native void goThere(Callback andBackAgain); }
45. Как это выглядит со стороны С? 45 public class JavaToNative { static native void goThere(Callback andBackAgain); } javac JavaToNative.java -h .
46. Как это выглядит со стороны С? 46 public class JavaToNative { static native void goThere(Callback andBackAgain); } JNIEXPORT void JNICALL Java_JavaToNative_goThere (JNIEnv *, jclass, jobject); javac JavaToNative.java -h . JavaToNative.h
47. Как это выглядит со стороны С? 47 public class JavaToNative { static native void goThere(Callback andBackAgain); } JNIEXPORT void JNICALL Java_JavaToNative_goThere (JNIEnv *, jclass, jobject); javac JavaToNative.java -h . JavaToNative.h
48. Как это выглядит со стороны С? 48 boolean jboolean unsigned 8 bits byte jbyte signed 8 bits char jchar unsigned 16 bits short jshort signed 16 bits int jint signed 32 bits long jlong signed 64 bits float jfloat 32 bits double jdouble 64 bits void void N/A Примитивные
49. Как это выглядит со стороны С? 49 boolean jboolean unsigned 8 bits byte jbyte signed 8 bits char jchar unsigned 16 bits short jshort signed 16 bits int jint signed 32 bits long jlong signed 64 bits float jfloat 32 bits double jdouble 64 bits void void N/A Примитивные Ссылочные jobject jclass jstring jthrowable jarray jobjectArray jbooleanArray jcharArray ...
50. Как это выглядит со стороны С? 50 public class JavaToNative { static native void goThere(Callback andBackAgain); } JNIEXPORT void JNICALL Java_JavaToNative_goThere (JNIEnv *, jclass, jobject); javac JavaToNative.java -h . JavaToNative.h
51. Как это выглядит со стороны С? 51 JNIEnv
52. Как это выглядит со стороны С? 52 JNIEnv ✓ Указатель на JNINativeInterface (214 функций)
53. Как это выглядит со стороны С? 53 JNIEnv ✓ Указатель на JNINativeInterface (214 функций) GetVersion, DefineClass, FindClass, FromReflectedMethod, FromReflectedField, ToReflectedMethod, GetSuperclass, IsAssignableFrom, ToReflectedField, Throw, ThrowNew, ExceptionOccurred, ExceptionDescribe, ExceptionClear, FatalError, PushLocalFrame, PopLocalFrame, NewGlobalRef, DeleteGlobalRef, DeleteLocalRef, IsSameObject, NewLocalRef, EnsureLocalCapacity, AllocObject, NewObject, NewObjectV, NewObjectA, GetObjectClass, IsInstanceOf, GetMethodID, CallObjectMethod, CallObjectMethodV, CallObjectMethodA, CallBooleanMethod, CallBooleanMethodV, CallBooleanMethodA, CallByteMethod, CallByteMethodV, CallByteMethodA, CallCharMethod, CallCharMethodV, CallCharMethodA, CallShortMethod, CallShortMethodV, CallShortMethodA, CallIntMethod, CallIntMethodV, CallIntMethodA, CallLongMethod, CallLongMethodV, CallLongMethodA, CallFloatMethod, CallFloatMethodV, CallFloatMethodA, CallDoubleMethod, CallDoubleMethodV, CallDoubleMethodA, CallVoidMethod, CallVoidMethodV, CallVoidMethodA, CallNonvirtualObjectMethod, CallNonvirtualObjectMethodV, CallNonvirtualObjectMethodA, CallNonvirtualBooleanMethod, CallNonvirtualBooleanMethodV, CallNonvirtualBooleanMethodA, CallNonvirtualByteMethod, CallNonvirtualByteMethodV, CallNonvirtualByteMethodA, CallNonvirtualCharMethod, CallNonvirtualCharMethodV, CallNonvirtualCharMethodA, CallNonvirtualShortMethod, CallNonvirtualShortMethodV, CallNonvirtualShortMethodA, CallNonvirtualIntMethod, CallNonvirtualIntMethodV, CallNonvirtualIntMethodA, CallNonvirtualLongMethod, CallNonvirtualLongMethodV, CallNonvirtualLongMethodA, CallNonvirtualFloatMethod, CallNonvirtualFloatMethodV, CallNonvirtualFloatMethodA, CallNonvirtualDoubleMethod, CallNonvirtualDoubleMethodV, CallNonvirtualDoubleMethodA, CallNonvirtualVoidMethod, CallNonvirtualVoidMethodV, CallNonvirtualVoidMethodA, GetFieldID, GetObjectField, GetBooleanField, GetByteField, GetCharField, GetShortField, GetIntField, GetLongField, GetFloatField, GetDoubleField, SetObjectField, SetBooleanField, SetByteField, SetCharField, SetShortField, SetIntField, SetLongField, SetFloatField, SetDoubleField, GetStaticMethodID, CallStaticObjectMethod, CallStaticObjectMethodV, CallStaticObjectMethodA, CallStaticBooleanMethod, CallStaticBooleanMethodV, CallStaticBooleanMethodA, CallStaticByteMethod, CallStaticByteMethodV, CallStaticByteMethodA, CallStaticCharMethod, CallStaticCharMethodV, CallStaticCharMethodA, CallStaticShortMethod, CallStaticShortMethodV, CallStaticShortMethodA, CallStaticIntMethod, CallStaticIntMethodV, CallStaticIntMethodA, CallStaticLongMethod, CallStaticLongMethodV, CallStaticLongMethodA, CallStaticFloatMethod, CallStaticFloatMethodV, CallStaticFloatMethodA, CallStaticDoubleMethod, CallStaticDoubleMethodV, CallStaticDoubleMethodA, CallStaticVoidMethod, CallStaticVoidMethodV, CallStaticVoidMethodA, GetStaticFieldID, GetStaticObjectField, GetStaticBooleanField, ...
54. Как это выглядит со стороны С? 54 JNIEnv ✓ Указатель на JNINativeInterface (214 функций) NewObject, GetObjectClass, GetObjectField, SetObjectField, Get<PrimType>Field, Set<PrimType>Field, CallObjectMethod, CallStaticObjectMethod Call<PrimType>Method, CallStatic<PrimType>Method Throw, ThrowNew, Очень похоже на Reflection! «мета»-программирование на Java
55. Как это выглядит со стороны С? 55 JNIEnv ✓ Указатель на JNINativeInterface (214 функций) ✓ Только через них можно взаимодействовать с Java docs.oracle.com/javase/8/docs/technotes/guides/jni/spec/functions.html
56. Как это выглядит со стороны С? 56 /* * Class: JavaToNative * Method: goThere * Signature: (LCallback;)V */ JNIEXPORT void JNICALL Java_JavaToNative_goThere(JNIEnv * env, jclass klass, jobject andBackAgain) { } JavaToNative.c
57. Как это выглядит со стороны С? 57 /* * Class: JavaToNative * Method: goThere * Signature: (LCallback;)V */ JNIEXPORT void JNICALL Java_JavaToNative_goThere(JNIEnv * env, jclass klass, jobject andBackAgain) { printf("Ok, we are in Mordor now!\n"); } JavaToNative.c
58. Как это выглядит со стороны С? 58 /* * Class: JavaToNative * Method: goThere * Signature: (LCallback;)V */ JNIEXPORT void JNICALL Java_JavaToNative_goThere(JNIEnv * env, jclass klass, jobject andBackAgain) { printf("Ok, we are in Mordor now!\n"); jclass cls = (*env)->GetObjectClass(env, andBackAgain); jmethodID method = (*env)->GetMethodID(env, cls, "call", "()V"); } JavaToNative.c
59. Как это выглядит со стороны С? 59 /* * Class: JavaToNative * Method: goThere * Signature: (LCallback;)V */ JNIEXPORT void JNICALL Java_JavaToNative_goThere(JNIEnv * env, jclass klass, jobject andBackAgain) { printf("Ok, we are in Mordor now!\n"); jclass cls = (*env)->GetObjectClass(env, andBackAgain); jmethodID method = (*env)->GetMethodID(env, cls, "call", "()V"); (*env)->CallVoidMethod(env, andBackAgain, method); } JavaToNative.c
60. Собираем! 60
61. Собираем! 61 gcc.exe -Wall -D_JNI_IMPLEMENTATION_ -Wl,--kill-at -I %JAVA_HOME%/include -I %JAVA_HOME%/include/win32 -I. -L %JAVA_HOME%/jre/lib -shared JavaToNative.c -o lib/NativeLib.dll
62. Собираем! 62 gcc.exe -Wall -D_JNI_IMPLEMENTATION_ -Wl,--kill-at -I %JAVA_HOME%/include -I %JAVA_HOME%/include/win32 -I. -L %JAVA_HOME%/jre/lib -shared JavaToNative.c -o lib/NativeLib.dll Nokee plugins ✓ Кроссплатформенное решение ✓ Удобное использование через Gradle ✓ nokee.dev
63. Собираем и запускаем! 63 gcc.exe -Wall -D_JNI_IMPLEMENTATION_ -Wl,--kill-at -I %JAVA_HOME%/include -I %JAVA_HOME%/include/win32 -I. -L %JAVA_HOME%/jre/lib -shared JavaToNative.c -o lib/NativeLib.dll public class JavaToNative { static native void goThere(Callback andBackAgain); public static void main(String[] args) { System.loadLibrary("NativeLib"); goThere(new Callback("Eagles")); } }
64. Собираем и запускаем! 64 gcc.exe -Wall -D_JNI_IMPLEMENTATION_ -Wl,--kill-at -I %JAVA_HOME%/include -I %JAVA_HOME%/include/win32 -I. -L %JAVA_HOME%/jre/lib -shared JavaToNative.c -o lib/NativeLib.dll public class JavaToNative { static native void goThere(Callback andBackAgain); public static void main(String[] args) { System.loadLibrary("NativeLib"); goThere(new Callback("Eagles")); } } $ java -Djava.library.path=./lib JavaToNative Ok, we are in Mordor now! Ok, we are in Shire again! Returned by Eagles
65. Что может пойти не так? 65
66. Что может пойти не так? 66 ✓ Статическая типовая информация утеряна. Добро пожаловать в JavaScript!
67. 67 /* * Class: JavaToNative * Method: goThere * Signature: (LCallback;)V */ JNIEXPORT void JNICALL Java_JavaToNative_goThere(JNIEnv * env, jclass klass, jobject andBackAgain) { printf("Ok, we are in Mordor now!\n"); jclass cls = (*env)->GetObjectClass(env, andBackAgain); jmethodID method = (*env)->GetMethodID(env, cls, "call", "()V"); (*env)->CallVoidMethod(env, andBackAgain, method); }
68. 68 /* * Class: JavaToNative * Method: goThere * Signature: (LCallback;Ljava/lang/Object)V */ JNIEXPORT void JNICALL Java_JavaToNative_goThere(JNIEnv * env, jclass klass, jobject andBackAgain, jobject luggage) { printf("Ok, we are in Mordor now!\n"); jclass cls = (*env)->GetObjectClass(env, andBackAgain); jmethodID method = (*env)->GetMethodID(env, cls, "call", "()V"); (*env)->CallVoidMethod(env, luggage, method); } java -Djava.library.path=./lib JavaToNative
69. 69 /* * Class: JavaToNative * Method: goThere * Signature: (LCallback;Ljava/lang/Object)V */ JNIEXPORT void JNICALL Java_JavaToNative_goThere(JNIEnv * env, jclass klass, jobject andBackAgain, jobject luggage) { printf("Ok, we are in Mordor now!\n"); jclass cls = (*env)->GetObjectClass(env, andBackAgain); jmethodID method = (*env)->GetMethodID(env, cls, "call", "()V"); (*env)->CallVoidMethod(env, luggage, method); } java -Djava.library.path=./lib JavaToNative Ok, we are in Mordor now! # A fatal error has been detected by the Java Runtime Environment: # # EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x00007ffb8add70e1, pid=14100, tid=12564 # # JRE version: OpenJDK Runtime Environment AdoptOpenJDK (14.0.1+7) (build 14.0.1+7) # Java VM: OpenJDK 64-Bit Server VM AdoptOpenJDK (14.0.1+7, mixed mode, sharing, tiered, compressed oops , g1 gc, windows-amd64) # Problematic frame: # V [jvm.dll+0x3970e1]
70. Что может пойти не так? 70 ✓ Статическая типовая информация утеряна. Добро пожаловать в JavaScript! ✓ Вызов правильных JNI функций - ваша ответственность
71. Что может пойти не так? 71 ✓ Статическая типовая информация утеряна. Добро пожаловать в JavaScript! ✓ Вызов правильных JNI функций - ваша ответственность ✓ Исключения из Java не пробрасываются (см. ExceptionOccurred, ExceptionClear)
72. 72 -Xcheck:jni
73. 73 /* * Class: JavaToNative * Method: goThere * Signature: (LCallback;Ljava/lang/Object)V */ JNIEXPORT void JNICALL Java_JavaToNative_goThere(JNIEnv * env, jclass klass, jobject andBackAgain, jobject luggage) { printf("Ok, we are in Mordor now!\n"); jclass cls = (*env)->GetObjectClass(env, andBackAgain); jmethodID method = (*env)->GetMethodID(env, cls, "call", "()V"); (*env)->CallVoidMethod(env, luggage, method); } java -Djava.library.path=./lib JavaToNative
74. 74 /* * Class: JavaToNative * Method: goThere * Signature: (LCallback;Ljava/lang/Object)V */ JNIEXPORT void JNICALL Java_JavaToNative_goThere(JNIEnv * env, jclass klass, jobject andBackAgain, jobject luggage) { printf("Ok, we are in Mordor now!\n"); jclass cls = (*env)->GetObjectClass(env, andBackAgain); jmethodID method = (*env)->GetMethodID(env, cls, "call", "()V"); (*env)->CallVoidMethod(env, luggage, method); } java -Xcheck:jni -Djava.library.path=./lib JavaToNative
75. 75 java -Xcheck:jni -Djava.library.path=./lib JavaToNative Ok, we are in Mordor now! FATAL ERROR in native method: Wrong object class or methodID passed to JNI call at JavaToNative.goThere(Native Method) at JavaToNative.main(JavaToNative.java:9)
76. Что может пойти не так? 76 ✓ Статическая типовая информация утеряна. Добро пожаловать в JavaScript! ✓ Вызов правильных JNI функций - ваша ответственность ✓ Исключения из Java не пробрасываются ✓ -Xcheck:jni значительно улучшает диагностику простых случаев (но это стоит дорого)
77. Как позвать натив? 77 Как себя должен вести GC? Где взять нативы? Как работать с Java из натива?
78. GC в Java коде 78 ◦ safe-points, в которых "припарковываются" потоки
79. 79 ◦ safe-points, в которых "припарковываются" потоки ◦ GC ждет, пока потоки припаркуются Threads in Java code GC request GC в Java коде
80. GC в Java коде 80 ◦ safe-points, в которых "припарковываются" потоки ◦ GC ждет, пока потоки припаркуются Threads in Java code GC request
81. GC в Java коде 81 ◦ safe-points, в которых "припарковываются" потоки ◦ GC ждет, пока потоки припаркуются Threads in Java code GC Threads GC request
82. GC в нативном коде 82 ◦ какие еще safe-points? ◦ натив продолжает работать
83. 83 Threads in Java code GC Threads GC request GC в нативном коде ◦ какие еще safe-points? ◦ натив продолжает работать
84. 84 GC в нативном коде ◦ какие еще safe-points? ◦ натив продолжает работать Threads in Java code GC Threads GC request Threads in native
85. 85 ◦ какие еще safe-points? ◦ натив продолжает работать ◦ на входе и выходе из натива синхронизация с GC Threads in Java code GC Threads GC request Threads in native GC в нативном коде
86. 86 Нельзя трогать Java объекты в нативе во время GC!
87. 87 public class JavaToNative { static native void goThere(Callback andBackAgain); } JNIEXPORT void JNICALL Java_JavaToNative_goThere (JNIEnv *, jclass, jobject); javac JavaToNative.java -h . JavaToNative.h GC в нативном коде
88. 88 jobject и компания - специальные хендлы, для которых: 1. JVM поддерживает связь с реальными Java объектами j.l.Object jobject Native Heap Java Heap GC в нативном коде
89. 89 jobject и компания - специальные хендлы, для которых: 1. JVM поддерживает связь с реальными Java объектами j.l.Object jobject Native Heap Java Heap GC в нативном коде
90. 90 jobject и компания - специальные хендлы, для которых: 1. JVM поддерживает связь с реальными Java объектами 2. Доступ к реальным Java объектам (через JNI) синхронизирован с GC j.l.Object jobject Native Heap Java Heap GC в нативном коде
91. 91 jobject и компания - специальные хендлы, для которых: 1. JVM поддерживает связь с реальными Java объектами 2. Доступ к реальным Java объектам (через JNI) синхронизирован с GC 3. Содержимое считается GC-roots! j.l.Object jobject Native Heap Java Heap GC в нативном коде
92. 92 Garbage Collector jobject jobject jobject
93. Подводные камни (GC + Natives) 93 ✓ Для хендлов реализована альтернативная система управления памятью
94. Подводные камни (GC + Natives) 94 ✓ Для хендлов реализована альтернативная система управления памятью Типы хендлов (в коде все выглядит, как jobject & Co):
95. Подводные камни (GC + Natives) 95 ✓ Для хендлов реализована альтернативная система управления памятью Типы хендлов (в коде все выглядит, как jobject & Co): 1. Local Reference живут не дольше одного нативного вызова
96. Подводные камни (GC + Natives) 96 ✓ Для хендлов реализована альтернативная система управления памятью Типы хендлов (в коде все выглядит, как jobject & Co): 1. Local Reference 2. Global Reference 3. Weak Global Reference живут не дольше одного нативного вызова живут, пока их явно не освободят живут, пока их явно не освободят, но GC может собрать Java объект
97. Подводные камни (GC + Natives) 97 ✓ Особая система управления памятью (в которой легко получить memory leak/dangling pointer)
98. Подводные камни (GC + Natives) 98 ✓ Особая система управления памятью (в которой легко получить memory leak/dangling pointer) ✓ Особая обработка массивов и строк: pinning vs copying
99. Подводные камни (GC + Natives) 99 ✓ Особая система управления памятью (в которой легко получить memory leak/dangling pointer) ✓ Особая обработка массивов и строк: pinning vs copying ✓ Опасные JNI методы Get*Critical (могут сильно помешать работе GC вплоть до зависания JVM) shipilev.net/jvm/anatomy-quarks/9-jni-critical-gclocker
100. Производительность нативных вызовов 100
101. Производительность нативных вызовов 101 ВСЕ ОЧЕНЬ МЕДЛЕННО
102. Производительность нативных вызовов 102 ВСЕ ОЧЕНЬ МЕДЛЕННО Измерять будем на: Intel Core i7-7700 @ 3.60 GHz; 16GB RAM; Linux Ubuntu 18.04
103. Производительность нативных вызовов 103 прямой вызов Java метода без инлайна Java Java OpenJDK 17.0.1
104. Производительность нативных вызовов 104 прямой вызов Java метода без инлайна вызов нативного метода (без параметров) из Java Java Java Java Native OpenJDK 17.0.1
105. Производительность нативных вызовов 105 прямой вызов Java метода без инлайна вызов нативного метода (без параметров) из Java Разница в 6 раз На jdk-11.0.7 Java Java Java Native OpenJDK 17.0.1
106. Производительность нативных вызовов 106 вызов нативного метода (без параметров) из Java Вызов нативного метода (без параметров) из Java, а из него вызов Java метода (без параметров) Java Native Java Java Native OpenJDK 17.0.1
107. вызов нативного метода (без параметров) из Java Вызов нативного метода (без параметров) из Java, а из него вызов Java метода (без параметров) Разница в 5 раз Производительность нативных вызовов 107 Java Native Java Java Native OpenJDK 17.0.1
108. Производительность нативных вызовов ...почему? ВСЕ ОЧЕНЬ МЕДЛЕННО
109. 109 static native void goNative(); call 0x00007f4882317c70
110. 110 static native void goNative(); mov DWORD PTR [rsp-0x14000],eax push rbp mov rbp,rsp sub rsp,0x40 movabs r14,0x76d381c90; mov QWORD PTR [rsp+0x30],r14 lea r14,[rsp+0x30] mov rsi,r14 movabs r10,0x7f486d4481fe mov QWORD PTR [r15+0x1c8],r10 mov QWORD PTR [r15+0x1c0],rsp cmp BYTE PTR [rip+0x154b0527],0x0 je 0x00007f486d448255 push rsi movabs rsi,0x7f486b1433f8 mov rdi,r15 test esp,0xf je 0x00007f486d44824f sub rsp,0x8 call 0x00007f4882317be0 add rsp,0x8 jmp 0x00007f486d448254 call 0x00007f4882317be0 pop rsi lea rdi,[r15+0x1e0] mov DWORD PTR [r15+0x258],0x4 call 0x00007f486073a79a vzeroupper mov DWORD PTR [r15+0x258],0x5 mov ecx,r15d shr ecx,0x4 and ecx,0xffc movabs r10,0x7f4883580000 mov DWORD PTR [r10+rcx*1],ecx cmp DWORD PTR [rip+0x154bbf5e],0x0 jne 0x00007f486d4482b2 cmp DWORD PTR [r15+0x30],0x0 je 0x00007f486d4482cb call 0x00007f4882317be0 add rsp,0x8 jmp 0x00007f486d448254 call 0x00007f4882317be0 pop rsi lea rdi,[r15+0x1e0] mov DWORD PTR [r15+0x258],0x4 call 0x00007f486073a79a mov DWORD PTR [r15+0x258],0x4 call 0x00007f486073a79a vzeroupper mov DWORD PTR [r15+0x258],0x5 mov ecx,r15d shr ecx,0x4 and ecx,0xffc movabs r10,0x7f4883580000 mov DWORD PTR [r10+rcx*1],ecx cmp DWORD PTR [rip+0x154bbf5e],0x0 jne 0x00007f486d4482b2 cmp DWORD PTR [r15+0x30],0x0 je 0x00007f486d4482cb mov rdi,r15 mov r12,rsp sub rsp,0x0 and rsp,0xfffffffffffffff0 call 0x00007f48823b84f0 mov rsp,r12 xor r12,r12 mov DWORD PTR [r15+0x258],0x8 cmp DWORD PTR [r15+0x284],0x1 je 0x00007f486d448369 cmp BYTE PTR [rip+0x154b0456],0x0 je 0x00007f486d448324 movabs rsi,0x7f486b1433f8 mov rdi,r15 test esp,0xf je 0x00007f486d44831f sub rsp,0x8 call 0x00007f4882317c70 add rsp,0x8 jmp 0x00007f486d448324 call 0x00007f4882317c70 movabs r10,0x0 mov QWORD PTR [r15+0x1c0],r10 movabs r10,0x0 mov QWORD PTR [r15+0x1c8],r10 mov rcx,QWORD PTR [r15+0x38] mov DWORD PTR [rcx+0x100],0x0 leave cmp QWORD PTR [r15+0x8],0x0 jne 0x00007f486d448364 ret jmp Stub::forward exception
111. Производительность нативных вызовов 111 ✓ State transition (Java -> Native и Native -> Java) очень дорог: 1. Синхронизация с GC 2. Завертка параметров в Local References 3. Обработка результата + exception check 4. Перепушивание параметров
112. Производительность нативных вызовов 112 ✓ State transition (Java -> Native и Native -> Java) очень дорог: 1. Синхронизация с GC 2. Завертка параметров в Local References 3. Обработка результата + exception check 4. Перепушивание параметров ✓ Никакого инлайнинга! ✓ Особенности реализации Hotspot (стабы для перехода Native -> Java)
113. 1. javac -h для генерации .h файлов 2. nokee.dev для сборки 3. -Xcheck:jni для отлавливания ошибок 4. Осторожнее с JNI References и с JNI Get*Critical 5. Переход в натив (и возврат в Java) очень дорогой 113 Takeaways про JNI
114. 114 JNI - хорошо, но больно
115. 115 А МОЖЕТ НЕ НУЖНО ПИСАТЬ КОД НА C/C++?
116. Идея: ✓ Весь код писать на Java, а связь с нативом генерировать автоматически 116 Новейшее время
117. Идея: ✓ Весь код писать на Java, а связь с нативом генерировать автоматически Реализация: ✓ Библиотеки: JNA, JNR, JavaCPP, ... 117 Новейшее время
118. (Java Native Access) JNA <dependency> <groupId>net.java.dev.jna</groupId> <artifactId>jna</artifactId> <version>5.5.0</version> </dependency> 118
119. 119 JNA __declspec(dllexport) void __stdcall sayHello(const char* name) { printf("Hello %s from native!\n", name); } MyNativeLib.c
120. 120 JNA __declspec(dllexport) void __stdcall sayHello(const char* name) { printf("Hello %s from native!\n", name); } MyNativeLib.c public interface MyNativeLibrary extends Library { MyNativeLibrary INSTANCE = (MyNativeLibrary) Native.load("MyNativeLib", MyNativeLibrary.class); void sayHello(String name); } TestJNA.java MyNativeLibrary.INSTANCE.sayHello("ITeaConf");
121. 121 JNA __declspec(dllexport) void __stdcall sayHello(const char* name) { printf("Hello %s from native!\n", name); } MyNativeLib.c public interface MyNativeLibrary extends Library { MyNativeLibrary INSTANCE = (MyNativeLibrary) Native.load("MyNativeLib", MyNativeLibrary.class); void sayHello(String name); } TestJNA.java MyNativeLibrary.INSTANCE.sayHello("ITeaConf");
122. 122 JNA __declspec(dllexport) void __stdcall sayHello(const char* name) { printf("Hello %s from native!\n", name); } MyNativeLib.c public interface MyNativeLibrary extends Library { MyNativeLibrary INSTANCE = (MyNativeLibrary) Native.load("MyNativeLib", MyNativeLibrary.class); void sayHello(String name); } MyNativeLibrary.INSTANCE.sayHello("ITeaConf"); TestJNA.java $ java -Djava.library.path=./lib TestJNA Hello ITeaConf from native!
123. 123 JNA Поддерживается: ✓ Передача, возврат по значению ✓ Указатели, C-like массивы, C-like строки ✓ Указатели на функции ✓ Struct & Union ✓ varargs
124. 124 JNA Самое вкусное: ✓ Заготовлены Java описания для многих популярных C библиотек ◦ LibC, X11, udev, ... ◦ Kernel32, Pdh, Psapi, ... github.com/java-native-access/jna#jna-platform
125. 125 JNA WinBase.SYSTEMTIME systemTime = new WinBase.SYSTEMTIME(); Kernel32.INSTANCE.GetSystemTime(systemTime); System.out.println("System time: " + systemTime); System time: 31 октября 2021 г., 14:08:03
126. 126 JNA WinBase.SYSTEMTIME systemTime = new WinBase.SYSTEMTIME(); Kernel32.INSTANCE.GetSystemTime(systemTime); System.out.println("System time: " + systemTime); Psapi.PERFORMANCE_INFORMATION info = new Psapi.PERFORMANCE_INFORMATION(); Psapi.INSTANCE.GetPerformanceInfo(info, 104); System.out.println("commited mem = " + info.CommitTotal); System.out.println("physical mem = " + info.PhysicalTotal); commited mem = 3357974 physical mem = 2069169 System time: 31 октября 2021 г., 14:08:03
127. 127 JNA - подводные камни
128. 128 JNA - подводные камни ВСЁ ЕЩЁ МЕДЛЕННЕЕ
129. 129 JNA - подводные камни Java ⇒ Java - прямой вызов Java метода без инлайна Java ⇒ Native - вызов нативного метода (без параметров) из Java Разница в 6 раз OpenJDK 17.0.1
130. 130 JNA - подводные камни Java ⇒ Native (JNI) - вызов нативного метода (без параметров) из Java Java ⇒ Native (JNA) - вызов нативного метода чрез JNA OpenJDK 17.0.1
131. 131 JNA - подводные камни Java ⇒ Native (JNI) - вызов нативного метода (без параметров) из Java Java ⇒ Native (JNA) - вызов нативного метода чрез JNA Разница в 7.5 раз (в 42 раза от вызова Java версии) OpenJDK 17.0.1
132. Производительность JNA 132 ✓ Все базируется на JNI, поэтому быстрее быть точно не может
133. Как позвать натив? 133 Как себя должен вести GC? Где взять нативы? Как работать с Java из натива?
134. Как позвать натив? 134 Как себя должен вести GC? Где взять нативы? Как работать с Java из натива?
135. Производительность JNA 135 ✓ Все базируется на JNI, поэтому быстрее быть точно не может ✓ Поиск реализаций: на стороне Java - Reflection, на стороне натива огромный dispatch MyNativeLibrary.INSTANCE.sayHello("ITeaConf"); com.sun.jna.Natives.invokeVoid(...) com.sun.jna.Function.invoke(...) void __stdcall sayHello(const char* name)
136. Производительность JNA 136 ✓ Все базируется на JNI, поэтому быстрее быть точно не может ✓ Поиск реализаций: на стороне Java - Reflection, на стороне натива огромный dispatch ✓ Мусорит Java обертками вокруг нативых сущностей (Pointer, Memory, ByReference)
137. А есть еще варианты? 137
138. А есть еще варианты? 138 ✓ JNR - Java Native Runtime
139. А есть еще варианты? 139 ✓ JNR - Java Native Runtime ◦ работает НАМНОГО быстрее JNA
140. JNR - производительность 140 OpenJDK 17.0.1
141. JNR - производительность 141 OpenJDK 17.0.1
142. JNR - производительность 142 OpenJDK 17.0.1
143. А есть еще варианты? 143 ✓ JNR - Java Native Runtime ◦ работает НАМНОГО быстрее JNA (но не быстрее JNI)
144. А есть еще варианты? 144 ✓ JNR - Java Native Runtime ◦ работает НАМНОГО быстрее JNA (но не быстрее JNI) ◦ но меньше оберток для библиотек и работает не на всех платформах
145. А есть еще варианты? 145 ✓ JNR - Java Native Runtime ◦ работает НАМНОГО быстрее JNA (но не быстрее JNI) ◦ но меньше оберток для библиотек и работает не на всех платформах ✓ JavaCPP
146. А есть еще варианты? 146 ✓ JNR - Java Native Runtime ◦ работает НАМНОГО быстрее JNA (но не быстрее JNI) ◦ но меньше оберток для библиотек и работает не на всех платформах ✓ JavaCPP ◦ работает намного* быстрее JNA (но не быстрее JNI)
147. 147 JavaCPP OpenJDK 17.0.1
148. А есть еще варианты? 148 ✓ JNR - Java Native Runtime ◦ работает НАМНОГО быстрее JNA (но не быстрее JNI) ◦ но меньше оберток для библиотек и работает не на всех платформах ✓ JavaCPP ◦ работает намного* быстрее JNA (но не быстрее JNI) ◦ предназначен для связи с C++ кодом
149. 1. JNA, JNR, JavaCPP - повышают удобство интеропа 2. С ними больше никакого кода на C/C++ 3. Платим производительностью и иногда корректностью 4. Детальный разбор здесь: https://www.youtube.com/watch?v=DVTeZdtuHS0 149 Takeaways про библиотеки
150. 150 Что день готовит нам грядущий?
151. 151 Project Panama
152. 152 Project Panama ✓ Что: мега-проект в JDK (since 2014) ✓ Зачем: легкость использования С/С++ библиотек и нативного кода из Java ✓ Как: вместо написания кода на C/C++ расширить возможности Java
153. 153 Project Panama ✓ Memory Access API (JEP 370, 383, 393) ◦ Новый API для работы с нативной памятью ◦ Потенциальная замена ByteBuffer ◦ Incubator-модуль в Java 14, 15, 16, 17
154. 154 Project Panama ✓ Memory Access API (JEP 370, 383, 393) ✓ Новый Foreign Function Interface (JEP 191, 412, 419) ◦ Native Method Handles ◦ MemorySegment from Memory Access API ◦ jextract для генерации интерфейсов ◦ Incubator-модуль в Java 17
155. 155 Project Panama ✓ Memory Access API (JEP 370, 383, 393) ✓ Новый Foreign Function Interface (JEP 191, 412, 419) ◦ Native Method Handles ◦ MemorySegment from Memory Access API ◦ jextract для генерации интерфейсов ◦ Incubator-модуль в Java 17 ✓ Vector API (JEP 338, 414)
156. Project Panama void test(void) { printf("Hello from Panama!\n"); } void testUpcall(void (*upcall)(void)) { upcall(); } panamatest.c void test(void); void testUpcall(void (*upcall)(void)); panamatest.h 156
157. static { System.loadLibrary("panamatest"); } static CLinker LINKER = CLinker.getInstance(); static SymbolLookup loaderLookup = SymbolLookup.loaderLookup(); static final MethodHandle downcallMH = LINKER.downcallHandle(loaderLookup.lookup("test").get(), MethodType.methodType(void.class), FunctionDescriptor.ofVoid()); Project Panama 157 jdk-17.0.1
158. static { System.loadLibrary("panamatest"); } static CLinker LINKER = CLinker.getInstance(); static SymbolLookup loaderLookup = SymbolLookup.loaderLookup(); static final MethodHandle downcallMH = LINKER.downcallHandle(loaderLookup.lookup("test").get(), MethodType.methodType(void.class), FunctionDescriptor.ofVoid()); Project Panama 158 jdk-17.0.1
159. static { System.loadLibrary("panamatest"); } static CLinker LINKER = CLinker.getInstance(); static SymbolLookup loaderLookup = SymbolLookup.loaderLookup(); static final MethodHandle downcallMH = LINKER.downcallHandle(loaderLookup.lookup("test").get(), MethodType.methodType(void.class), FunctionDescriptor.ofVoid()); Project Panama 159 downcallMH.invokeExact(); jdk-17.0.1
160. static { System.loadLibrary("panamatest"); } static CLinker LINKER = CLinker.getInstance(); static SymbolLookup loaderLookup = SymbolLookup.loaderLookup(); static final MethodHandle downcallMH = LINKER.downcallHandle(loaderLookup.lookup("test").get(), MethodType.methodType(void.class), FunctionDescriptor.ofVoid()); Project Panama 160 downcallMH.invokeExact(); $ java --add-modules=jdk.incubator.foreign \ --enable-native-access=ALL-UNNAMED \ -Djava.library.path=./lib TestPanama jdk-17.0.1
161. static { System.loadLibrary("panamatest"); } static CLinker LINKER = CLinker.getInstance(); static SymbolLookup loaderLookup = SymbolLookup.loaderLookup(); static final MethodHandle downcallMH = LINKER.downcallHandle(loaderLookup.lookup("test").get(), MethodType.methodType(void.class), FunctionDescriptor.ofVoid()); Project Panama 161 downcallMH.invokeExact(); $ java --add-modules=jdk.incubator.foreign \ --enable-native-access=ALL-UNNAMED \ -Djava.library.path=./lib TestPanama WARNING: Using incubator modules: jdk.incubator.foreign Hello from Panama! jdk-17.0.1
162. Project Panama 162 void test(void) { printf("Hello from Panama!\n"); } void testUpcall(void (*upcall)(void)) { upcall(); } panamatest.c void test(void); void testUpcall(void (*upcall)(void)); panamatest.h Возвращаемся в Java код через указатель на Java функцию;
163. Project Panama 163 void test(void) { printf("Hello from Panama!\n"); } void testUpcall(void (*upcall)(void)) { upcall(); } panamatest.c void test(void); void testUpcall(void (*upcall)(void)); panamatest.h Возвращаемся в Java код через указатель на Java функцию; Java объекты в нативный код больше не попадают! (кроме ну очень специальных, типа MemoryAddress)
164. Project Panama: jextract void test(void) { printf("Hello from Panama!\n"); } void testUpcall(void (*upcall)(void)) { upcall(); } panamatest.c void test(void); void testUpcall(void (*upcall)(void)); panamatest.h 164
165. Project Panama: jextract void test(void) { printf("Hello from Panama!\n"); } void testUpcall(void (*upcall)(void)) { upcall(); } panamatest.c jextract void test(void); void testUpcall(void (*upcall)(void)); panamatest.h 165
166. package org.sample; public final class panamatest_h { public static MethodHandle test$MH() { return panamatest_h$constants.test$MH(); } public static void test () { try { panamatest_h$constants.test$MH().invokeExact(); } catch (Throwable ex) { throw new AssertionError(ex); } } ... } panamatest_h.java Project Panama: jextract 166
167. 167 А что там с производительностью? Project Panama
168. 168 Project Panama Java ⇒ Native (JNI) - вызов нативного метода (без параметров) из Java OpenJDK 16-internal+0-adhoc.user.panama-foreign-CallIntrinsicsFinal2
169. 169 Project Panama Java ⇒ Native (JNI) - вызов нативного метода (без параметров) из Java Java ⇒ Native (Panama) - вызов нативного метода (без параметров) из Java через MethodHandle +4% OpenJDK 16-internal+0-adhoc.user.panama-foreign-CallIntrinsicsFinal2
170. 170 Project Panama Java ⇒ Native (JNI) - вызов нативного метода (без параметров) из Java Java ⇒ Native (Panama) - вызов нативного метода (без параметров) из Java через MethodHandle +6.7% OpenJDK 17.0.1
171. 171 Project Panama Java ⇒ Native ⇒ Java (JNI) - upcall в Java через вызов метода переданного объекта Java ⇒ Native ⇒ Java (Panama 17) - upcall через указатель на функцию и MethodHandle +8% OpenJDK 17.0.1
172. 172 Project Panama: что читать ✓ Мейлинг лист проекта: mail.openjdk.java.net/mailman/listinfo/panama-dev ✓ Описание текущего состояния: github.com/openjdk/panama-foreign/...
173. 173 Project Panama: что смотреть youtu.be/4vHMmLqF09Y youtu.be/0y6_RDga-fk
174. Заключение ✓ Старайтесь не писать нативный код (там горные тролли) 174
175. Заключение ✓ Старайтесь не писать нативный код (там горные тролли) ✓ Знайте свой путь в Мордор фреймворк для вызова нативного кода youtube.com/watch?v=DVTeZdtuHS0 175
176. Заключение ✓ Старайтесь не писать нативный код (там горные тролли) ✓ Знайте свой путь в Мордор фреймворк для вызова нативного кода youtube.com/watch?v=DVTeZdtuHS0 ✓ Native ⇔ managed переходы в Java - все еще открытый вопрос! 176
177. Q & A t.me/jugnsk ivan.ugliansky@gmail.com @dbg_nsk бенчмарки здесь: github.com/ugliansky/jpoint2020