Владимир Озеров «Заклятые друзья или как подружить .NET и Java»

Как заставить Apache Ignite работать на .NET? Построчно спортировать с Java? Все 500 тысяч строк? Мы пошли другим путем, решив переиспользовать существующую Java-логику прямо внутри .NET процесса. В докладе я расскажу, почему мы приняли такое решение, как мы это сделали, и с какими трудностями столкнулись.

Transcript

1. Архитектура Apache Ignite.NET Владимир Озеров GridGain
2. План 2 • Почему • Interop • Native
3. Кто? 3
4. План 4 • Почему • Interop • Native
5. Почему: тонкие клиенты 5
6. Почему: тонкие клиенты 6 За: • Легко сделать Против: • Ограниченный
7. Почему: объединить Java client и server 7
8. Почему: объединить Java client и server 8 За: • Полноценный Против: • Тяжелее
9. Почему: создание с нуля 9
10. Почему: создание с нуля 10 За: • Естественно • Перфоманс • Полноценный Против: • С нуля • Надо менять Java • Поддержка
11. Создание с нуля: поддержка 11
12. Создание с нуля: поддержка 12
13. 13 Создание с нуля: поддержка
14. 14 Создание с нуля: поддержка
15. Почему: переиспользование Java core 15
16. Почему: переиспользование Java core 16 За: • Общий код • Легко сделать • Полноценный Против: • Странно! • Медленнее нативного
17. Переиспользование Java core 17
18. Переиспользование Java core 18 OVERHEAD!
19. План 19 • Почему • Interop • Native
20. Сериализация 20
21. Сериализация 21 За: • Нет классов
22. Сериализация 22
23. Сериализация 23 За: • Нет классов! Против: • Не десериализовать
24. Идентификаторы: TYPE_ID и FIELD_ID 24 1: class DotNetPerson { 2: string Name { ... } 3: 4: ... 5: } 1: class JavaPerson { 2: private String name; 3: 4: ... 5: } TYPE_ID(DotNetPerson) == TYPE_ID(JavaPerson) FIELD_ID(DotNetPerson.Name) == FIELD_ID(JavaPerson.name)
25. Формат сериализации 25 Header • Type ID – тип объекта • Hash code – для быстрого поиска в кэше • Length – для «пропусков» • Flags – внутренности
26. 26 GetField("name") => OK HasField("name") => OK Формат сериализации
27. 27 GetField("name") => OK HasField("name") => OK O(N)! Формат сериализации
28. Поиск полей за O(1) 28 Header • Schema ID – «отпечаток» полей • Footer offset – быстрая навигация в футер Footer • Идентификаторы полей и их смещения
29. 29 int fieldId = GetFieldId("name"); Поиск полей за O(1)
30. 30 int fieldId = GetFieldId("name"); int order = GetOrder(schemaId, fieldId); Поиск полей за O(1)
31. 31 int fieldId = GetFieldId("name"); int order = GetOrder(schemaId, fieldId); int offsetPos = footerPos + [X] * order; Поиск полей за O(1)
32. 32 int fieldId = GetFieldId("name"); int order = GetOrder(schemaId, fieldId); int offsetPos = footerPos + [X] * order; int offset = Read(offsetPos); Поиск полей за O(1)
33. Interop: metadata 33
34. Interop: metadata 34
35. Interop: metadata 35
36. Interop: metadata 36
37. Interop: metadata 37
38. План 38 • Почему • Interop • Native
39. Embedded JVM 39
40. Embedded JVM 40
41. Embedded JVM 41
42. External JVM 42
43. Проблемы GC 43
44. Проблемы GC 44
45. Проблемы GC 45
46. .NET -> Java: полагаемся на финализацию 46 1: unsafe class UnmanagedTarget : CriticalHandle 2: { 3: public UnmanagedTarget(void* target) 4: { 5: SetHandle(new IntPtr(target)); 6: } 7: 8: protected override bool ReleaseHandle() { 9: UnmanagerUtils.Release(this); 10: } 11: }
47. Java -> .NET: освобождаем явно 47 1: class PlatformListener { 2: private long ptr; 3: private boolean released; 4: 5: public void use() { 6: READ_LOCK { 7: if (!released) 8: NativeUtils.use(ptr); 9: } 10: } 11: 12: public void release() { 13: WRITE_LOCK { 14: NativeUtils.use(ptr); 15: released = true; 16: } 17: } 18: }
48. Native: unique pointers 48 1: HandleRegistry registry; 2: 3: T Get<T>(long ptr) { 4: T target = (T)registry.Get(ptr); 5: 6: if (target == null) 7: throw new ResourceReleasedException(); 8: 9: return target; 10: }
49. Java -> .NET: освобождаем явно 49 1: class PlatformListener { 2: private long ptr; 3: 4: public void use() { 5: NativeUtils.use(ptr); 6: } 7: 8: public void release() { 9: NativeUtils.use(ptr); 10: } 11: }
50. Уникальные указатели 50 0 < ptr < X • Это индекс в массиве • Для долгоживущих объектов (cache store, listeners, etc.) ptr >= X • Это ключ в ConcurrentDictionary • Для короткоживущих объектов (jobs, etc.)
51. Передаем данные 51 Особенности: • Храним пре-аллоцированные куски в thread-local • Флаги кодируют «природу» памяти (пул или нет, Java или .Net)
52. Передаем данные 52 1: using (long inPtr = MemoryManager.Allocate()) { 2: using (long outPtr = MemoryManager.Allocate()) { 3: Marshal(input, inPtr); 4: 5: Invoke(inPtr, outPtr); 6: 7: return Unmarshal<T>(outPtr); 8: } 9: }
53. Уменьшаем оверхед 53 Кэширование • Если объект read-only, то сериализуем его 1 раз, а далее передаем только «хэндл» Coalescense • Один большой вызов вместо нескольких мелких Отложенная сериализация • Если подозреваем, что сериализация не понадобиться, то пытаемся обойтись GCHandle
54. Контакты 54 Twitter: • https://twitter.com/devozerov LinkedIn: • https://www.linkedin.com/in/devozerov
55. 55 Вопросы?