SceneKit на практике

Transcript

1. Вячеслав Гилевич, разработчик SceneKit на практике
3. › Загрузка моделей › Уменьшение размера ресурсов › Констрейнты › Зеркальные отражения › Видеотекстуры › Модификаторы шейдров › Запись видео SceneKit на практике 3
4. Немного про SceneKit
5. SceneKit — фреймворк для 3D сцен 5 Как создать сцену? › Геометрия › Материалы › Освещение › Камеры › Анимация
6. SceneKit — фреймворк для 3D сцен. 
 Кроме графики, в нём есть: › Генератор частиц › Физический движок 6
7. Загрузка моделей в SceneKit
8. › Из бандла › По URL › Через MDLAsset › Через ReferenceNode Варианты загрузки 3D модели 8
9. SCNScene.init(url:options:) › Настраиваемый импорт › Поддерживает .scn и .dae файлы › Синхронная загрузка › Необходимо копировать структуру из сцены в ноду URL + настройки импорта 9
10. SCNScene.init(mdlAsset:) › Загружает obj, ply, stl, usd, usda, usdc, usdz, abc, bsp, vox, md3 › Синхронная загрузка › Необходимо копировать структуру сцены › Оверхед на конвертацию Используем MDLAsset 10
11. SCNReferenceNode.init(url:) › Поддерживает .scn и .dae файлы › Ленивая загрузка › Теряет глобальные параметры сцены Используем SCNReferenceNode 11
12. › Конвертируйте в .scn заранее › Проверяйте сцену в Xcode › Конвертируйте все ресурсы в .heic › Загружайте сцену с ассетами архивом Загрузка моделей: советы 12
13. Добавление эффектов: Констрейнты
14. › SCNBillboardConstraint › SCNLookAtConstraint › SCNDistanceConstraint › SCNAvoidOccluderConstraint › SCNSliderConstraint › SCNReplicatorConstraint › SCNIKConstraint Констрейнты 14
15. Просто повторяет позицию, поворот и размер, и добавляет дополнительное оффсеты. SCNReplicatorConstraint 15
16. Параметры констрейнтов 16 Стандартные параметры Уменьшили силу в 10 раз
17. Параметры констрейнтов 17 Стандартные параметры Уменьшили силу в 10 раз и убрали инкрементальность
18. Используется для: › Деревьев вдалеке › Мелких объектов › Спецэффектов, вроде огня или взрыва › Привязка камеры к персонажу SCNBillboardConstraint | SCNLookAtConstraint 18
19. SCNDistanceConstraint | SCNSliderConstraint 19 Держит дистанцию между выбранными объектами Держит дистанцию до всех физических тел
20. › Inverse Kinematics из коробки › Нет возможности задать ориентацию › Нет ограничений углов в зависимости от оси SCNIKConstraint 20
21. Добавление эффектов: Тени
22. Тени для ARKit’a: › Включи отложенные тени › Отключи запись всех компонент Тени на прозрачной поверхности 22
23. Добавление эффектов: Зеркала
24. Как сделать? › SCNFloor › Своя модель поверх него Зеркальные отражения 24
25. Зеркальные отражения с картой нормалей 25 Вода на зеркале Кривое зеркало
26. Добавление эффектов: Видеотекстуры
27. Как сделать? › SKScene › SKVideoNode › SCNMaterialProperty Видеотекстуры 27
28. Как заставить работать? › Поправить Binary Plist › Внутри Binary Plist’а › Внутри другуго Binary Plist’а Видеотекстуры: сохранение 28
29. Добавление эффектов: Shader Modifiers
30. › Доступны в визуальном редакторе › Поддерживают glsl и metal shading language › Доступны результаты работы стандартных шейдеров Shader Modifiers 30
31. Мех и Parallax Mapping 31 Мех Parallax Mapping
32. Ray Casting 32
33. Запись видео
34. Запись видео 34 На девайсе Записывается
35. Запись видео: ReplayKit 35 RPScreenRecorder.shared() Начать запись: Закончить запись: RPScreenRecorder.shared() func startRecording() func stopRecording(callback:)
36. › Работает в пару строк кода › Нельзя записывать конкретную вьюху › Неудобный стандартный превью Запись видео: ReplayKit 36
37. Запись видео: основы 37 AVAssetWriter Процесс записи: Закончить запись: AVAssetWriterInput func appendPixelBuffer(…) func markAsFinished() AVAssetWriterInput AVAssetWriterInputPixelBufferAdaptor AVAssetWriter func finishWriting()
38. UIImage → CVPixelBuffer 38 var pixelBuffer: CVPixelBuffer? = nil guard CVPixelBufferCreate(kCFAllocatorDefault, width, height, kCVPixelFormatType_32BGRA , nil, &pixelBuffer) == kCVReturnSuccess else { return } CVPixelBufferLockBaseAddress(pixelBuffer!, CVPixelBufferLockFlags.init(rawValue: 0)) let data = CVPixelBufferGetBaseAddress(pixelBuffer!) let rgbColorSpace = CGColorSpaceCreateDeviceRGB() let bitmapInfo = CGBitmapInfo(rawValue: CGBitmapInfo.byteOrder32Little.rawValue | CGImageAlphaInfo.premultipliedFirst.rawValue) let context = CGContext(data: data, width: width, height: height, bitsPerComponent: 8, bytesPerRow: CVPixelBufferGetBytesPerRow(pixelBuffer!), space: rgbColorSpace, bitmapInfo: bitmapInfo.rawValue) context?.draw(image, in: CGRect(x: 0, y: 0, width: image.width, height: image.height)) CVPixelBufferUnlockBaseAddress(pixelBuffer!, CVPixelBufferLockFlags(rawValue: 0))
39. UIImage → CVPixelBuffer 39 CVPixelBufferCreate(… width:height:pixelFormat: …) CVPixelBufferLockBaseAddress(_ pixelBuffer:) CVPixelBufferGetBaseAddress(_ pixelBuffer:) CGContext(data: ... bitsPerComponent: bytesPerRow:… colorSpace: ...) CVPixelBufferUnlockBaseAddress(_ pixelBuffer:) func draw(image: UIImage)
40. Теперь нужно это делать каждый кадр 40 CADisplayLink(target:selector) Начать запись: Закончить запись: func add(to:forModes:) func invalidate()
41. Производительность 41
42. Оптимизации: раунд 1! 42 DispatchQueue.global() func async(execute:)
43. Оптимизации: раунд 1! 43
44. Оптимизации: раунд 1.5! 44 DispatchQueue.global() func async(execute:) guard isRecording else { return } isRecording = true isRecording = false
45. Оптимизации: раунд 1.5! 45
46. Оптимизации: раунд 2! 46 Причина Следствие
47. Оптимизации: раунд 2! 47 ? CAMetalDrawable CAMetalLayer SCNView ? ✓ via backingLayer()
48. Пул CAMetalLayer’а 48 Drawable 0 Drawable 1 Drawable 2 Drawable 3 func present()
49. Оптимизации: раунд 2! 49 ✓ via nextDrawable() CAMetalDrawable CAMetalLayer SCNView ✓ via backingLayer() ?
50. Оптимизации: раунд 2! 50 CVPixelBufferCreate(… width:height:pixelFormat: …) CVPixelBufferLockBaseAddress(_ pixelBuffer:) CVPixelBufferGetBaseAddress(_ pixelBuffer:) CGContext(data: ... bitsPerComponent: bytesPerRow:… colorSpace: ...) CVPixelBufferUnlockBaseAddress(_ pixelBuffer:) func draw(image: UIImage) CAMetalDrawable var texture: MTLTexture func getBytes(data: …)
51. Оптимизации, раунд 3? 51
52. Оптимизации, раунд 3! 52
53. Оптимизации, раунд 3! 53
54. Оптимизации, раунд 3! 54
55. Оптимизации, раунд 3! 55
56. Оптимизации, раунд 3! 56
57. Оптимизации, раунд 3! 57
58. › Загрузка моделей › Уменьшение размера ресурсов › Констрейнты › Зеркальные отражения › Видеотекстуры › Модификаторы шейдров › Запись видео SceneKit на практике 58
59. За выходные дня города: › Пройдено > 2000 км › Показано > 3000 объектов › Записано > 1000 видео Немного статистики 59
60. Подписывайтесь на наш блог! https://medium.com/yandex-maps-ios/