iOS 11 ARKit

Transcript

1. iOS11 ARKit
2. AR简介 • Augmented Reality(增强现实) • 让虚拟世界与现实世界场景进⾏行行结合与互动的技 术 • 1990年年被提出
3. AR主要特征 • 虚实结合 • 实时交互 • 三维匹配
4. AR分类 • 基于计算机视觉(Vision-Based AR) 移动设备 • 基于光学(Optical-Based AR) Google Glass, HoloLens • 基于投影(Projection-Based AR) MIT - SixSense
5. • Marker-Based • Marker-Less
6. Marker-Based Augmented Reality Tutorial No. 1: Marker-Based Primitive Object Augmentation https://www.youtube.com/ watch?v=PbEDkDGB-9w
7. Marker-Less https://www.youtube.com/watch?v=qFGx9QcE5Gk
8. Mobile AR • OpenCV + OpenGL ES • ARKit
9. • iOS 11+ • 处理理器器 A9+ (iPhone 6s+) • Xcode 9+ ARKit
10. • World tracking • Visual–Inertial Odometry 追踪
11. • 平⾯面检测 • 点击检测 • 环境光 场景识别
12. SceneKit SpriteKit Metal
13. Application Processing ARKit Rendering SceneKit SpriteKit Metal AVFoundation CoreMotion Capturing
14. • 视觉惯性⾥里里程计(VIO) • 30fps • 6D (x, y, z) (p, y, r) Visual–Inertial Odometry
15. • pitch: 围绕x轴, 俯仰⻆角 • yaw: 围绕y轴, 偏航⻆角 • roll: 围绕z轴, 翻滚⻆角 Visual–Inertial Odometry
16. Inertial Measurement Unit • 惯性测量量装置(IMU) • 加速计 & 陀螺仪 • 1000 次/秒
17. VIO + IMU • IMU 基于时间, 精度受时间影响 • VIO 基于距离, 精度受距离影响 • IMU 弥补特征低 • VIO 弥补设备静⽌止
18. ARKit vs OpenCV • 包体积 • ⽆无缝衔接 UIKit, SceneKit, SpriteKit • Objective-C / Swift Style API • High-level API 优势 劣势 • 运⾏行行环境需求⾼高
19. WWDC 2017 ARKit Demo ARKit Demo App: Placing Objects in Augmented Reality https://developer.apple.com/ sample-code/wwdc/2017/ PlacingObjects.zip
20. TyBattleCity https://github.com/luckytianyiyan/TyBattleCity
21. – Linus Torvalds “Talk is cheap. Show me the code.”
22. 拓拓展 • ARToolKit https://github.com/artoolkit
23. Reference • WWDC 2017 ARKit Video • Why is ARKit better than the alternatives? • GitHub Repo: Mastering OpenCV with Practical Computer Vision Projects • Apple Developer ARKit • 从计算机视觉⻆角度，我们深⼊入解读了了增强现实 （AR）的过去、现在和未来