ARKit + CoreLocation

Presentation about ARKit + CoreLocation in Osaka Mix Leap Study #11

Transcript

1. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 2018年4⽉20⽇ Kenta Tokumoto ARKit+CoreLocation
2. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 2 Outline • 自己紹介 • ARモードについて • ARKitの概要 • ARKit+CoreLocation • オブジェクトの配置方法について • ルートライン • 看板 • 足跡 • けんさく+ゴールピン • 空間補正
3. About me ,FOUB
   5PLVNPUP
   5XJUUFS
   UPUPNP (JUIVC
   UPUPNP 2JJUB
   UPUPNP ໊ݹ԰ۈ຿ɺೖࣾ̒೥໨
   :BIPP
   ."1ͷJ04
   8FC"1*։ൃ୲ ౰ 3
4. AR mode? 4 • Yahoo! MAPアプリ(iOS)で提供しているARを使った徒歩 ナビ支援機能 • iOS 11から利用可能なARKitを使用
5. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 5 Team Product Manager Designer Engineer
6. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 6 Schedule 2017年9月〜 12月 1月 2月 3月 ルートライン、足跡 実験 看板、けんさく QA、申請 空間補正 リリース
7. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 7 ARKit • iOS 11以降で使えるAR機能を実装するのに便利 なFramework • AR modeはPosition Trackingを必要とするためA9 チップが搭載された端末のみサポート • Android → ARCore
8. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. ARKit + CoreLocation
9. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 9 ARKit+CoreLocation • ARConfiguration.worldAlignment.gravity AndHeadingを指定する • 原点の位置情報とARKitにより構築された 世界空間の原点は相互変換可能 AR 実空間 N N (xn , zn ) (latn , lonn )
10. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 10 ARKit+CoreLocation (0, 0) d [m] (x1 , z1 ) (lat0 , lon0 ) d [m] (lat1 , lon1 )
11. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 11 SCNNodeの配置 • ルートライン (SCNPlane) • 看板 (3D) • けんさく+ゴールピン(3D) • 足跡 (SCNPlane)
12. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 12 ルートライン
13. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 13 ルートライン position eulerAngles.y
14. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 14 看板
15. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 15 看板 position
16. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 16 看板 position
17. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 17 看板 position • マージンを設けて見やすい方向に回転 • 東西どちらに配置するかは、進行方向と 次の方向との差分から判断している
18. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 18 ⾜跡
19. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 19 ⾜跡 position
20. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 20 ⾜跡 position • ARSCNViewから取れるpointOfView のpositionを取得 • 現在位置の座標をもとに移動距離と 角度を計算 • 足跡はランダムで出すようにmaterial に設定しているUIImageを動的に設定 している
21. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 21 けんさく+ゴールピン position SCNBillboardConstraint
22. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 22 SCNNodeの追加 locationInfoProvider.location { [weak self] location in guard let origin = location else { self?.displayError() return } self?.addObjects(origin: origin) }
23. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 23 ⼤量のSCNNodeの追加 func renderer(_ renderer: SCNSceneRenderer, updateAtTime time: TimeInterval) { // 5つずつ追加する } self.navigationView.worldNode.addScheduledNodes(quantity: 5) func addObjects(origin: CLLocation) { self.navigationView.origin = origin let routeLineNodes = routeNodes(withCoordinates: self.coordinates) self.navigationView.scheduleNodes(routeLineNodes, priority: .high) } // ARSCNViewDelegate
24. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 24 空間補正 Correctable Space Fixed Space Root Space
25. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 空間補正 25 • Fixed Space • 足跡 • Correctable Space • ルートライン • けんさく&ゴールピン • 看板
26. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 空間補正 26 GPSによる現在地 (CoreLocation) AR空間上のカメラの現在地 (ARKit) GPSによる誤差の半径
27. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 空間補正 27 GPSによる現在地 (CoreLocation) AR空間上のカメラの現在地 (ARKit) GPSによる誤差の半径 誤差の円からはみ出してい る
28. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 28 LocationInfoProvider public protocol LocationInfoProvidable { func location(completion: @escaping (CLLocation?)->()) func nearbyRoutePoint(from origin: SCNVector3) -> SCNVector3? var delegate: LocationInfoProviderDelegate? { get set }
 } protocol LocationInfoProviderDelegate: class { // 角度補正 (電子コンパスまたは位置情報の精度が向上したタイミングで通知) // 精度: heading.headingAccuracy func locationInfoProvider(_ provider: LocationInfoProvidable, requestUpdateHeading heading: CLHeading) // 位置補正 (位置情報の精度が向上したタイミングで通知 // 精度: location.horizontalAccuracy func locationInfoProvider(_ provider: LocationInfoProvidable, requestUpdateLocation location: CLLocation, oldLocation: CLLocation?)
 }
29. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 空間補正 29 extension ARRouteNavigationViewController: ARLocationInfoProviderDelegate { public func arLocationInfoProvider(_ provider: ARLocationInfoProvidable, requestUpdateLocation location: CLLocation, oldLocation: CLLocation?) { guard let origin = navigationView.origin, let currentPosition = navigationView.pointOfView?.worldPosition else { return } 
 　　　　　　　　// GPSから計算したAR空間における座標 　　　　　　　　let gpsPosition = location.coordinate.relativeVector3(to: origin.coordinate) + 　　　　　　　　　navigationView.worldNode.correctableNode.worldPosition 　　　　　　　　// GPSの誤差を超えてずれていない場合は何もしない 　　　　　　　　guard idealPosition.length(between: currentPosition) > location.horizontalAccuracy else { 　　　　　　　　return 　　　　　　　　} 
 　　　　　　　　// 誤差を計算 　　　　　　　　let positionDifference = gpsPosition – currentPosition 
 　　　　　　　　// 補正 　　　　　　　　navigationView.worldNode.correctableNode.worldPosition -= SCNVector3(positionDifference.x, 0, positionDifference.z) } }
30. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 30 まとめ • ARKit + CoreLocation で実際の風景を見ながら道 案内ができる • ARKitが構成する空間座標と実空間の緯度経度は 相互に変換することができる • 3Dオブジェクトの配置にはSceneKitの知識が必要 • GPSや電子コンパスの精度を見つつカメラの座標 から位置や方向を補正可能 • ただしデバッグが大変です(笑)
31. Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. Fin