Save 37% off PRO during our Black Friday Sale! »

SwiftでARKit3を使うには

3518f5ec9ebb241abc3569eb5cfc7d2a?s=47 drama
December 08, 2019

 SwiftでARKit3を使うには

3518f5ec9ebb241abc3569eb5cfc7d2a?s=128

drama

December 08, 2019
Tweet

Transcript

  1. xR Tech Tokyo #18 @ ソフトバンク Drama(@1901drama) Swiftで ARKit3 を

    使うには
  2. None
  3. 機能 対象 Coaching UI ・環境データ取得用のアニメーションを表示させる A9 以上 (iPhone 6s/SE) People

    Occlusion 2D/3D ・ユーザーの身体を、 3Dオブジェクトの手前に表示させる ・ユーザーの身体と 3Dオブジェクトの前後関係を、反映し表示させる A12 Bionic以上 (iPhone xR/xS) Motion Capture 2D/3D ・ユーザーの身体 /関節の位置を画面上の位置座標で取得出来る ・ユーザーの身体 /関節の位置を空間座標で取得出来る A12 Bionic以上 (iPhone xR/xS) Multiple Face Tracking ・3人までの顔の場所と表情を同時追跡する A12 Bionic以上 (iPhone xR/xS) Simultaneous Front and Back Camera ・手前側のカメラと背面側のカメラで同時に ARを利用出来る A12 Bionic以上 (iPhone xR/xS) Collaborative Sessions ・他のユーザーとの AR体験の共有を補助する A9 以上 (iPhone 6s/SE) ARKit3で追加されたメイン機能
  4. Coaching UI People Occlusion 2D/3D Motion Capture 2D/3D

  5. Multiple Face Tracking Simultaneous Front and Back Camera Collaborative Sessions

  6. Swiftで開発するときのメリット・デメリット • iOS固有の機能を複合して組み込み出来る (UIKit, Depth等のセンサー, 認証系...) • Buildが早い • Appleのドキュメントを直接解釈出来る

    • iOS全般の知識が必要 • 3Dの理解が難しい • Androidへの移行が困難(開発工数がかかる) • エンジニアが少ない(転職や情報共有が難しい)  今日はこちらの人向け
  7. ARConfiguration

  8. ARWorldTrackingConfiguration ARBodyTrackingConfiguration ARImageTrackingConfiguration AROrientationTrackingConfiguration ARPositionalTrackingConfiguration ARObjectScanningConfiguration ARFaceTrackingConfiguration • Plane Detect

    • Human Detect • Motion Capture • Face Detect • Image Detect • Image Tracking • Face tracking • Position Tracking • Object Detect • Object Scan ARKit3で検知するモードと対象 • Orientation Tracking • WorldMap Export/Import • Collaborative Session • Simultaneous Front and Back Camera • People Occlusion
  9. Depth

  10. Depth取得条件に制限がある ②Simultaneous  Front and Back Camera + ①RearCameraのDepthで自分を3D化 = ③depthデータを相手に送れば

     3Dでコミュニケーションが  出来るのでは?
  11. Depth取得条件に制限がある Simultaneous Front and Back Camera でも、depthは取得出来ない。 (FaceTrackingだけの場合は、従来通り取得出 来る) Appleさんに改善依頼しました!

  12. その他

  13. • Coaching UIは普通のUIView扱いなので、そのままでは表示がズレます。 • People Occlusion 3DとPlane Objectを併用するとまれにバグります。 • Collaborative

    Sessionsは、同時5台くらいが限界かもしれません。 • RealityKitの出来ることに制限があり、 SceneKitから移行出来ない など... その他
  14. ARKit 3.0のサンプルコード集 『ARKit-Invader』 ソースコード(GitHub/Qiita) サンプルコードあります!

  15. ご清聴 ありがとう御座いました。 xR Tech Tokyo #18 @ ソフトバンク Drama(@1901drama)