目からビームでヴィランをやっつける〜知られざるARKitの並走機能〜

by nagain

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© ZOZO, Inc. 目次  ● 知られざる？ARKitの並走機能  ○ ARKitとは  ○ 並走機能とは    ● 並走機能の可能性  ○ 並走機能で何が嬉しい？  ○ 並走機能を活用した*HCI分野の研究紹介    ● 並走機能を使ってアプリを作ってみる  ○ 目からビームでヴィランをやっつける  ○ 視線を向けるだけで電気を点けたりコーヒーを淹れたりする  ○ いろいろ実装してみて気づいたこと  ※HCI = ヒューマンコンピュータインタラクション 6

Slide 7

Slide 7 text

© ZOZO, Inc. ● 知られざる？ARKitの並走機能  ○ ARKitとは  ○ 並走機能とは    ● 並走機能の可能性  ○ 並走機能で何が嬉しい？  ○ 並走機能を活用した*HCI分野の研究紹介    ● 並走機能を使ってアプリを作ってみる  ○ 目からビームでヴィランをやっつける  ○ 視線を向けるだけで電気を点けたりコーヒーを淹れたりする  ○ いろいろ実装してみて気づいたこと  ※HCI = ヒューマンコンピュータインタラクション 7 目次 

Slide 8

Slide 8 text

© ZOZO, Inc. 8 ● Apple社が提供するAppleデバイス用のAR開発ツール  ○ iPhone・iPad向け。将来的にはARグラスも…？    ● 2017年に初めて発表され、今年でARKit 6に  ○ 順当に進化を遂げ、成熟した雰囲気が漂う  2017  ARKit  誕生   2018  2019  2020  2021  2022  LiDAR  登場   Object  Capture  4K対応   Reality  Kit 誕生   AR体験の共有   ARKitとは 

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© ZOZO, Inc. ● 知られざる？ARKitの並走機能  ○ ARKitとは  ○ 並走機能とは    ● 並走機能の可能性  ○ 並走機能で何が嬉しい？並走機能の可能性  ○ 並走機能を活用した*HCI分野の研究紹介    ● 並走機能を使ってアプリを作ってみる  ○ 目からビームでヴィランをやっつける  ○ 視線を向けるだけで電気を点けたりコーヒーを淹れたりする  ○ いろいろ実装してみて気づいたこと  ※HCI = ヒューマンコンピュータインタラクション 14 目次 

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© ZOZO, Inc. 20 並走機能を活用した研究  ① WorldGaze  Enhancing Mobile Voice Assistants with WorldGaze  [ACM CHI 2020. Sven Mayer, Gierad Laput and Chris Harrison.]    ② HandyGaze   HandyGaze: A Gaze Tracking Technique for Room-scale Environments   Using a Single Smartphone  [ACM ISS 2022. Takahiro Nagai, Kazuyuki Fujita, Kazuki Takashima and Yoshifumi Kitamura.]   

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© ZOZO, Inc. 24 スマホを手に持つだけで  部屋中でユーザの  注目対象を推定できる  ● ユーザの頭部方向を  トラッキング    ● 頭部方向を視線方向にキャリブレーション  ● 取得済の部屋の  3Dマップを復元    ● 3Dマップ上での  スマートフォンの  位置・回転を  トラッキング  フェイストラッキングで  やってること  ワールドトラッキングで  やってること  並走機能を活用した研究 ② 〜HandyGaze〜 

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© ZOZO, Inc. ● 知られざる？ARKitの並走機能  ○ ARKitとは  ○ 並走機能とは    ● 並走機能の可能性  ○ 並走機能で何が嬉しい？  ○ 並走機能を活用した*HCI分野の研究紹介    ● 並走機能を使ってアプリを作ってみる  ○ 目からビームでヴィランをやっつける  ○ 視線を向けるだけで電気を点けたりコーヒーを淹れたりする  ○ いろいろ実装してみて気づいた並走機能のあれこれ  ※HCI = ヒューマンコンピュータインタラクション 26 目次 

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

© ZOZO, Inc. 35 ● ユーザの眼球方向を  視線として  トラッキング  ● IoTデバイスの位置が  設定された部屋の  3Dマップを復元    ● 3Dマップ上での  スマートフォンの  位置をトラッキング  フェイストラッキングで  やってること  ワールドトラッキングで  やってること  視線を向けるだけで  電気を点ける  視線を向けるだけで電気を点けたりコーヒーを淹れたりする 

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

© ZOZO, Inc. 38 いろいろ実装してみて気づいた並走機能のあれこれ  通常、A12チップ以降のTrueDepthカメラを搭載したデバイスで使用できるが  例外的にiPad Pro 2020（第4世代）では並走機能が使用できない    https://developer.apple.com/forums/thread/131006  　→ A12Zチップ、LiDAR搭載の端末におけるハードウェア上の問題であるため直らない  並走機能が使用できるデバイスに関して 