Upgrade to Pro — share decks privately, control downloads, hide ads and more …

目からビームでヴィランをやっつける 〜知られざるARKitの並走機能〜

nagain
September 12, 2022

目からビームでヴィランをやっつける 〜知られざるARKitの並走機能〜

2022/09/12 iOSDC Japan 2022 Day2

nagain

September 12, 2022
Tweet

Transcript

  1. © ZOZO, Inc. 株式会社ZOZO
 計測プラットフォーム開発本部 計測アプリ部 iOSブロック ながいん / @na9ain


    • 2022年4月に新卒入社
 • 仙台の大学院生(修士課程)でした
 • 音楽・古着・ゲームが好き
 
 2
  2. © ZOZO, Inc. 目次
 • 知られざる?ARKitの並走機能
 ◦ ARKitとは
 ◦ 並走機能とは


    
 • 並走機能の可能性
 ◦ 並走機能で何が嬉しい?
 ◦ 並走機能を活用した*HCI分野の研究紹介
 
 • 並走機能を使ってアプリを作ってみる
 ◦ 目からビームでヴィランをやっつける
 ◦ 視線を向けるだけで電気を点けたりコーヒーを淹れたりする
 ◦ いろいろ実装してみて気づいたこと
 ※HCI = ヒューマンコンピュータインタラクション 6
  3. © ZOZO, Inc. • 知られざる?ARKitの並走機能
 ◦ ARKitとは
 ◦ 並走機能とは
 


    • 並走機能の可能性
 ◦ 並走機能で何が嬉しい?
 ◦ 並走機能を活用した*HCI分野の研究紹介
 
 • 並走機能を使ってアプリを作ってみる
 ◦ 目からビームでヴィランをやっつける
 ◦ 視線を向けるだけで電気を点けたりコーヒーを淹れたりする
 ◦ いろいろ実装してみて気づいたこと
 ※HCI = ヒューマンコンピュータインタラクション 7 目次

  4. © ZOZO, Inc. 8 • Apple社が提供するAppleデバイス用のAR開発ツール
 ◦ iPhone・iPad向け。将来的にはARグラスも…?
 
 •

    2017年に初めて発表され、今年でARKit 6に
 ◦ 順当に進化を遂げ、成熟した雰囲気が漂う
 2017
 ARKit
 誕 生 
 2018
 2019
 2020
 2021
 2022
 LiDAR
 登 場 
 Object
 Capture
 4K対 応 
 Reality
 Kit 誕 生 
 AR体 験 の 共 有 
 ARKitとは

  5. © ZOZO, Inc. 他のフレームワークと比ベて
 多くの機能をカバーしている
 9 ARKitとは
 Visualizing and Interacting

    with a Reconstructed Scene
 
 Occluding Virtual Content with People
 
 M eshing
 Person Segm entation

  6. © ZOZO, Inc. • 知られざる?ARKitの並走機能
 ◦ ARKitとは
 ◦ 並走機能とは
 


    • 並走機能の可能性
 ◦ 並走機能で何が嬉しい? 並走機能の可能性
 ◦ 並走機能を活用した*HCI分野の研究紹介
 
 • 並走機能を使ってアプリを作ってみる
 ◦ 目からビームでヴィランをやっつける
 ◦ 視線を向けるだけで電気を点けたりコーヒーを淹れたりする
 ◦ いろいろ実装してみて気づいたこと
 ※HCI = ヒューマンコンピュータインタラクション 14 目次

  7. © ZOZO, Inc. 16 フェイストラッキングで
 できること
 ワールドトラッキングで
 できること
 • 顔の形状の取得


    • 表情の取得
 • 頭部方向の取得
 • 眼球方向の取得
 • …etc
 並走機能の可能性
 • スマートフォンの
 6次元トラッキング
 • 周囲環境の認識
 • 画像・物体検出
 • 3Dマップの取得・復元
 • …etc
 ???

  8. © ZOZO, Inc. 20 並走機能を活用した研究
 ① WorldGaze
 Enhancing Mobile Voice

    Assistants with WorldGaze
 [ACM CHI 2020. Sven Mayer, Gierad Laput and Chris Harrison.]
 
 ② HandyGaze 
 HandyGaze: A Gaze Tracking Technique for Room-scale Environments 
 Using a Single Smartphone
 [ACM ISS 2022. Takahiro Nagai, Kazuyuki Fujita, Kazuki Takashima and Yoshifumi Kitamura.]
 

  9. © ZOZO, Inc. 21 並走機能を活用した研究 ① 〜WorldGaze〜
 並走機能で音声アシスタントを
 強化する
 


    「このお店はいつ閉まる?」のような
 曖昧な文言を注目対象を推定することで
 音声アシスタントが認識可能に

  10. © ZOZO, Inc. 22 • ユーザの頭部方向を 注目方向として
 トラッキング
 • バックカメラに映る


    物体の認識
 ユーザの注目対象を
 推定して
 音声アシスタントに
 フェイストラッキングで
 やってること
 ワールドトラッキングで
 やってること
 並走機能を活用した研究 ① 〜WorldGaze〜

  11. © ZOZO, Inc. 24 スマホを手に持つだけで
 部屋中でユーザの
 注目対象を推定できる
 • ユーザの頭部方向を
 トラッキング


    
 • 頭部方向を視線方向に キャリブレーション
 • 取得済の部屋の
 3Dマップを復元
 
 • 3Dマップ上での
 スマートフォンの
 位置・回転を
 トラッキング
 フェイストラッキングで
 やってること
 ワールドトラッキングで
 やってること
 並走機能を活用した研究 ② 〜HandyGaze〜

  12. © ZOZO, Inc. • 知られざる?ARKitの並走機能
 ◦ ARKitとは
 ◦ 並走機能とは
 


    • 並走機能の可能性
 ◦ 並走機能で何が嬉しい?
 ◦ 並走機能を活用した*HCI分野の研究紹介
 
 • 並走機能を使ってアプリを作ってみる
 ◦ 目からビームでヴィランをやっつける
 ◦ 視線を向けるだけで電気を点けたりコーヒーを淹れたりする
 ◦ いろいろ実装してみて気づいた並走機能のあれこれ
 ※HCI = ヒューマンコンピュータインタラクション 26 目次

  13. © ZOZO, Inc. 31 目からビームでヴィランをやっつける
 • ユーザの頭部方向に
 ビームを発する
 
 •

    ユーザの表情に応じて
 ビームの種類を
 切り替える
 • 検出した平面に
 ヴィランを
 出現させる
 フェイストラッキングで
 やってること
 ワールドトラッキングで
 やってること
 目からビームで
 ヴィランを
 やっつける
  14. © ZOZO, Inc. 35 • ユーザの眼球方向を
 視線として
 トラッキング
 • IoTデバイスの位置が


    設定された部屋の
 3Dマップを復元
 
 • 3Dマップ上での
 スマートフォンの
 位置をトラッキング
 フェイストラッキングで
 やってること
 ワールドトラッキングで
 やってること
 視線を向けるだけで
 電気を点ける
 視線を向けるだけで電気を点けたりコーヒーを淹れたりする

  15. © ZOZO, Inc. 38 いろいろ実装してみて気づいた並走機能のあれこれ
 通常、A12チップ以降のTrueDepthカメラを搭載したデバイスで使用できるが
 例外的にiPad Pro 2020(第4世代)では並走機能が使用できない
 


    https://developer.apple.com/forums/thread/131006
  → A12Zチップ、LiDAR搭載の端末におけるハードウェア上の問題であるため直らない
 並走機能が使用できるデバイスに関して

  16. © ZOZO, Inc. 39 
 • 画面をタップするというARと現実との境界を意識するアクションを省くことができ、
 視線や表情などを用いることでARの臨場感が高まる気がする
 
 •

    歩きスマホを助長しないユーザ体験にする工夫が必要
 ◦ 加速度センサでモーションを検出した時はUIを非表示にするとか
 いろいろ実装してみて気づいた並走機能のあれこれ
 並走機能で提供するユーザ体験に関して

  17. © ZOZO, Inc. 40 頭部方向
 眼球方向
 メリット
 • 安定
 •

    画面を
 見ながら
 調整できる
 メリット
 • 直感的
 いろいろ実装してみて気づいた並走機能のあれこれ
 並走機能での視線の利用に関して

  18. © ZOZO, Inc. 43 このトークでは
 
 • 並走機能とは何かを説明し、
 
 •

    研究紹介を交えながら、並走機能が持つ可能性に触れ、
 
 • 並走機能を使ったアプリの作成を通して得られた知見を共有
 
 しました!
 まとめ