目からビームでヴィランをやっつける〜知られざるARKitの並走機能〜

目からビームでヴィランをやっつける  〜知られざるARKitの並走機能〜  iOSDC Japan 2022   Day2 2022/09/12 13:55~ Track
C  株式会社ZOZO  ながいん / @na9ain Copyright © ZOZO, Inc. 1

© ZOZO, Inc. 株式会社ZOZO  計測プラットフォーム開発本部計測アプリ部 iOSブロックながいん / @na9ain 
• 2022年4月に新卒入社  • 仙台の大学院生（修士課程）でした  • 音楽・古着・ゲームが好き    2

© ZOZO, Inc. 目次  • 知られざる？ARKitの並走機能  ◦ ARKitとは  ◦ 並走機能とは 
  • 並走機能の可能性  ◦ 並走機能で何が嬉しい？  ◦ 並走機能を活用した*HCI分野の研究紹介    • 並走機能を使ってアプリを作ってみる  ◦ 目からビームでヴィランをやっつける  ◦ 視線を向けるだけで電気を点けたりコーヒーを淹れたりする  ◦ いろいろ実装してみて気づいたこと  ※HCI = ヒューマンコンピュータインタラクション 6

© ZOZO, Inc. • 知られざる？ARKitの並走機能  ◦ ARKitとは  ◦ 並走機能とは   
• 並走機能の可能性  ◦ 並走機能で何が嬉しい？  ◦ 並走機能を活用した*HCI分野の研究紹介    • 並走機能を使ってアプリを作ってみる  ◦ 目からビームでヴィランをやっつける  ◦ 視線を向けるだけで電気を点けたりコーヒーを淹れたりする  ◦ いろいろ実装してみて気づいたこと  ※HCI = ヒューマンコンピュータインタラクション 7 目次 

© ZOZO, Inc. 8 • Apple社が提供するAppleデバイス用のAR開発ツール  ◦ iPhone・iPad向け。将来的にはARグラスも…？    •
2017年に初めて発表され、今年でARKit 6に  ◦ 順当に進化を遂げ、成熟した雰囲気が漂う  2017  ARKit  誕生   2018  2019  2020  2021  2022  LiDAR  登場   Object  Capture  4K対応   Reality  Kit 誕生   AR体験の共有   ARKitとは 

© ZOZO, Inc. 他のフレームワークと比ベて  多くの機能をカバーしている  9 ARKitとは  Visualizing and Interacting
with a Reconstructed Scene    Occluding Virtual Content with People    M eshing  Person Segm entation 

© ZOZO, Inc. • フロントカメラとバックカメラを  同時に使用して、フェイストラッキングと  ワールドトラッキングを行う    • iOS
13.0+, ARKit 3 より利用可能に    • ARCoreにはない機能  12 並走機能とは 

• 並走機能の可能性  ◦ 並走機能で何が嬉しい？並走機能の可能性  ◦ 並走機能を活用した*HCI分野の研究紹介    • 並走機能を使ってアプリを作ってみる  ◦ 目からビームでヴィランをやっつける  ◦ 視線を向けるだけで電気を点けたりコーヒーを淹れたりする  ◦ いろいろ実装してみて気づいたこと  ※HCI = ヒューマンコンピュータインタラクション 14 目次 

© ZOZO, Inc. 15 一言で言えば…        フェイストラッキングでできることとワールドトラッキングでできることを同時に行え、それらを組み合わせることができる 
並走機能で何が嬉しい？ 

© ZOZO, Inc. 16 フェイストラッキングで  できること  ワールドトラッキングで  できること  • 顔の形状の取得 
• 表情の取得  • 頭部方向の取得  • 眼球方向の取得  • …etc  並走機能の可能性  • スマートフォンの  6次元トラッキング  • 周囲環境の認識  • 画像・物体検出  • 3Dマップの取得・復元  • …etc  ？？？ 

© ZOZO, Inc. 19 ヒューマンコンピュータインタラクションとは  スマートフォンの画面を複数の指で広げたり狭めたりする  マルチタッチもこの分野の研究から生まれた  SmartSkin: an infrastructure
for freehand manipulation on interactive surfaces  [ACM CHI 2002. Jun Rekimoto.] 

© ZOZO, Inc. 20 並走機能を活用した研究  ① WorldGaze  Enhancing Mobile Voice
Assistants with WorldGaze  [ACM CHI 2020. Sven Mayer, Gierad Laput and Chris Harrison.]    ② HandyGaze   HandyGaze: A Gaze Tracking Technique for Room-scale Environments   Using a Single Smartphone  [ACM ISS 2022. Takahiro Nagai, Kazuyuki Fujita, Kazuki Takashima and Yoshifumi Kitamura.]   

© ZOZO, Inc. 21 並走機能を活用した研究 ① 〜WorldGaze〜  並走機能で音声アシスタントを  強化する   
「このお店はいつ閉まる？」のような  曖昧な文言を注目対象を推定することで  音声アシスタントが認識可能に 

© ZOZO, Inc. 22 • ユーザの頭部方向を注目方向として  トラッキング  • バックカメラに映る 
物体の認識  ユーザの注目対象を  推定して  音声アシスタントに  フェイストラッキングで  やってること  ワールドトラッキングで  やってること  並走機能を活用した研究 ① 〜WorldGaze〜 

© ZOZO, Inc. 23 https://iss.acm.org/2022/  取得済の部屋の3Dマップを復元することで  バックカメラに映っていない物体への  注目も認識することができる  並走機能を活用した研究 ②
〜HandyGaze〜  並走機能で部屋中のあらゆる物への  注目を認識する 

© ZOZO, Inc. 24 スマホを手に持つだけで  部屋中でユーザの  注目対象を推定できる  • ユーザの頭部方向を  トラッキング 
  • 頭部方向を視線方向にキャリブレーション  • 取得済の部屋の  3Dマップを復元    • 3Dマップ上での  スマートフォンの  位置・回転を  トラッキング  フェイストラッキングで  やってること  ワールドトラッキングで  やってること  並走機能を活用した研究 ② 〜HandyGaze〜 

• 並走機能の可能性  ◦ 並走機能で何が嬉しい？  ◦ 並走機能を活用した*HCI分野の研究紹介    • 並走機能を使ってアプリを作ってみる  ◦ 目からビームでヴィランをやっつける  ◦ 視線を向けるだけで電気を点けたりコーヒーを淹れたりする  ◦ いろいろ実装してみて気づいた並走機能のあれこれ  ※HCI = ヒューマンコンピュータインタラクション 26 目次 

© ZOZO, Inc. 31 目からビームでヴィランをやっつける  • ユーザの頭部方向に  ビームを発する    •
ユーザの表情に応じて  ビームの種類を  切り替える  • 検出した平面に  ヴィランを  出現させる  フェイストラッキングで  やってること  ワールドトラッキングで  やってること  目からビームで  ヴィランを  やっつける

© ZOZO, Inc. 34 視線を向けるだけで電気を点けたりコーヒーを淹れたりする  • コーヒーを淹れる    • ライトに視線を向けてスマホ画面を 
タップすると ON/OFF    • PCに視線を向けている間は  スマホ画面がトラックパッドに   

© ZOZO, Inc. 35 • ユーザの眼球方向を  視線として  トラッキング  • IoTデバイスの位置が 
設定された部屋の  3Dマップを復元    • 3Dマップ上での  スマートフォンの  位置をトラッキング  フェイストラッキングで  やってること  ワールドトラッキングで  やってること  視線を向けるだけで  電気を点ける  視線を向けるだけで電気を点けたりコーヒーを淹れたりする 

© ZOZO, Inc. 38 いろいろ実装してみて気づいた並走機能のあれこれ  通常、A12チップ以降のTrueDepthカメラを搭載したデバイスで使用できるが  例外的にiPad Pro 2020（第4世代）では並走機能が使用できない   
https://developer.apple.com/forums/thread/131006  　→ A12Zチップ、LiDAR搭載の端末におけるハードウェア上の問題であるため直らない  並走機能が使用できるデバイスに関して 

© ZOZO, Inc. 39   • 画面をタップするというARと現実との境界を意識するアクションを省くことができ、  視線や表情などを用いることでARの臨場感が高まる気がする    •
歩きスマホを助長しないユーザ体験にする工夫が必要  ◦ 加速度センサでモーションを検出した時はUIを非表示にするとか  いろいろ実装してみて気づいた並走機能のあれこれ  並走機能で提供するユーザ体験に関して 

© ZOZO, Inc. 41 • 探索のための視線移動なのか、選択のための視線移動なのかの判別が  視線のみでは難しい（ミダスタッチ効果と呼ばれる）    • 判別をするためには、視線とタッチなど2段階でユーザの選択を 
確定する方法がおすすめ  いろいろ実装してみて気づいた並走機能のあれこれ  並走機能での視線の利用に関して 

目からビームでヴィランをやっつける 〜知られざるARKitの並走機能〜

目からビームでヴィランをやっつける 〜知られざるARKitの並走機能〜

Other Decks in Technology

Featured

Transcript

目からビームでヴィランをやっつける〜知られざるARKitの並走機能〜

目からビームでヴィランをやっつける〜知られざるARKitの並走機能〜