iOSDC2023 Rookies LT

TrackpadAir: https://github.com/NakaokaRei/TrackpadAir
SwiftAutoGUI: https://github.com/NakaokaRei/SwiftAutoGUI

Transcript

1. マウスポインターを掴む？！
 〜標準フレームワークで作る
 非接触でMacを操作する技術〜
 株式会社ZOZO
 計測プラットフォーム開発本部 計測アプリ部 iOSブロック
 中岡 黎 Copyright © ZOZO, Inc. 1 2023.9.2 iOSDC Japan 2023
2. © ZOZO, Inc. Apple Vision Pro発表されましたね
 2 引用元: https://www.youtube.com/watch?v=TX9qSaGXFyg
3. © ZOZO, Inc. 3 高精度なセンサやカメラによる行動認識 非接触での操作 引用元: https://www.youtube.com/watch?v=TX9qSaGXFyg Apple Vision Pro発表されましたね

4. © ZOZO, Inc. Apple Vision Pro発表されましたね
 4 非接触での操作 引用元: https://www.youtube.com/watch?v=TX9qSaGXFyg Macでも同様のことはできます！ 高精度なセンサやカメラによる行動認識
5. © ZOZO, Inc. 手元のデバイスと標準フレームワークでも可能
 5 • Appleデバイス
 ◦ MacBook
 ◦ iPhone
 ◦ AirPods Pro
 ◦ Apple Watch
 
 • 標準フレームワーク
 ◦ Vision
 ◦ Speech
 ◦ Core Motion
 
 
 引用元: https://www.youtube.com/watch?v=TX9qSaGXFyg 高精度なセンサやカメラによる行動認識
6. © ZOZO, Inc. Core Graphicsでキー入力やマウスイベントを発生させる
 6 • 例：Aキーの入力
7. © ZOZO, Inc. Core Graphicsでキー入力やマウスイベントを発生させる
 7 • 例：左クリック
8. © ZOZO, Inc. デモ
 8
9. © ZOZO, Inc. 非接触でMacを操作する技術　その1
 
 9 • デモ
 ◦ 話した言葉に応じてショートカットキーをトリガーする 
 • 実装
 ◦ SpeechのSFSpeechRecognizerで話し言葉を認識
 ◦ Core Graphicsのイベントをトリガー
 
 
 

10. © ZOZO, Inc. 10
11. © ZOZO, Inc. 非接触でMacを操作する技術　その2
 
 11 • デモ
 ◦ 手の動きに応じてマウス操作する 
 • 実装
 ◦ VisionのVNDetectHumanHandPoseRequestで手を認識
 ◦ Core Graphicsのイベントをトリガー
 
 
 

12. © ZOZO, Inc. 12
13. © ZOZO, Inc. 非接触でMacを操作する技術　その3
 
 13 • デモ
 ◦ 顔の動きに応じてマウス/ショートカット操作する 
 • 実装
 ◦ Core MotionでAirPods Proのセンサの値を取得し顔の姿勢を推定
 ◦ Core Graphicsのイベントをトリガー
 
 
 

14. © ZOZO, Inc. 14
15. © ZOZO, Inc. 今回のデモ
 15 1. 話した言葉に応じてショートカットキーをトリガーする
 ◦ https://github.com/NakaokaRei/speech2operate
 
 
 2. 手の動きに応じてマウス操作する（TestFlightからもどうぞ⇩）
 ◦ https://github.com/NakaokaRei/TrackpadAir
 
 
 3. 顔の動きに応じてマウス操作する ◦ https://github.com/NakaokaRei/motion2operate
 

16. © ZOZO, Inc. SwiftAutoGUI
 16 • それぞれのイベントをあらかじめ定義してライブラリとして公開
 ◦ https://github.com/NakaokaRei/SwiftAutoGUI
 

17. © ZOZO, Inc. SwiftAutoGUI
 17 • キー入力
 

18. © ZOZO, Inc. SwiftAutoGUI
 18 • マウスイベント
 

19. © ZOZO, Inc. 株式会社ZOZO
 計測プラットフォーム開発本部 計測アプリ部 iOSブロック 中岡 黎
 • 2022年4月に新卒入社
 • 大分県出身
 
 X(Twitter): @rei_nakaoka
 GitHub: @NakaokaRei
 19
20. © ZOZO, Inc. 20