マウスポインターを掴む？！
 〜標準フレームワークで作る
 非接触でMacを操作する技術〜
 株式会社ZOZO
 計測プラットフォーム開発本部 計測アプリ部 iOSブロック
 中岡 黎 Copyright © ZOZO, Inc. 1 2023.9.2 iOSDC Japan 2023

© ZOZO, Inc. Apple Vision Pro発表されましたね
 2 引用元: https://www.youtube.com/watch?v=TX9qSaGXFyg

© ZOZO, Inc. 3 高精度なセンサやカメラによる行動認識 非接触での操作 引用元: https://www.youtube.com/watch?v=TX9qSaGXFyg Apple Vision Pro発表されましたね


© ZOZO, Inc. Apple Vision Pro発表されましたね
 4 非接触での操作 引用元: https://www.youtube.com/watch?v=TX9qSaGXFyg Macでも同様のことはできます！ 高精度なセンサやカメラによる行動認識

© ZOZO, Inc. 手元のデバイスと標準フレームワークでも可能
 5 ● Appleデバイス
 ○ MacBook
 ○ iPhone
 ○ AirPods Pro
 ○ Apple Watch
 
 ● 標準フレームワーク
 ○ Vision
 ○ Speech
 ○ Core Motion
 
 
 引用元: https://www.youtube.com/watch?v=TX9qSaGXFyg 高精度なセンサやカメラによる行動認識

© ZOZO, Inc. Core Graphicsでキー入力やマウスイベントを発生させる
 6 ● 例：Aキーの入力

© ZOZO, Inc. Core Graphicsでキー入力やマウスイベントを発生させる
 7 ● 例：左クリック

© ZOZO, Inc. デモ
 8

© ZOZO, Inc. 非接触でMacを操作する技術　その1
 
 9 ● デモ
 ○ 話した言葉に応じてショートカットキーをトリガーする 
 ● 実装
 ○ SpeechのSFSpeechRecognizerで話し言葉を認識
 ○ Core Graphicsのイベントをトリガー
 
 
 


© ZOZO, Inc. 10

© ZOZO, Inc. 非接触でMacを操作する技術　その2
 
 11 ● デモ
 ○ 手の動きに応じてマウス操作する 
 ● 実装
 ○ VisionのVNDetectHumanHandPoseRequestで手を認識
 ○ Core Graphicsのイベントをトリガー
 
 
 


© ZOZO, Inc. 12

© ZOZO, Inc. 非接触でMacを操作する技術　その3
 
 13 ● デモ
 ○ 顔の動きに応じてマウス/ショートカット操作する 
 ● 実装
 ○ Core MotionでAirPods Proのセンサの値を取得し顔の姿勢を推定
 ○ Core Graphicsのイベントをトリガー
 
 
 


© ZOZO, Inc. 14

© ZOZO, Inc. 今回のデモ
 15 1. 話した言葉に応じてショートカットキーをトリガーする
 ○ https://github.com/NakaokaRei/speech2operate
 
 
 2. 手の動きに応じてマウス操作する（TestFlightからもどうぞ⇩）
 ○ https://github.com/NakaokaRei/TrackpadAir
 
 
 3. 顔の動きに応じてマウス操作する ○ https://github.com/NakaokaRei/motion2operate
 


© ZOZO, Inc. SwiftAutoGUI
 16 ● それぞれのイベントをあらかじめ定義してライブラリとして公開
 ○ https://github.com/NakaokaRei/SwiftAutoGUI
 


© ZOZO, Inc. SwiftAutoGUI
 17 ● キー入力
 


© ZOZO, Inc. SwiftAutoGUI
 18 ● マウスイベント
 


© ZOZO, Inc. 株式会社ZOZO
 計測プラットフォーム開発本部 計測アプリ部 iOSブロック 中岡 黎
 ● 2022年4月に新卒入社
 ● 大分県出身
 
 X(Twitter): @rei_nakaoka
 GitHub: @NakaokaRei
 19

© ZOZO, Inc. 20

No content