XRミーティング 20230621

XRミーティング 20230621「HoloLens2 の音声認識と ChatGPT で会話するハンドジェスチャ実装して見えてきたこと」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20230621_XRミーティング 20230621
   HoloLens2 の音声認識と ChatGPT で会話する
   ハンドジェスチャ実装して見えてきたこと
   ワンフットシーバス 田中正吾
   

   View Slide

2. 私の話はスライドを後ほど共有します。
   話す内容に注力いただいて大丈夫です！
   

   View Slide

3. 10 分くらいで話します！
   

   View Slide

4. 田中正吾（たなかせいご）
   屋号：ワンフットシーバス
   2004年よりフリーランス。以後、FLASH制作を
   中心にインタラクティブコンテンツを主に行い現
   在に至る。
   最近ではWEBフロントエンドをベースにしなが
   らも、情報とインターフェースが合わさるアプ
   ローチという視点でIoTやMixed Realityといった
   技術も取り入れながら活動しています。
   

   View Slide

5. 以前からブラッシュアップしてる
   オブジェクト生成の仕組み
   HoloLens2 ChatGPT API オブジェクト
   生成
   

   View Slide

6. すでにボタンクリックで録音して
   音声認識させて ChatGPT に指示してた
   日本語
   音声認識
   （インターネット経由）
   自前 Node-RED
   ChatGPT API
   HoloLens2
   オブジェクト
   生成
   

   View Slide

7. クリックで録音開始は使いやすいが
   いちいち狙って押すのが大変なので模索してた
   

   View Slide

8. HoloLens 2 からの ChatGPT への指示を
   「手合わせ」起動にしたらおもしろかった！
   

   View Slide

9. こんなかんじです
   まずは動画から
   https://twitter.com/1ft_seabass/status/1661532902910472192
   

   View Slide

10. デモをやってみます！
    

    View Slide

11. いろいろ試行錯誤したこと
    

    View Slide

12. ハンドトラッキングは MRTK のこちらを参考
    ハンド トラッキング - MRTK 2
    https://learn.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/mrtk2/features/input/hand-tra
    cking?view=mrtkunity-2022-05
    

    View Slide

13. 両手首 Wrist の近さでクリック録音と
    同じ効果が発動するようにした
    

    View Slide

14. だいたい 15 cm 以下で発動するように
    Wrist の GameObject 同士の位置から距離をとって Unity で 0.15 以下
    

    View Slide

15. 結果として距離だけでよかった
    手を合わせるまでの速度や「パーン」とやる強さは効果薄め。距離だけでいい。
    

    View Slide

16. こんな風に上手く取れてる
    Debug.LogFormat をそのまま空間上にテキストで出すやついつも重宝してる
    

    View Slide

17. いま拍手で ON もう一度拍手で OFF
    ちょいやりづらいので「手を合わせてる時だけ」音声認識もよさそう。こんどやってみる。
    拍手で ON もう一度拍手で OFF
    

    View Slide

18. 他のハンドジェスチャ検討してました
    ジェスチャというユーザーインターフェース GUI
    

    View Slide

19. 1 本指の指さし系は元々のポインタと
    誤認しやすいので実装しにくい
    だけ小指をたてるとかムズい、中指だけ立てるのは特徴ハッキリだけど文化的にヤバい
    

    View Slide

20. きっちり手を広げる判定はむずかしい
    各間接が「まっすぐかどうか」という判定は結構あいまいになった
    

    View Slide

21. いいね！みたいな動きは間接が特徴的で
    実装できなくはないので次点案だった
    ともあれ、手首判定の方が総合的にやりやすかったので採用
    

    View Slide

22. 余談としては、ピースサインなど
    指の特徴が複数なのは結構実装カロリー高い
    

    View Slide

23. 魔法とか忍術とかファンタジー＋XR＋ChatGPT に
    少しだけ想いを馳せてみたくなる
    

    View Slide

24. このアクション、某錬金術師的連想をするけど
    実は手首だけ合えば良いので別アクションも可能
    

    View Slide

25. 某忍者系の印アクションもできる
    

    View Slide

26. さらにいえば、手ごね（印）アクションで
    より細かく指示前提を分岐できそうな可能性
    それなりに大変だけどできたらおもしろそう。術ってホントにそういうことなのかも。
    

    View Slide

27. 手合わせ＋発声詠唱は
    何が出てくるか予測しやすいともいえる
    

    View Slide

28. 手ごね（印）アクションだけでやれば
    より術の予測がつきにくくなる
    

    View Slide

29. ファンタジーつよつよ要素で無詠唱あるけど、
    実は外部認識しづらいだけで何かあったりして
    微弱なフィジカル信号なら IoT 要素とか絡まなくもないなっておもう
    

    View Slide

30. 妄想も広がりつつ、今回のハンドジェスチャで
    「技術を会話する」感が強くなったので楽しい
    

    View Slide

31. ➔ 手合わせ発動で ChatGPT に指示が出してオブジェクトが
    呼び出せると召喚感が強くて楽しい
    ➔ ハンドジェスチャは使いやすさを意識した実装は奥が深い
    と感じたが、うまくいくジェスチャ見つけると楽しい
    ➔ 「技術と会話して何かする」世界観はファンタジーも想起
    させ色々と発想が融合・発展していく感じがよい
    ➔ ジェスチャも音声指示も人間側で「うまく合わせる」とこ
    ろがあり技術との仲良くするやり方に可能性を感じる
    ➔ 引き続き、このあたり試行錯誤していきたい！
    まとめ
    

    View Slide