XRミーティング 20230621

XRミーティング 20230621「HoloLens2 の音声認識と ChatGPT で会話するハンドジェスチャ実装して見えてきたこと」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20230621_XRミーティング 20230621 HoloLens2 の音声認識と ChatGPT で会話する ハンドジェスチャ実装して見えてきたこと ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 10 分くらいで話します！
4. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。
5. 以前からブラッシュアップしてる オブジェクト生成の仕組み HoloLens2 ChatGPT API オブジェクト 生成
6. すでにボタンクリックで録音して 音声認識させて ChatGPT に指示してた 日本語 音声認識 （インターネット経由） 自前 Node-RED ChatGPT API HoloLens2 オブジェクト 生成
7. クリックで録音開始は使いやすいが いちいち狙って押すのが大変なので模索してた
8. HoloLens 2 からの ChatGPT への指示を 「手合わせ」起動にしたらおもしろかった！
9. こんなかんじです まずは動画から https://twitter.com/1ft_seabass/status/1661532902910472192
10. デモをやってみます！
11. いろいろ試行錯誤したこと
12. ハンドトラッキングは MRTK のこちらを参考 ハンド トラッキング - MRTK 2 https://learn.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/mrtk2/features/input/hand-tra cking?view=mrtkunity-2022-05
13. 両手首 Wrist の近さでクリック録音と 同じ効果が発動するようにした
14. だいたい 15 cm 以下で発動するように Wrist の GameObject 同士の位置から距離をとって Unity で 0.15 以下
15. 結果として距離だけでよかった 手を合わせるまでの速度や「パーン」とやる強さは効果薄め。距離だけでいい。
16. こんな風に上手く取れてる Debug.LogFormat をそのまま空間上にテキストで出すやついつも重宝してる
17. いま拍手で ON もう一度拍手で OFF ちょいやりづらいので「手を合わせてる時だけ」音声認識もよさそう。こんどやってみる。 拍手で ON もう一度拍手で OFF
18. 他のハンドジェスチャ検討してました ジェスチャというユーザーインターフェース GUI
19. 1 本指の指さし系は元々のポインタと 誤認しやすいので実装しにくい だけ小指をたてるとかムズい、中指だけ立てるのは特徴ハッキリだけど文化的にヤバい
20. きっちり手を広げる判定はむずかしい 各間接が「まっすぐかどうか」という判定は結構あいまいになった
21. いいね！みたいな動きは間接が特徴的で 実装できなくはないので次点案だった ともあれ、手首判定の方が総合的にやりやすかったので採用
22. 余談としては、ピースサインなど 指の特徴が複数なのは結構実装カロリー高い
23. 魔法とか忍術とかファンタジー＋XR＋ChatGPT に 少しだけ想いを馳せてみたくなる
24. このアクション、某錬金術師的連想をするけど 実は手首だけ合えば良いので別アクションも可能
25. 某忍者系の印アクションもできる
26. さらにいえば、手ごね（印）アクションで より細かく指示前提を分岐できそうな可能性 それなりに大変だけどできたらおもしろそう。術ってホントにそういうことなのかも。
27. 手合わせ＋発声詠唱は 何が出てくるか予測しやすいともいえる
28. 手ごね（印）アクションだけでやれば より術の予測がつきにくくなる
29. ファンタジーつよつよ要素で無詠唱あるけど、 実は外部認識しづらいだけで何かあったりして 微弱なフィジカル信号なら IoT 要素とか絡まなくもないなっておもう
30. 妄想も広がりつつ、今回のハンドジェスチャで 「技術を会話する」感が強くなったので楽しい
31. ➔ 手合わせ発動で ChatGPT に指示が出してオブジェクトが 呼び出せると召喚感が強くて楽しい ➔ ハンドジェスチャは使いやすさを意識した実装は奥が深い と感じたが、うまくいくジェスチャ見つけると楽しい ➔ 「技術と会話して何かする」世界観はファンタジーも想起 させ色々と発想が融合・発展していく感じがよい ➔ ジェスチャも音声指示も人間側で「うまく合わせる」とこ ろがあり技術との仲良くするやり方に可能性を感じる ➔ 引き続き、このあたり試行錯誤していきたい！ まとめ