XRミーティング 20230517

XRミーティング 20230517「HoloLens 2 音声認識 + ChatGPT で現実空間に立方体を召喚できた話」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20230517_XRミーティング 20230517 HoloLens 2 音声認識 + ChatGPT で現実空間 に立方体を召喚できた話 ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 10 分くらいで話します！
4. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといっ た技術も取り入れながら活動しています。
5. 東京住まいですが今回は北海道勢参加なんです あながち関連がないわけではないです。以前から少し北海道つながりがありつつ、 最近も今回の要素技術の Node-RED の UG イベントを7/5 札幌でやる予定！ よかったら北海道の方、当日配信見てくださーい！ https://node-red.connpass.com/event/282500/
6. HoloLens 2 の音声認識で ChatGPT に 立方体を召喚できました https://twitter.com/1ft_seabass/status/1653305818169876481
7. ひとまずデモしてみます
8. 今回も Node-RED が橋渡し ChatGPT が音声認識したメッセージを解釈して HoloLens 2 に JSON を返して その JSON データによって物体を生成している仕組み
9. HoloLens 2 から来たメッセージを こんな風に組み込んでます わりとシンプルに磨き上げれて満足
10. いろいろ試行錯誤したこと
11. キューブが誤変換しやすく立方体にした HoloLens 側で私の発音がよくないのかうまくききとってくれない
12. 立方体もレポートとして伝わると変なJSONになる なので type は HoloLens 側で受け取った後 cube, ball 以外は除外してる {"type":"report","create":4,"size":1}
13. 「コーンが2.3の大きさで36個ください」 については悩ましくて未実装 ボールと立方体と比べて、どう呼んでいいかが悩ましい。コーンが伝わりにくいのもある。がんばる。
14. 「ボールが9の大きさで12個ください」と 大きさ要素もあるが中々しゃべりきれない 最初は色要素もいれていたがスムーズに一気に言うのがけっこうむずかしいので、いいやり方考える。
15. クリックで録音開始は使いやすいが いちいち狙って押すのが大変なので模索したい ひとまず使える実装としてはベター、もうちょっとジェスチャとか模索したい（グーとか手合わせ検証中）
16. 時間があれば、追いリアルタイムデモします！
17. ➔ なにはともあれ音声で物体召喚できるのとてもたのしい！ ➔ ChatGPT がかなり柔軟に音声を解釈してルールさえしっ かりすれば JSON をうまく返してくれる ➔ ChatGPT による音声命令の設計は作りやすいものの、そ れでも場合や条件で上手く出す試行錯誤は必要 ➔ HoloLens 側の音声認識が揺れても ChatGPT がフォロー してくれるが混乱する場合もあり、おもしろい ➔ ひきつづき、いろいろ試していきたい！ まとめ