20230517_XRミーティング 20230517 HoloLens 2 音声認識 + ChatGPT で現実空間 に立方体を召喚できた話 ワンフットシーバス 田中正吾

私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！

10 分くらいで話します！

田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといっ た技術も取り入れながら活動しています。

東京住まいですが今回は北海道勢参加なんです あながち関連がないわけではないです。以前から少し北海道つながりがありつつ、 最近も今回の要素技術の Node-RED の UG イベントを7/5 札幌でやる予定！ よかったら北海道の方、当日配信見てくださーい！ https://node-red.connpass.com/event/282500/

HoloLens 2 の音声認識で ChatGPT に 立方体を召喚できました https://twitter.com/1ft_seabass/status/1653305818169876481

ひとまずデモしてみます

今回も Node-RED が橋渡し ChatGPT が音声認識したメッセージを解釈して HoloLens 2 に JSON を返して その JSON データによって物体を生成している仕組み

HoloLens 2 から来たメッセージを こんな風に組み込んでます わりとシンプルに磨き上げれて満足

いろいろ試行錯誤したこと

キューブが誤変換しやすく立方体にした HoloLens 側で私の発音がよくないのかうまくききとってくれない

立方体もレポートとして伝わると変なJSONになる なので type は HoloLens 側で受け取った後 cube, ball 以外は除外してる {"type":"report","create":4,"size":1}

「コーンが2.3の大きさで36個ください」 については悩ましくて未実装 ボールと立方体と比べて、どう呼んでいいかが悩ましい。コーンが伝わりにくいのもある。がんばる。

「ボールが9の大きさで12個ください」と 大きさ要素もあるが中々しゃべりきれない 最初は色要素もいれていたがスムーズに一気に言うのがけっこうむずかしいので、いいやり方考える。

クリックで録音開始は使いやすいが いちいち狙って押すのが大変なので模索したい ひとまず使える実装としてはベター、もうちょっとジェスチャとか模索したい（グーとか手合わせ検証中）

時間があれば、追いリアルタイムデモします！

➔ なにはともあれ音声で物体召喚できるのとてもたのしい！ ➔ ChatGPT がかなり柔軟に音声を解釈してルールさえしっ かりすれば JSON をうまく返してくれる ➔ ChatGPT による音声命令の設計は作りやすいものの、そ れでも場合や条件で上手く出す試行錯誤は必要 ➔ HoloLens 側の音声認識が揺れても ChatGPT がフォロー してくれるが混乱する場合もあり、おもしろい ➔ ひきつづき、いろいろ試していきたい！ まとめ