20231108_AIミーティング

20231108_AIミーティング 20231108 Meta Quest 3 + Whisper API + ChatGPT
で IoT 制御して考えたアレコレワンフットシーバス田中正吾

私の話はスライドを後ほど共有します。話す内容に注力いただいて大丈夫です！

10 分くらいで話します！

田中正吾（たなかせいご）屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を中心にインタラクティブコンテンツを主に行い現在に至る。最近ではWEBフロントエンドをベースにしながらも、情報とインターフェースが合わさるアプローチという視点でIoTやMixed Realityといった技術も取り入れながら活動しています。

Meta Quest 3 と ChatGPT が会話できました！

先日 IBM TechXchange Conference Japan 2023 で、うまくお披露目してきました！ https://twitter.com/1ft_seabass/status/1718799213558140946

マイク入力を Whisper で文字起こしして Node-RED 経由で ChatGPT に会話する仕組み今回は中継サーバである Node-RED が
ChatGPT の仕掛けを担っていて試行錯誤がしやすい Meta Quest 3 Node-RED OpenAI ChatGPT API OpenAI Whisper API 音声認識質問・回答

デモしてみます

試行錯誤した話やアレコレ

カラーパススルーかっこいい株式会社フレームシンセシスさんの Unity + Meta Quest開発メモに感謝しかない！ありがとうございます！ https://tech.framesynthesis.co.jp/unity/metaquest/

物理 A ボタンの録音開始・終了手堅いいずれハンドジェスチャも考えていますが画面外でも手堅く操作できてやっぱり使いやすい

Node-RED の仕組み simple-chatgpt ノードは会話を覚える機能があり組みやすい。これを Unity 内で履歴保持で何度も API 仕様に沿って伝えるのは大変だが Node-RED
のおかげで注力できる

プラスアルファの仕掛け「音声コマンド」会話を覚える機能に対するさらなるフォロー。「忘れて」でリセットできたり「履歴」で履歴を確認できたりするコマンドを設置。

なんと Android VR なつながりで XREAL Air の知見をほぼそのまま使えた https://www.1ft-seabass.jp/memo/2023/10/17/xreal-air-with-whisper-api-and-chatgpt-api/

マイク入力は XREAL Air と同じ Android audio input だったのでやりやすかったと、ともに気づいたことが・・・！

他にも色々なマイク入力がいる！ Android voice recognition とか Android camcorder input とか

Voice SDK なるものが Oculus 3 にもありそうとわかった https://developer.oculus.com/documentation/unity/voice-sdk-overview/?locale=ja_JP

Wit.ai って気になる Wit.ai https://wit.ai/

いまは英語対応だけど他言語もがんばってる？これがうまくいくと Voice SDK で Whisper でやっていることが内蔵でできそうで素敵っぽい

➔ XREAL Air など他の Android xR デバイス知見がうまく活用できてつながりをかんじる！ ➔ Node-RED
のような中継サーバーで ChatGPT の細かな調整はしたほうが、機能追加や試行錯誤がしやすかった ➔ 音声認識面は Meta Quest 3 だと Voice SDK で内蔵でアレコレできそうな未来もありそう ➔ パススルーで世界が見えつつ ChatGPT と話せると没入感があってたのしい xR なかんじ！ ➔ ひきつづき、xR + AI な連携やっていきたい！まとめ

20231108_AIミーティング

20231108_AIミーティング

1ft-seabass
PRO

More Decks by 1ft-seabass

Other Decks in Technology

Featured

Transcript