20230510_AIミーティング 20230510 ChatGPT + HoloLens 2 連携の 試行錯誤したこと ワンフットシーバス 田中正吾

私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！

10 分くらいで話します！

田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。

XR と IoT の間を ChatGPT が 良き接着剤になってつながったよという話 HoloLens2 ChatGPT API IoT (obniz)

HoloLens2 と ChatGPT API と Node-RED で お手軽音声照明コントロールをつくりました https://twitter.com/1ft_seabass/status/1635135055503949829

ひとまずデモ！

HoloLens 2 には音声認識機能があり 音声を日本語テキストに変換できます 音声認識機能 （インターネット経由） 音声データ マイク入力 テキスト 日本語 テキスト

音声認識したテキストを ChatGPT API に伝えて IoT へ指示する JSON に変換され IoT が動作します 日本語 音声認識 （インターネット経由） IoT 指示 JSON 自前 Node-RED ChatGPT API HoloLens2 IoT

ほかの IT の仕組みに馴染ませるために ChatGPT の万能さを JSON 返答するように調整 あえてルールを決め回答しやすく案内＋ JSON データに加工して回答してもらう。人間同士の対話っぽい。 人間の言葉を理解 JSON データに 加工して回答 ルールを決めて 回答しやすく特化 ブラッシュアップ！ ブラッシュアップ！ 人間の言葉を理解 人間の言葉で回答 回答ジャンルは万能 （得手不得手はある） ■ChatGPT の基本キャラクター ■他のシステムに馴染ませる調整（今回）

ChatGPT API で JSON を返してくれるナレッジ LED への RGB 値を JSON データで返答する ChatGPT API の仕組みを Node-RED でブラッシュアップしたメモ https://www.1ft-seabass.jp/memo/2023/03/17/chatgpt-http-api-like-json-response-tips-with-node-red/

Node-RED のフローはこんな感じ HoloLens2 から来たテキストを /api/chatgpt で受け取って 質問内容を整理して ChatGPT に伝えて IoT 指示 JSON を obniz に伝えています

質問内容はこんな感じ {{payload.message}} に HoloLens2 からきた、実際に話した内容がきて ChatGPT に質問します

Node-RED では chatgpt で調べると すでに 3 つもあります API ベースでつながるものです

今回は node-red-contrib-simple-chatgpt を つかって手軽な感じでつなぎました 設定は API のトークン入れるだけ、あとは Web 版のように質問テキストを payload で流し込みます

作者のがおまるさんの記事がくわしいです API トークン入れるだけでサッと使えるところが素敵すぎる https://zenn.dev/gaomar/articles/e46cba8e489dfa

HoloLens 2 の話し言葉が IoT への指示に 上手く変換されててありがたい

ChatGPTの「人間の言葉を理解」が橋渡し！ いままでは話し言葉の理解が形態素解析などでかなり手間がかかったけど ChatGPT の「人間の言葉を理解」がつよいのでシンプルに実装できました！ 人間の言葉を理解 JSON データに 加工して回答 ルールを決めて 回答しやすく特化 ブラッシュアップ！ ブラッシュアップ！ IoT 制御 HoloLens2 音声認識

ChatGPT 実装のよもやま話

ここまでキッチリ命令すると ChatGPT4と3.5-turboで違いはなかった https://www.1ft-seabass.jp/memo/2023/05/02/openai-gpt-4-api-first-step/

この ON OFF 点滅のネタに 他の命令系統を加えるの大変そう RGB 値の仕組みも独立しては動くが、同じ仕組み内でやるのはコツが必要そう（最初に宣言とかかな）

実験で英語で同じようにお願いしても うまく返してくれるのはすごい

ChatGPT に送れる情報量に限界があるので キッチリ命令手法も万能ではない 引き続き頑張っていく

➔ 音声認識の揺れもうまく吸収してくれて ChatGPT が VR と IoT の橋渡しをしてくれる素敵 ➔ JSON での返答をお願いすることで自然言語を解釈して他 の仕組みに戻す手間が軽減できて面白い ➔ 機能限定はよさそうだけど、機能を拡張するときにどうす るかは引き続き考える必要がありそう ➔ とにもかくにも AI + XR + IoT がイイ感じにつながったの は、すごく勉強になったし、ワクワクした！ まとめ