XRミーティング 20230419

XRミーティング 20230419「HoloLens2 と ChatGPT API と Node-RED でお手軽音声照明コントロールを実装してみて考えたこと」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20230419_XRミーティング 20230419 HoloLens2 と ChatGPT API と Node-RED で お手軽音声照明コントロールを実装してみて考えたこと ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。
4. MR と IoT の間を ChatGPT が 良き接着剤になってつながったよという話 HoloLens2 ChatGPT API IoT (obniz)
5. HoloLens2 と ChatGPT API と Node-RED で お手軽音声照明コントロールをつくりました https://twitter.com/1ft_seabass/status/1635135055503949829
6. 動画をお見せします！ ほんとはリアルタイムデモしたかったんですが「諸事情」で、できなくなり、今は動画でなにとぞ！ 「諸事情」は、後で説明します～。一部のリアルタイムデモは、後で無理くりやるかも。
7. HoloLens 2 には音声認識機能があり 音声を日本語テキストに変換できます 音声認識機能 （インターネット経由） 音声データ マイク入力 テキスト 日本語 テキスト
8. 音声認識したテキストを ChatGPT API に伝えて IoT へ指示する JSON に変換され IoT が動作します 日本語 音声認識 （インターネット経由） IoT 指示 JSON 自前 Node-RED ChatGPT API HoloLens2 IoT
9. IoT 指示はこんな風に動作します obniz 側で IoT 指示 JSON に応じて動作します • {"type":"on"} ◦ 機能 : LED がつく ◦ セリフ : 「おんにして」 • {"type":"off"} ◦ 機能 : LED が消える ◦ セリフ : 「おふにして」 • {"type": "blink", "interval": 1, "count": 3} ◦ 機能 : 3 回点滅する ◦ セリフ : 「3回点滅して」
10. ほかの IT の仕組みに馴染ませるために ChatGPT の万能さを JSON 返答するように調整 あえてルールを決め回答しやすく案内＋ JSON データに加工して回答してもらう。人間同士の対話っぽい。 人間の言葉を理解 JSON データに 加工して回答 ルールを決めて 回答しやすく特化 ブラッシュアップ！ ブラッシュアップ！ 人間の言葉を理解 人間の言葉で回答 回答ジャンルは万能 （得手不得手はある） ▪ChatGPT の基本キャラクター ▪他のシステムに馴染ませる調整（今回）
11. ChatGPT API で JSON を返してくれるナレッジ LED への RGB 値を JSON データで返答する ChatGPT API の仕組みを Node-RED でブラッシュアップしたメモ https://www.1ft-seabass.jp/memo/2023/03/17/chatgpt-http-api-like-json-response-tips-with-node-red/
12. Node-RED のフローはこんな感じ HoloLens2 から来たテキストを /api/chatgpt で受け取って 質問内容を整理して ChatGPT に伝えて IoT 指示 JSON を obniz に伝えています
13. 質問内容はこんな感じ {{payload.message}} に HoloLens2 からきた、実際に話した内容がきて ChatGPT に質問します
14. Node-RED では chatgpt で調べると すでに 3 つもあります API ベースでつながるものです
15. 今回は node-red-contrib-simple-chatgpt を つかって手軽な感じでつなぎました 設定は API のトークン入れるだけ、あとは Web 版のように質問テキストを payload で流し込みます
16. 作者のがおまるさんの記事がくわしいです API トークン入れるだけでサッと使えるところが素敵すぎる https://zenn.dev/gaomar/articles/e46cba8e489dfa
17. HoloLens 2 の話し言葉が IoT への指示に 上手く変換されててありがたい
18. やっぱり一部はリアルタイムデモする！ HoloLens 2 部分は動かないんだけど、以降の Node-RED + ChatGPT + IoT(obniz) は見せたい！
19. ChatGPTの「人間の言葉を理解」が橋渡し！ いままでは話し言葉の理解が形態素解析などでかなり手間がかかったけど ChatGPT の「人間の言葉を理解」がつよいのでシンプルに実装できました！ 人間の言葉を理解 JSON データに 加工して回答 ルールを決めて 回答しやすく特化 ブラッシュアップ！ ブラッシュアップ！ IoT 制御 HoloLens2 音声認識
20. MR と IoT の間を ChatGPT が 良き接着剤になってつながったよという話 HoloLens2 ChatGPT API IoT (obniz)
21. 諸事情 いま、ここが動かないみたいなんです。 XRMTG で聞けるので（トラブったのは悲しいが）ある意味、最適なタイミングなので聞きたい。 日本語 音声認識 （インターネット経由） IoT 指示 JSON 自前 Node-RED ChatGPT API HoloLens2 IoT
22. 諸事情 いま Dictation まわりがうまくつながらないみたい・・・！ 一切、ソースは変えてないんです。おかしい。エラー内容も珍しめ。
23. 諸事情 なんか同じ状況の方もいて、一旦は様子見な状況！知っている人いたら教えてください～。 MRTK を最新にするとエンドポイント変わるとかかなー？よくわかってない。
24. ➔ HoloLens2 で音声認識したテキストを ChatGPT API に伝 えてIoT へ指示する JSON に変換され IoT が動かせた ➔ ほかの IT の仕組みに馴染ませるために ChatGPT の万能 さを JSON 返答するように調整してうまくつないだ ➔ ChatGPTの「人間の言葉を理解」が橋渡し！ ➔ MR と IoT の間を ChatGPT が良き接着剤になってつな がったよ！可能性を感じる！たのしい！ まとめ