XRミーティング 20230419

XRミーティング 20230419「HoloLens2 と ChatGPT API と Node-RED でお手軽音声照明コントロールを実装してみて考えたこと」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20230419_XRミーティング 20230419
   HoloLens2 と ChatGPT API と Node-RED で
   お手軽音声照明コントロールを実装してみて考えたこと
   ワンフットシーバス 田中正吾
   

   View Slide

2. 私の話はスライドを後ほど共有します。
   話す内容に注力いただいて大丈夫です！
   

   View Slide

3. 田中正吾（たなかせいご）
   屋号：ワンフットシーバス
   2004年よりフリーランス。以後、FLASH制作を
   中心にインタラクティブコンテンツを主に行い現
   在に至る。
   最近ではWEBフロントエンドをベースにしなが
   らも、情報とインターフェースが合わさるアプ
   ローチという視点でIoTやMixed Realityといった
   技術も取り入れながら活動しています。
   

   View Slide

4. MR と IoT の間を ChatGPT が
   良き接着剤になってつながったよという話
   HoloLens2 ChatGPT API IoT (obniz)
   

   View Slide

5. HoloLens2 と ChatGPT API と Node-RED で
   お手軽音声照明コントロールをつくりました
   https://twitter.com/1ft_seabass/status/1635135055503949829
   

   View Slide

6. 動画をお見せします！
   ほんとはリアルタイムデモしたかったんですが「諸事情」で、できなくなり、今は動画でなにとぞ！
   「諸事情」は、後で説明します～。一部のリアルタイムデモは、後で無理くりやるかも。
   

   View Slide

7. HoloLens 2 には音声認識機能があり
   音声を日本語テキストに変換できます
   音声認識機能
   （インターネット経由）
   音声データ
   マイク入力
   テキスト
   日本語
   テキスト
   

   View Slide

8. 音声認識したテキストを ChatGPT API に伝えて
   IoT へ指示する JSON に変換され IoT が動作します
   日本語
   音声認識
   （インターネット経由）
   IoT 指示
   JSON
   自前 Node-RED
   ChatGPT API
   HoloLens2
   IoT
   

   View Slide

9. IoT 指示はこんな風に動作します
   obniz 側で IoT 指示 JSON に応じて動作します
   ● {"type":"on"}
   ○ 機能 : LED がつく
   ○ セリフ : 「おんにして」
   ● {"type":"off"}
   ○ 機能 : LED が消える
   ○ セリフ : 「おふにして」
   ● {"type": "blink", "interval": 1, "count": 3}
   ○ 機能 : 3 回点滅する
   ○ セリフ : 「3回点滅して」
   

   View Slide

10. ほかの IT の仕組みに馴染ませるために
    ChatGPT の万能さを JSON 返答するように調整
    あえてルールを決め回答しやすく案内＋ JSON データに加工して回答してもらう。人間同士の対話っぽい。
    人間の言葉を理解
    JSON データに
    加工して回答
    ルールを決めて
    回答しやすく特化
    ブラッシュアップ！
    ブラッシュアップ！
    人間の言葉を理解 人間の言葉で回答
    回答ジャンルは万能
    （得手不得手はある）
    ■ChatGPT の基本キャラクター
    ■他のシステムに馴染ませる調整（今回）
    

    View Slide

11. ChatGPT API で JSON を返してくれるナレッジ
    LED への RGB 値を JSON データで返答する ChatGPT API の仕組みを Node-RED でブラッシュアップしたメモ
    https://www.1ft-seabass.jp/memo/2023/03/17/chatgpt-http-api-like-json-response-tips-with-node-red/
    

    View Slide

12. Node-RED のフローはこんな感じ
    HoloLens2 から来たテキストを /api/chatgpt で受け取って
    質問内容を整理して ChatGPT に伝えて IoT 指示 JSON を obniz に伝えています
    

    View Slide

13. 質問内容はこんな感じ
    {{payload.message}} に HoloLens2 からきた、実際に話した内容がきて ChatGPT に質問します
    

    View Slide

14. Node-RED では chatgpt で調べると
    すでに 3 つもあります
    API ベースでつながるものです
    

    View Slide

15. 今回は node-red-contrib-simple-chatgpt を
    つかって手軽な感じでつなぎました
    設定は API のトークン入れるだけ、あとは Web 版のように質問テキストを payload で流し込みます
    

    View Slide

16. 作者のがおまるさんの記事がくわしいです
    API トークン入れるだけでサッと使えるところが素敵すぎる
    https://zenn.dev/gaomar/articles/e46cba8e489dfa
    

    View Slide

17. HoloLens 2 の話し言葉が IoT への指示に
    上手く変換されててありがたい
    

    View Slide

18. やっぱり一部はリアルタイムデモする！
    HoloLens 2 部分は動かないんだけど、以降の Node-RED + ChatGPT + IoT(obniz) は見せたい！
    

    View Slide

19. ChatGPTの「人間の言葉を理解」が橋渡し！
    いままでは話し言葉の理解が形態素解析などでかなり手間がかかったけど
    ChatGPT の「人間の言葉を理解」がつよいのでシンプルに実装できました！
    人間の言葉を理解
    JSON データに
    加工して回答
    ルールを決めて
    回答しやすく特化
    ブラッシュアップ！
    ブラッシュアップ！
    IoT 制御
    HoloLens2 音声認識
    

    View Slide

20. MR と IoT の間を ChatGPT が
    良き接着剤になってつながったよという話
    HoloLens2 ChatGPT API IoT (obniz)
    

    View Slide

21. 諸事情
    いま、ここが動かないみたいなんです。
    XRMTG で聞けるので（トラブったのは悲しいが）ある意味、最適なタイミングなので聞きたい。
    日本語
    音声認識
    （インターネット経由）
    IoT 指示
    JSON
    自前 Node-RED
    ChatGPT API
    HoloLens2
    IoT
    

    View Slide

22. 諸事情
    いま Dictation まわりがうまくつながらないみたい・・・！
    一切、ソースは変えてないんです。おかしい。エラー内容も珍しめ。
    

    View Slide

23. 諸事情
    なんか同じ状況の方もいて、一旦は様子見な状況！知っている人いたら教えてください～。
    MRTK を最新にするとエンドポイント変わるとかかなー？よくわかってない。
    

    View Slide

24. ➔ HoloLens2 で音声認識したテキストを ChatGPT API に伝
    えてIoT へ指示する JSON に変換され IoT が動かせた
    ➔ ほかの IT の仕組みに馴染ませるために ChatGPT の万能
    さを JSON 返答するように調整してうまくつないだ
    ➔ ChatGPTの「人間の言葉を理解」が橋渡し！
    ➔ MR と IoT の間を ChatGPT が良き接着剤になってつな
    がったよ！可能性を感じる！たのしい！
    まとめ
    

    View Slide