Upgrade to Pro — share decks privately, control downloads, hide ads and more …

XRミーティング 20230419

XRミーティング 20230419

XRミーティング 20230419「HoloLens2 と ChatGPT API と Node-RED でお手軽音声照明コントロールを実装してみて考えたこと」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます!

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

1ft-seabass

April 19, 2023
Tweet

More Decks by 1ft-seabass

Other Decks in Technology

Transcript

  1. 音声認識したテキストを ChatGPT API に伝えて IoT へ指示する JSON に変換され IoT が動作します

    日本語 音声認識 (インターネット経由) IoT 指示 JSON 自前 Node-RED ChatGPT API HoloLens2 IoT
  2. IoT 指示はこんな風に動作します obniz 側で IoT 指示 JSON に応じて動作します • {"type":"on"}

    ◦ 機能 : LED がつく ◦ セリフ : 「おんにして」 • {"type":"off"} ◦ 機能 : LED が消える ◦ セリフ : 「おふにして」 • {"type": "blink", "interval": 1, "count": 3} ◦ 機能 : 3 回点滅する ◦ セリフ : 「3回点滅して」
  3. ほかの IT の仕組みに馴染ませるために ChatGPT の万能さを JSON 返答するように調整 あえてルールを決め回答しやすく案内+ JSON データに加工して回答してもらう。人間同士の対話っぽい。

    人間の言葉を理解 JSON データに 加工して回答 ルールを決めて 回答しやすく特化 ブラッシュアップ! ブラッシュアップ! 人間の言葉を理解 人間の言葉で回答 回答ジャンルは万能 (得手不得手はある) ▪ChatGPT の基本キャラクター ▪他のシステムに馴染ませる調整(今回)
  4. ChatGPT API で JSON を返してくれるナレッジ LED への RGB 値を JSON

    データで返答する ChatGPT API の仕組みを Node-RED でブラッシュアップしたメモ https://www.1ft-seabass.jp/memo/2023/03/17/chatgpt-http-api-like-json-response-tips-with-node-red/
  5. ➔ HoloLens2 で音声認識したテキストを ChatGPT API に伝 えてIoT へ指示する JSON に変換され

    IoT が動かせた ➔ ほかの IT の仕組みに馴染ませるために ChatGPT の万能 さを JSON 返答するように調整してうまくつないだ ➔ ChatGPTの「人間の言葉を理解」が橋渡し! ➔ MR と IoT の間を ChatGPT が良き接着剤になってつな がったよ!可能性を感じる!たのしい! まとめ