enebular で ChatGPT を活用した HoloLens 2・LINE BOT・IoTあたりをうまくやる
by
1ft-seabass
×
Copy
Open
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Slide 1
Slide 1 text
20230602_enebular meetup 夏の陣:自由研究発表会 enebular で ChatGPT を活用した HoloLens 2・LINE BOT・IoTあたりをうまくやる ワンフットシーバス 田中正吾
Slide 2
Slide 2 text
私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です!
Slide 3
Slide 3 text
田中正吾(たなかせいご) 屋号:ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。
Slide 4
Slide 4 text
HoloLens 2 には音声認識機能があり 音声を日本語テキストに変換できます 音声認識機能 (インターネット経由) 音声データ マイク入力 テキスト 日本語 テキスト
Slide 5
Slide 5 text
音声認識したテキストを ChatGPT API に伝えて IoT へ指示する JSON に変換され IoT が動作します 日本語 音声認識 (インターネット経由) IoT 指示 JSON 自前 Node-RED ChatGPT API HoloLens2 IoT
Slide 6
Slide 6 text
こんな仕組み https://twitter.com/1ft_seabass/status/1635135055503949829
Slide 7
Slide 7 text
この仕組みも最近だいぶ整ったが 直接コアの部分は見せにくい URL がバレちゃったりデモ用に仕組み壊しちゃう可能性は十分あり得るのが悩ましい
Slide 8
Slide 8 text
ある程度稼働しているが一部の処理を イベント用に特化させるときに enebular は便利 https://www.1ft-seabass.jp/memo/2023/05/22/tokai-university-special-lecture-202305/
Slide 9
Slide 9 text
enebular で受け付ける仕組みを作った Node-RED の仕組みを enebular に移植したが先日の東海大学特別講義で大活躍
Slide 10
Slide 10 text
ひとまずデモします!
Slide 11
Slide 11 text
さらに試したくなったときも便利 この仕組みを LINE BOT でも試したくなった
Slide 12
Slide 12 text
ChatGPT + enebular でシンプルな LINE BOT も Discover Flow でつくりました
Slide 13
Slide 13 text
さらに今回の IoT + ChatGPT 連携の指示出し用の LINE BOT をつくってみました
Slide 14
Slide 14 text
それではデモしてみます!
Slide 15
Slide 15 text
よかったところ
Slide 16
Slide 16 text
ChatGPT の複数行に渡す指示を enebular でブラッシュアップしやすい ChatGPT では狙い通りに指示するには結構複数行で書き込まないといけないので IoT や VR の仕組みで直接試行錯誤するのは大変
Slide 17
Slide 17 text
エディタの時間制限が 4 時間延びたので リアルタイムデモがやりやすくなった 以前は 1 時間だったので Heroku デプロイ常連だったけど 4 時間なら制限内で常時起動もあり LINE BOT のデモやハンズオンでも確実性が高まりそう!
Slide 18
Slide 18 text
ほかで一旦整った仕組みを一時的に分けて デモ用に特化させる仕組みもやりやすい 重宝してます!ありがとうございます!