Slide 1

Slide 1 text

20230602_enebular meetup 夏の陣:自由研究発表会 enebular で ChatGPT を活用した HoloLens 2・LINE BOT・IoTあたりをうまくやる ワンフットシーバス 田中正吾

Slide 2

Slide 2 text

私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です!

Slide 3

Slide 3 text

田中正吾(たなかせいご) 屋号:ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。

Slide 4

Slide 4 text

HoloLens 2 には音声認識機能があり 音声を日本語テキストに変換できます 音声認識機能 (インターネット経由) 音声データ マイク入力 テキスト 日本語 テキスト

Slide 5

Slide 5 text

音声認識したテキストを ChatGPT API に伝えて IoT へ指示する JSON に変換され IoT が動作します 日本語 音声認識 (インターネット経由) IoT 指示 JSON 自前 Node-RED ChatGPT API HoloLens2 IoT

Slide 6

Slide 6 text

こんな仕組み https://twitter.com/1ft_seabass/status/1635135055503949829

Slide 7

Slide 7 text

この仕組みも最近だいぶ整ったが 直接コアの部分は見せにくい URL がバレちゃったりデモ用に仕組み壊しちゃう可能性は十分あり得るのが悩ましい

Slide 8

Slide 8 text

ある程度稼働しているが一部の処理を イベント用に特化させるときに enebular は便利 https://www.1ft-seabass.jp/memo/2023/05/22/tokai-university-special-lecture-202305/

Slide 9

Slide 9 text

enebular で受け付ける仕組みを作った Node-RED の仕組みを enebular に移植したが先日の東海大学特別講義で大活躍

Slide 10

Slide 10 text

ひとまずデモします!

Slide 11

Slide 11 text

さらに試したくなったときも便利 この仕組みを LINE BOT でも試したくなった

Slide 12

Slide 12 text

ChatGPT + enebular でシンプルな LINE BOT も Discover Flow でつくりました

Slide 13

Slide 13 text

さらに今回の IoT + ChatGPT 連携の指示出し用の LINE BOT をつくってみました

Slide 14

Slide 14 text

それではデモしてみます!

Slide 15

Slide 15 text

よかったところ

Slide 16

Slide 16 text

ChatGPT の複数行に渡す指示を enebular でブラッシュアップしやすい ChatGPT では狙い通りに指示するには結構複数行で書き込まないといけないので IoT や VR の仕組みで直接試行錯誤するのは大変

Slide 17

Slide 17 text

エディタの時間制限が 4 時間延びたので リアルタイムデモがやりやすくなった 以前は 1 時間だったので Heroku デプロイ常連だったけど 4 時間なら制限内で常時起動もあり LINE BOT のデモやハンズオンでも確実性が高まりそう!

Slide 18

Slide 18 text

ほかで一旦整った仕組みを一時的に分けて デモ用に特化させる仕組みもやりやすい 重宝してます!ありがとうございます!