20230614_AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜

AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜「OpenAI 社 ChatGPT API に JSON データをお願いする試行錯誤とその先に見えたこと」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20230614_AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜 OpenAI 社 ChatGPT API に JSON データを お願いする試行錯誤とその先に見えたこと ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 10 分くらいで話します！
4. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。 Microsoft MVP / IBM Champion
5. MR と IoT の間を ChatGPT が 良き接着剤になったけど割と捻じ伏せてる話 HoloLens2 ChatGPT API IoT (obniz)
6. 実際のデモ 最近はこれに手合わせ詠唱をきっかけにする仕組みを導入 https://twitter.com/1ft_seabass/status/1635135055503949829
7. HoloLens 2 には音声認識機能があり 音声を日本語テキストに変換できます 音声認識機能 （インターネット経由） 音声データ マイク入力 テキスト 日本語 テキスト
8. 音声認識したテキストを ChatGPT API に伝えて IoT へ指示する JSON に変換され IoT が動作します 日本語 音声認識 （インターネット経由） IoT 指示 JSON 自前 Node-RED ChatGPT API HoloLens2 IoT
9. こんな内容 オン・オフ・点滅に応じたお願いをしている。 {{payload.message}} に発言した言葉が入る
10. それではやってみます！
11. ChatGPT はこういったカジュアルな質問も 良い感じに答えてくれる 人間の言葉を理解 人間の言葉で回答 回答ジャンルは万能 （得手不得手はある）
12. 他のシステムに馴染ませる調整の一例でした！ ChatGPT さんは回答できるジャンルは万能だけど、あえてルールを決めて回答しやすく特化。 さらに JSON データに加工して回答してもらい、他のシステムにつなぎやすく。もう人間同士の対話っぽい。 人間の言葉を理解 JSON データに 加工して回答 ルールを決めて 回答しやすく特化 ブラッシュアップ！ ブラッシュアップ！ 人間の言葉を理解 人間の言葉で回答 回答ジャンルは万能 （得手不得手はある） ▪ChatGPT の基本キャラクター ▪他のシステムに馴染ませる調整（今回）
13. Node-RED で HoloLens 2 の音声認識を受けて ChatGPT で IoT を動かす JSON を連携する仕組み
14. こんなプロンプトです 事前に条件を設定できる system 値に置き換えてもいいやつですが、今は質問文に含めてる
15. これが最初のきっかけ いい感じのエアコン設定温度を JSON データで返答し HTTP API 的に ChatGPT が答えてくれる質問例のメモ https://www.1ft-seabass.jp/memo/2023/03/13/chatgpt-http-api-like-json-response-tips1/
16. いろいろと試行錯誤した結果がこちら LED への RGB 値を JSON データで返答する ChatGPT API の仕組みを Node-RED でブラッシュアップしたメモ https://www.1ft-seabass.jp/memo/2023/03/17/chatgpt-http-api-like-json-response-tips-with-node-red/
17. 今回用にできあがったもの さっきのは RGB カラーを渡すものだが、今回のは照明のオンオフに特化したもの
18. まだまだ試行錯誤が必要なところ
19. いつもしゃべってテスト大変なので LINE BOT なりでテキストでテストするの大事
20. 浮き彫りになったヤバい応答 一文のなかに 2 つの指示が混ざると空気を読みすぎて謎の配列編返答をしてくれる。すごいけど、こまる。
21. Function calling の登場で JSON 指定はよりやりやすくなりそうな気配 この記事がわかりやすい https://dev.classmethod.jp/articles/understand-openai-function-calling/
22. 別ネタで試してみてうまくいきそう！ 色名を聞くと RGB 値を JSON データで返答する仕組みを新機能 Function calling を導入したメモ https://www.1ft-seabass.jp/memo/2023/06/19/chatgpt-http-api-like-json-response-tips-with-node- red-using-function-calling/
23. 今回の仕組みもやってみました！ もともとの仕組みをつなぎかえます
24. Function calling の仕組みをつくりました
25. フローをつけかえて試してみます
26. ON の Function calling の設定 OFF の設定も同じアプローチ。固定値の指示が通ってる。
27. 点滅時の Function calling の設定 1 秒 とか 5 回は内容に応じてちゃんと入れてくれる。3 回点滅なら count に 3 が入る
28. 該当なしの Function calling の設定
29. 質問内容は Function calling の命令名で 振り分けるところを担当する 3. のお願いはしっかり練った。雑なお願いだとスルーされる場合はある。
30. オンにして、オフにして、3 回点滅して しっかり動いてくれました 確実に JSON が返ってくるという安心感がすごい
31. 「オンにして. オフにして. 」でも ちゃんと冒頭のオンをとらえてオブジェクトくれる さっきだと謎の配列で返してたのが、賢く返してくれるし、JSON でくる。
32. 「おんおふよろしく」だと else で逃がしてくれる確率が高まった ほぼ 100% ！
33. 時間があればデモもやってみます！
34. JSON データお願い系で使うパワー Function calling 以前と登場後で比較してみる。こんな要素がある。 基本的な指示設計 （JSON 以外） JSON定義指示 念押し指示
35. Function calling 以前の がちがち JSON データお願い系のプロンプト いろいろ考えてお願いする。最大魔法を撃ち続けてる感じ。消耗するw 基本的な指示設計 （JSON 以外） JSON定義指示 念押し指示 登場 以前 40 40 20
36. Function calling で行う 安心感ある JSON データお願い系のプロンプト JSON を出させるいろいろがなくなっていい感じ！ねじ伏せ度が下がった！100 → 50 半減。わーい。 基本的な指示設計 （JSON 以外） JSON定義指示 念押し指示 登場 以前 40 40 20 30 20 0
37. いろいろやりやすくなってうれしい！
38. ➔ ChatGPT に JSON データをお願いする試行錯誤をするこ とで、IoT や VR など他の技術につながりやすくなる ➔ Function calling 以前は JSON データをしっかりもらうに は結構がんばる必要があり、作りやすさ・確実さの面で大 変だった ➔ Function calling により確実に JSON データを受け取れて データ定義ができるので、だいぶやりやすくなった ➔ その結果、大変さは軽減され、つくるパワーを他の制作面 に振り向けれそうでワクワクする！つなげていこう！ まとめ