ChatGPT（GPT-4版）でIoTやってみた / IoTLT vol.97

Transcript

1. 2023年3月23日 (木) IoTLT vol.97 @ソフトバンク 豊田陽介（ ） @youtoy ChatGPT（GPT-4版）でIoTやってみた
2. 自己紹介 豊田陽介（ ） @youtoy ・IT系イベント主催、登壇や運営なども ・子ども向けの活動いろいろ ・ Microsoft MVP（2021/10 から） プライベートでの活動 ・ガジェット大好き ・昨年12月の ChatGPT熱が、昨月くらい 　から再燃中 ※ 昨年のアドベントカレンダーで、12月 　　2日やその他の日で ChatGPTネタの 　　記事を書いたりしてた 好きなこと、他
3. 生成系AIの話題、 盛りあがってますよね！
4. 一昨日・昨日だけを見ても（その1） Adobeの画像生成AI 「Adobe Firefly」 Googleの対話AI 「Bard」の一般公開 日本はまだ 引用： https://www.itmedia.co.jp/news/articles/2303/21/news079.html
5. 一昨日・昨日だけを見ても（その2） Microsoftの画像生成AI 「Bing Image Creator」 GitHubのコーディング支援 「GitHub Copilot X」 引用： https://japan.cnet.com/article/35201549/ 今は英語 での入力
6. 「Bing Image Creator」を軽く試してみた プロンプト 「Fantastic scenery of 　ice and flames」 DeepL翻訳で「氷と炎が 入りまじる幻想的な風景」 を英訳したもの
7. そんな生成系AIの1つ： OpenAIの「ChatGPT」
8. ChatGPTとは？ ▪ 話題になりすぎてて、詳細説明は不要かも... ・OpenAIの出した対話型AI ・提供開始などは以下のとおり 　　・2022年11月30日： 一般公開 　　・2023年3月2日： ChatGPT APIの一般公開 ※1 　　・2023年3月15日： GPT-4版提供 ※2 ※3 　　　　※1 従量課金 　　　　※2 Webからの利用には、有償版「ChatGPT Plus」が必要 　　　　※3 現状、GPT-4のAPI利用はwaitlist登録が必要
9. そんな「ChatGPT」を 使ってIoT
10. 最初の検証は 内容をシンプルにして実施
11. シンプルな機能の開発を 手伝ってもらう 「デバイスからのスマホ通知」
12. ここ数日のChatGPTの不具合に 見舞われ、ちょっと中途半端... 3/20 に使えない状態に その後、履歴が出ない・長文の 出力が途中でエラーに （履歴機能は、今朝7時台に復活）
13. 試そうとしたこと シンプルな仕組みの例： 　M5Stack系デバイスのボタンを押したら 　スマホのLINEアプリに通知（LINE Notifyを利用） 検証内容： 　・自分で作った場合と、以下を試した場合の比較 　　・適当なプロンプト（詳細は書かない）で試す 　　・補足情報ありのプロンプトなどで試す 　　・情報がある／ないはずのデバイスについて聞く 　　　（M5StickC Plus／ATOMS3 Lite） 　　・ボタン押下をユニットを使った処理に変更【未完】 　・細かな部分の検証【未完】
14. 結果：「適当なプロンプト（詳細は書かない）」 プロンプト： 　M5Stackを使ってLINE Notifyで通知を送る 　プログラム 出力の概要： 　・LINE Notifyのアクセストークン取得に関する簡単な説明 　・Arduino IDE開発の準備について簡単な説明 　・loop()の中身が空、1度だけ通知を送るプログラム 　　　※ LINE Notifyの処理のトリガーを指定してない部分は、 　　　　 「setup()のWi-Fi接続成功後に1度だけ処理」に 出力は 「手順説明 　　＋ プログラム」 プログラム は、setup() で1回処理と いうものに
15. 結果：「適当なプロンプト（詳細は書かない）」 ChatGPTでの入出力でのスクショ
16. 結果：「適当なプロンプト（詳細は書かない）」 途中で出力が途切れたので 「続きを書いて」という入力を ChatGPTでの入出力でのスクショ
17. ここで得られた内容は、 「ちょっとだけ手直しをしたら 動くもの」という感じ
18. 結果：最初の入力に情報を足して試す プロンプト： 　M5StickC Plus のボタンを押したら、LINE Notify 　で通知が送られるプログラム 出力の主な差分：
19. 動くものが出てきた （アクセストークン、SSID・ パスワードを書きかえるだけ）
20. 改善された理由は、 おそらくは再生成して出力が 変わったことと思われる （プロンプトの変更による改善ではなさそう）
21. 結果：デバイス指定を2つ目の入力で プロンプト（ボタン押下指定あり＋以下）： 　デバイスは、M5StickC Plusを使いたいのですが、スケッチ例は 　そのまま使えますか？何か変更が必要ですか？ 出力の冒頭部分： 【修正に関する補足】 ・M5StickC Plusのライブラリ 　をインポート ・ボタンA〜Cを使ったサンプル 　を、AとBのみにする変更
22. 結果：ATOMS3 Liteを指定してみる ・ChatGPTの学習データには情報がないはず ⇒ ChatGPTの正常動作だが存在しないものも... 何度か試した結果： 「よく分からないので、Python 　でLINE Notifyを使う方法を...」 「ATOMS3Lite.h」の インクルード ※ 実際には存在しない 「M5Atom.h」の インクルード
23. 結果：ATOMS3 Liteを指定してみる ・「M5AtomS3.h」という名称だけ出してみる この時は、知らないライブラリ という内容込みの返答など
24. 出てきた情報の正しさは 要検証という感じ （この挙動はChatGPTの仕様通りだけれど...）
25. Bingでもやってみた
26. 結果：「少し補足情報あり」のプロンプト プロンプト（3つ）： 　M5StickC Plus のボタンを押したら、LINE Notify 　で通知が送られるプログラム 　Arduino IDE のプログラムを示してください 　サンプルコードを見せてください サンプルコードを見せてください 出力結果： 　・LINE Notifyのアクセストークン・無線LAN情報 　　（SSID・パスワード）を変更するだけで無事に動作 ここでコードが出てきた
27. 結果：「少し補足情報あり」のプロンプト
28. 結果：「少し補足情報あり」のプロンプト
29. 結果：「少し補足情報あり」のプロンプト プロンプト（1つ）： 　M5StickC Plus のボタンを押したら、LINE Notifyで 　通知が送られるプログラムのサンプルコードを見せてください サンプルコードを見せてください 出力結果： 　・人感センサーを使う仕組みが混じったものが出てきたり
30. より複雑な内容で試したり、 より良い出力を得られるコツなど を模索していきたい
31. 引き続き「生成AI ＋ IoT」の お試しをやっていきたい！
32. 余談：ChatGPT APIを処理に 組み込んだお試しの中の1つ
33. ブラウザで動く音声対話 ブラウザで p5.js ・p5.speech・ ChatGPT API を 利用した実装で ChatGPTと声でやりとりする仕組みの簡単な試作
34. APIを呼び出す処理はChatGPT作（GPT-3.5版） 公式の curlサンプルから ブラウザの fetch で呼び 出す処理の作成を依頼
35. 余談：IoT系以外のコード 生成のお試しの1つ
36. p5.js（JavaScript）実装のブロック崩し プロンプト：「p5.jsでブロック崩しが遊べるプログラムを作って」 クラス構文も 使われた180行 ほどのプログラム
37. 終わり！