新機能の「Function calling」でToDoアプリを作った話 〜やってわかった良い点と注意点について〜

2023/7/3 に行われた LINE DC Offline Meetup ~ChatGPT/LLM~ の登壇資料です。
https://linedevelopercommunity.connpass.com/event/286483/

Transcript

1. 新機能の「Function calling」で ToDoアプリを作った話 〜やってわかった良い点と注意点について〜
2. レジュメ • ⾃⼰紹介 • Function callingについて • ToDoアプリについて • 結果 • まとめ
3. 自己紹介 )BSV ものづくりが好きなエンジニア 趣味: 将棋・プログラミング 開発⾔語: TypeScript, PHP, Python… バックエンドメインのフロント・モバイルも経験あり @Haru71175473
4. 伝えたいこと • Function callingの概要 • Function calling ✖ LineBotでのアプリ開発 • 良かった点・実装上の⼯夫点・注意すべき点
5. アプリ作成のきっかけ $IBU(15Λ࢖ͬͨΞϓϦέʔγϣϯΛ࡞Γ͍ͨʂ AIに何かさせたい！ 会話できるアプリはロマンがある
6. 課題に直面 ͔͠͠ʜ ChatGPTをアプリに組み込もうとするとうまくいかない ChatGPTは「会話」ができる ⼀⽅、アプリは「決まったデータ型」が必要 決まった形のない「会話」とは相性が悪い
7. 'VODUJPO
   DBMMJOH 6/13に新機能「Function calling」が追加 AIに「関数」を教えておけるようになる gpt-4 と gpt-3.5-turbo で実⾏可能 https://openai.com/blog/function-calling-and-other-api-updates
8. 'VODUJPO
   DBMMJOH AIに「関数」を教えおくと、 AIが通常のメッセージに加え、関数の実⾏を要求するようになる ˠ"*͕ΞϓϦΛૢ࡞ͯ͘͠ΕΔ
9. 何ができるようになるか AIが「会話」を「プログラムの実⾏」に変換できる 例） 「掃除して」と⾔えば「掃除の実⾏」をしてくれる
10. 今回のテーマ 5P%PΞϓϦΛ࡞੒͠ɺ 'VODUJPO
    DBMMJOH͕ Ͳͷఔ౓࣮༻Ͱ͖Δ͔࣮ݧ
11. ToDoアプリの概要① AIにToDoを管理してもらう ユーザーはチャットでAIにToDoの取得・作成・削除を要請する ToDoのEntity図
12. ToDoアプリの概要② 簡単のため、⽤意した関数は３種類 • ToDoの取得 • ToDoの作成 • ToDoの削除 この関数をChatGPTに伝える
13. ToDoアプリの概要③ ChatGPTは対話インターフェースが必要 →フロントエンドにLineを使⽤ Line Messaging APIでメッセージの送受信する
14. ToDoアプリの概要④ Application Webhook AIの実⾏要求 Line Messaging API アプリの概要図
15. 動作している様子 ToDoの追加・取得・削除をし てくれる →詳しく深掘る
16. 良かった点① 曖昧な言葉でも動作する 「ToDo」というキーワードが なくても動作する ˠҰ൪΍ͬͯཉ͍͜͠ͱ
17. 良かった点② 複雑な指示でもちゃんと動く AIが単なる຋༁ػҎ্に動作する •複数のToDoの同時追加 •現在のToDoの全削除 →具体的には次スライドで
18. ෳ਺ͷ5P%Pͷಉ࣌௥Ճ ݱࡏͷ5P%Pͷશ࡟আ ↑ToDoの取得と3回のToDo削除を呼び出している ↑3回ToDo作成を呼び出している
19. 良かった点② 複雑な指示でもちゃんと動く AIが単なる຋༁ػҎ্に動作する •複数のToDoの同時追加 •現在のToDoの全削除 ˠ༧૝Ҏ্ʹ༏ल
20. 注意すべき点 ハルシネーション(誤作動) AIによる、ハルシネーション(誤作動)が起こる 遭遇したハルシネーション • 勝⼿にToDoを追加する • 存在しないToDoを削除する • 存在しない関数を呼び出す
21. 工夫した点 プロンプトインジェクション対策 AIを利⽤するためにいくらか⼯夫をした 1点だけ紹介 ϓϩϯϓτɾΠϯδΣΫγϣϯରࡦ
22. プロンプト・インジェクション "*͕᱐͞ΕͯଞϢʔβʔͷ৘ใΛͱΒΕΔՄೳੑ͕͋Δ プロンプトインジェクション攻撃とは、 特殊な質問で 会話AIを開発者が想定していない状態にし、 保有する機密情報や公開すべきでないデータを引き出す攻撃⼿法 【引⽤元】ChatGPTとプロンプトインジェクション攻撃について https://www.ad-bind.com/chatgpt-and-prompt-injection-attacks-1768
23. 対策 手動で上書き 関数実⾏の前処理で、UserIDを⼿動で上書きしている ˠଞਓͷ5P%Pͷऔಘɾૢ࡞͸Ͱ͖ͳ͍
24. まとめ • Function callingを利⽤すると簡単にAIをアプリに組み込める • 予期しない動作は多少あるものの、通常の利⽤の範囲内では しっかり動作する • さらに期待以上の動作をしてくれるかもしれない…? • 誤作動やプロンプトインジェクションなどの懸念があるため、 ⼯夫や対策は必要そう
25. Qiita記事の紹介 今回取り上げなかった内容やさらに詳しい説明はこちらから https://qiita.com/Haru141/items/b86afc15c883e2fda423 https://qiita.com/Haru141/items/54afcdf465039ca26621
26. ご清聴ありがとうございました 作成したアプリの友達追加はこちらから （予告なく終了する可能性があります。ご了承ください）
27. Appendix インフラ構成
28. Appendix 質問① • Function callingでどんなアプリが作れそう？ • タスク・スケジュール管理 • カスタマーサービス⽤アプリ • AIアシスタント • なぜLineBotにした？ • 質の良い対話インターフェースを提供してくれるため • APIも充実しており、ChatGPTと相性が良さそう • 作ったアプリどうするか？ • かわいそうなので、売るか公開するかしたい。声かけて欲しい
29. Appendix 質問② • エラーハンドリングはどんな形でやっている？ • ChatGPTにそのままエラーメッセージを伝えればよい • なぜToDoアプリを作ったか？ • 実験のため、単純なアプリを利⽤したかったから • 通信の履歴はどうしているか？ • メッセージ⼀件に対してそれぞれステートレスで動かしている • その他気づいたことは？ • IDなどの無機質なデータはAIが操作しづらいらしい • ToDo名が「タスクA」「タスクB」などの抽象的な際に誤作動が頻発 した
30. Appendix 質問③ • テストはどれぐらい作った？ • AWSのモックが⼤変だったので、usecaseのみ実装 • CI/CDはどうなっている？ • ビルドにはDockerを使⽤している。GitHubActionsで反映してくれる • 開発で⼯夫したところはどこか？ • CI/CDから作り始める⼿法を試してみたが、思ったより良かった • 最後に⼀⾔ • ⾃分専⽤の秘書AIとか作れたらロマンあるよね
31. Appendix 料金について 関数を伝える分の料⾦は余計にかかる しかし、プロンプトは削減できるし「今までの会話全て」を送信 する必要がなくなるため、その分の料⾦は削減できる 結局、料⾦は安くなるのではないだろうか？