GPT-3.5をWebアプリに組み込む際に工夫したこと

Transcript

1. GPT-3.5をWebアプリに組み 込む際に工夫したこと Kotaro 1
2. 目次 • 自己紹介 • アプリの紹介 • 構成図 • 1. プロンプトの工夫 • 2. エラーハンドリングの工夫 • 3. 応答までに時間がかかる問題 • おわりに 2
3. 自己紹介 ニックネーム: Kotaro Twitter: @rorosawa255 技術: React / Rails / Fast API / Next.js など 所属: - 上智大学理工学部情報理工学科(B4) - Qiita株式会社(エンジニアアルバイト) - 株式会社リーディングマーク(エンジニア アルバイト) 3
4. アプリの紹介 excirouteR 訪れたい地域や、お出かけの目 的などを入力することで、自動で モデルコースを生成する個人開 発のWebアプリケーション GPT-3.5のAPIを利用 この開発において、工夫した点 をご紹介します！ 4
5. 構成図 5
6. 1. プロンプトの工夫 6
7. 1. プロンプトの工夫 - リクエストは英語で書く - gpt-3.5-turboの利用料金はリクエストとレスポンスの トークン数に応じた従量課金 - ひらがな1文字：1トークン、漢字1文字：2~3トークン、英語一単語： 1トークン - 例えば、自転車： 7トークン、bicycle：1トークン - 英語で書いた方が圧倒的にお得！！！ - レスポンスの形式を指定する - 今回は結果を加工して表示する必要があるため、フォーマット通りに返ってくると嬉しい - p.6のようにフォーマットを指定すると、その通り返してくれる (*可能性が高い) 7
8. 2. エラーハンドリングの工夫 指定したフォーマット通りに返ってくる時もあれば、そうでない時もある。 excirouteRの場合、以下のパターンのレスポンスを受け取ることが多かった。 1. 指定通りのパターン "\\`\\`\\`json\n{\n \"spots\": [\n {\n \"name\": \"\u938c\u5009\u5927\u4ecf\ 2. 「```json」が省略されたパターン "{\n \"spots\": [\n {\n \"name\": \"\u6d45\u8349\u5bfa\",\n \"address\" 8
9. 2. エラーハンドリングの工夫 ２のパターンでは、レスポンスを適切に整形できないためエラーとなる。 エラーは、発見次第、都度修正していく必要がある。 早期発見が大事！！！ エラー発生時、即座に、Discordにメッセージを自動送信する仕組みを作った。 9
10. 3. 応答までに時間がかかる問題 1. 結果が出るまでユーザが退屈に感じてしまう - アンケートを実施(一石二鳥) - アンケート終了後、ﾈｺﾁｬﾝの動画を表示 (@sekikazu01さんのアイデアを参考) 10
11. 3. 応答までに時間がかかる問題 2. タイムアウトが発生してしまう。 - GPTのAPIのレスポンスタイムはかなり長い(本アプリでは平均2分程かかる) - バックエンドや、リバースプロキシなどをデフォルトの設定で運用していると、タイム アウトが発生する可能性がある。 - 今回は、リバースプロキシ(Nginx)においてタイムアウトが発生。 - nginx.confのproxy_read_timeoutを適切に設定してあげることで解決した。 11
12. おわりに 今回の発表内容の詳細は以下のQiitaの記事にまとめてありますので、今回の発表で 興味を持たれた方は是非、ご覧ください！ ChatGPT APIを使ってモデルコースを生成するWebアプリケーション を開発した話 - Qiita
 ご清聴ありがとうございました！ 12