やる夫bot作ってみた

Nostr勉強会#3 で発表した内容になります。
リンク (connpass)
https://428lab.connpass.com/event/290514/

Transcript

1. やる夫BOT作ってみた 2023/08/04 発火大根
2. 自己紹介 名前 : 発火大根 本業 : インフラエンジニア(SRE的な感じ) Npub : npub1vf4huvhkfhgvys2qf4wlmncf855dzd3c6894mw2snktpxzh08vdsgcgkxx Nostr歴 : 約4か月(4/9開始) 2
3. 今日の内容 Nostrでやる夫bot作ったので、その話をします 3
4. 作った動機 ・作った時は丁度無職で、暇だった ・転職活動のネタになればいいと思った ・皆Bot作ってて楽しそうだと思った 4
5. 機能 ①30分毎にニュースを配信するよ ②メンションしたら回答するよ 5
6. しくみ ①ニュース取得 ②ニュース本文 ③ニュース感想 6
7. しかし 大きな問題を 抱えています 7
8. 7/26のこと… GPT-4 APIが使えるように！ 8
9. 早速モデル変更だ！ (GPT3.5 -> GPT4) 9
10. しかし、 OpenAIのUsageを見てみると…？ (OpenAIのAPIは従量課金制) 10
11. (ﾟДﾟ) 1日で$4.75(8/4のレートで約676円) 11
12. そう、GPT-4のAPIは GPT-3.5と比較すると かなり高いのです！ 12
13. GPT値段比較 ▪GPT-3.5 Turbo 4K : IN:$0.0015 / OUT:$0.002 16K: IN:$0.003 / OUT:$0.004 ▪GPT-4 8K : IN:$0.03 / OUT:$0.06 32K: IN:$0.06 / OUT:$0.12 ※単位 : 1k(1024)tokens 参考 : https://openai.com/pricing 変更前 変更後 13
14. ところで、 tokenって何？ 14
15. ・OpenAIの課金単位 ・英語だと1単語で1token ・日本語だと1文字で1～3tokenくらい ・日本語で文章を書いた場合は、token数の2/3くらいが文字数 Tokenとは 15
16. ・ニュースの本文の長さはまちまち(1500-3000字くらいが多いかも) ・仮に、1投稿2000字とする ・2000字/(2/3) = 約3030token ・$0.03 × 3030token / 1000 = $0.0909(12.98円) ・30分単位の投稿 -> 12.98円 x 48回 = 623.4円 入力プロンプトだけで、1日約623円！？ (623 × 30 = 月額18690円) 試算 16
17. 節約せねば！ 17
18. 一旦GPT-3.5でニュースを300字以内に要約して短くしたあと 感想を生成 施策１ ①ニュース本文 ②ニュース要約 ③ニュース要約文 ④ニュース感想 18
19. 施策１ 結果１ ・ニュースの感想をうまく出力できてそう！ ・文字数も節約できてそう！（↓） 19
20. 施策１ 結果２ 1日の使用量が $4.75 -> $2.47に！ ($2.28[約325円]の削減) 20
21. 入力プロンプトのtoken数を縮める -> 入力プロンプトを英語にしたら、tokenを節約できるはず！ ※英語だと1単語で1token、日本語だと1文字で1～3token 施策２ 21
22. 施策２現状 ニュース本文前の入力プロンプトの Token数が1041token (約4.46円) ※これ＋ニュースの要約文(300字以内) = 入力プロンプト 22
23. 施策２ 変更後１ 文字数は増えた(850->1546)けど、 Token数は1041 -> 719に！(約3.08円) ニュース1投稿あたり 322token / 約1.36円の節約 (30分に1回投稿だと、1日65円の節約に) 23
24. ニュースの感想投稿も、変な所は無さそう 施策２ 変更後２ 24
25. 施策１＆施策２で課金額を減らせたが、それでも月8000円 はかかる想定。 ニュース投稿頻度を減らしたりなどで、もっと節約予定。 まとめ 25
26. OpenAIのAPI利用は 計画的に！ 26