Slide 1
Slide 1 text
やる夫BOT作ってみた
2023/08/04 発火大根
Slide 2
Slide 2 text
自己紹介
名前 : 発火大根
本業 : インフラエンジニア(SRE的な感じ)
Npub : npub1vf4huvhkfhgvys2qf4wlmncf855dzd3c6894mw2snktpxzh08vdsgcgkxx
Nostr歴 : 約4か月(4/9開始)
2
Slide 3
Slide 3 text
今日の内容
Nostrでやる夫bot作ったので、その話をします
3
Slide 4
Slide 4 text
作った動機
・作った時は丁度無職で、暇だった
・転職活動のネタになればいいと思った
・皆Bot作ってて楽しそうだと思った
4
Slide 5
Slide 5 text
機能
①30分毎にニュースを配信するよ ②メンションしたら回答するよ
5
Slide 6
Slide 6 text
しくみ
①ニュース取得
②ニュース本文
③ニュース感想
6
Slide 7
Slide 7 text
しかし
大きな問題を
抱えています
7
Slide 8
Slide 8 text
7/26のこと…
GPT-4 APIが使えるように！
8
Slide 9
Slide 9 text
早速モデル変更だ！
(GPT3.5 -> GPT4)
9
Slide 10
Slide 10 text
しかし、
OpenAIのUsageを見てみると…？
(OpenAIのAPIは従量課金制)
10
Slide 11
Slide 11 text
(ﾟДﾟ)
1日で$4.75(8/4のレートで約676円)
11
Slide 12
Slide 12 text
そう、GPT-4のAPIは
GPT-3.5と比較すると
かなり高いのです！
12
Slide 13
Slide 13 text
GPT値段比較
■GPT-3.5 Turbo
4K : IN:$0.0015 / OUT:$0.002
16K: IN:$0.003 / OUT:$0.004
■GPT-4
8K : IN:$0.03 / OUT:$0.06
32K: IN:$0.06 / OUT:$0.12
※単位 : 1k(1024)tokens 参考 : https://openai.com/pricing
変更前
変更後
13
Slide 14
Slide 14 text
ところで、
tokenって何？
14
Slide 15
Slide 15 text
・OpenAIの課金単位
・英語だと1単語で1token
・日本語だと1文字で1～3tokenくらい
・日本語で文章を書いた場合は、token数の2/3くらいが文字数
Tokenとは
15
Slide 16
Slide 16 text
・ニュースの本文の長さはまちまち(1500-3000字くらいが多いかも)
・仮に、1投稿2000字とする
・2000字/(2/3) = 約3030token
・$0.03 × 3030token / 1000 = $0.0909(12.98円)
・30分単位の投稿 -> 12.98円 x 48回 = 623.4円
入力プロンプトだけで、1日約623円！？
(623 × 30 = 月額18690円)
試算
16
Slide 17
Slide 17 text
節約せねば！
17
Slide 18
Slide 18 text
一旦GPT-3.5でニュースを300字以内に要約して短くしたあと
感想を生成
施策１
①ニュース本文
②ニュース要約
③ニュース要約文
④ニュース感想
18
Slide 19
Slide 19 text
施策１ 結果１
・ニュースの感想をうまく出力できてそう！
・文字数も節約できてそう！（↓）
19
Slide 20
Slide 20 text
施策１ 結果２
1日の使用量が
$4.75 -> $2.47に！
($2.28[約325円]の削減)
20
Slide 21
Slide 21 text
入力プロンプトのtoken数を縮める
-> 入力プロンプトを英語にしたら、tokenを節約できるはず！
※英語だと1単語で1token、日本語だと1文字で1～3token
施策２
21
Slide 22
Slide 22 text
施策２現状
ニュース本文前の入力プロンプトの
Token数が1041token (約4.46円)
※これ＋ニュースの要約文(300字以内)
= 入力プロンプト
22
Slide 23
Slide 23 text
施策２ 変更後１
文字数は増えた(850->1546)けど、
Token数は1041 -> 719に！(約3.08円)
ニュース1投稿あたり
322token / 約1.36円の節約
(30分に1回投稿だと、1日65円の節約に)
23
Slide 24
Slide 24 text
ニュースの感想投稿も、変な所は無さそう
施策２ 変更後２
24
Slide 25
Slide 25 text
施策１＆施策２で課金額を減らせたが、それでも月8000円
はかかる想定。
ニュース投稿頻度を減らしたりなどで、もっと節約予定。
まとめ
25
Slide 26
Slide 26 text
OpenAIのAPI利用は
計画的に！
26