ChatGPT×AWS LambdaのSlack Botを社内運用してみた

2024-01-31 社内勉強会で発表した資料です

Transcript

1. ChatGPT × AWS Lambda で作るSlack Bot 🐈🐈🐈
2. インフラ構成
4. メッセージ受信
5. メッセージ受信 過去の会話を取得
6. メッセージ受信 過去の会話を取得 「読み込み中」投稿
7. メッセージ受信 過去の会話を取得 ChatGPTにリクエスト 「読み込み中」投稿
8. メッセージ受信 過去の会話を取得 ChatGPTにリクエスト 投稿を随時更新
9. メッセージ受信 過去の会話を取得 ChatGPTにリクエスト 投稿を随時更新 こまごました処理 ・ヘッダー検証 ・返事が必要か判定 ・投稿先の判定(スレッドかどうかなど)
10. 開発
11. 開発について ・ソースコードはRust ・AWS SAMテンプレート+CLIでデプロイ
12. 開発について ・ソースコードはRust 　→Rustを勉強したかった SlackBot用フレームワーク「Bolt」があり、 OpenAIのSDKもあるNode.js(typescript)がおすすめ ・AWS SAMテンプレート+CLIでデプロイ
13. AWS SAM(Serverless Application Model)とは ・サーバーレスアプリを楽に管理できるテンプレートとCLI ・テンプレート…AWS CloudFormationの拡張バージョン 　CloudFormation感覚でAWS Lambda等で構成されたアプリを記述できる
14. AWS SAM(Serverless Application Model)とは ・サーバーレスアプリを楽に管理できるテンプレートとCLI ・テンプレート…AWS CloudFormationの拡張バージョン 　CloudFormation感覚でAWS Lambda等で構成されたアプリを記述できる ・そもそもCloudFormationとは 　→AWS専用のIaC(Infrastructure as Code) インフラ環境をコード(テンプレート)にしてgit管理 コマンド一つで環境全体を建てたり消したりできて便利
15. ChatGPT
16. モデル ・gpt-4-0125-preview🐱 最新のGPT-4 Turboモデル。(gpt-4 Turboはgpt-4より安価) 2023年4月までのデータでトレーニングされている。 0125-previewは「怠けグセ」を減らしたらしい。 ・gpt-3.5 2021年9月までのデータ。とても安い
17. ChatGPTにキャラクター設定するには ・システムプロンプトで指示 例: messages: [{"role": "system", "content": "You are a helpful assistant."}, ←これ {"role": "user", "content": "Who won the world series in 2020?"}, {"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."}, {"role": "user", "content": "Where was it played?"}]
18. ChatGPTにキャラクター設定するには ・システムプロンプトで指示 例: messages: [{"role": "system", "content": "You are a helpful assistant."}, ←これ {"role": "user", "content": "Who won the world series in 2020?"}, {"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."}, {"role": "user", "content": "Where was it played?"}] 毎回メッセージの前にシステムプロンプトをつけてChatGPTに送信
19. ChatGPTにキャラクター設定するには ・CatGPTのシステムプロンプト "You are an friendly Cat AI assistant. Please output your response message according to following format. - bold/heading: \"*bold*\" \ - italic: \"_italic_\" \ - strikethrough: \"~strikethrough~\" \ - code: \"`code`\" \ - link: \"<https://slack.com|link text>\" \ - block: \"``` code block\" \ - bulleted list: \"* *title*: content\" \ - numbered list: \"1. *title*: content\" \ - quoted sentence: \">sentence\" \ Be sure to include a space before and after the single quote in the sentence. \ ex) word`code`word -> word `code` word \ And Answer in language user uses. \ If you use Japanese, your first person pronoun is \"我輩\" and the ending of your word is \"にゃ\". \ If you use English, the ending of your word is \"meow\". \ If your answer is specifically about programming, Please provide URL sources."
20. コスト
21. 運用コスト ・AWS Lambda 無料枠: 1か月あたり100 万件のリクエストと40万GB/1秒のコンピューティングタイム →よほどのことがない限り無料 ・OpenAI API gpt-4-0125-previewの場合、 入力$0.01 / 1000 tokens 出力$0.03 / 1000 tokens
22. 運用コスト 1月30日は$1.5 32リクエストでした
23. 作ってみての感想
24. 面白かったところ ・ストリーミング形式のレスポンス処理 複数のjsonが改行区切りの文字列で来るが、 余分な文字を削除しないとjsonにパースできないことに気付かずしばらく苦しんだ ・SlackのAPI APIが多い。ドキュメントをちゃんと読もう ・Rust Rust楽しい
25. 参考記事 - Slack で動く ChatGPT のチャットボットを Google Apps Script（GAS）でサクッと作ってみる https://zenn.dev/lclco/articles/712d482d07e18c - Azure Functions と ChatGPT API で作った Slack Bot をコンテキスト対応しました https://zenn.dev/jtechjapan/articles/3579c91093c833 - ChatGPT API の Slack ボットに 1 言ずつ喋らせる。 https://qiita.com/Cartelet/items/f64787cd0ae57c0a6830
26. ご清聴ありがとうございました🐈 アプリへのご意見や要望なども教えていただけると嬉しいです