20231027_Bedrock勉強会

https://minorun365.connpass.com/event/300097/
の登壇資料

Transcript

1. 非BedrockアプリをBedrock して 開発観点で比較する AWSの生成AI「Amazon Bedrock」入門＆LT会！ 2023-10-27 @kzk_maeda
2. 自己紹介 Kazuki Maeda 𝕏 @kzk_maeda SRE/DRE @atama plus AWS Community Builders AWS Startup Community Core Member
3. 自己紹介
4. agenda 1. 対象RAGアプリの紹介 2. Bedrockしてみる 3. Bedrock前後で比較 (開発運用面)
5. 免責 • 2023/10/26時点での情報を元に作成しています
6. 対象RAGアプリの紹介
7. そもそもRAGとは？ • Retrieval Augmented Generationの略 • 外部の知識ソースを利用して大規模言語モデル（LLM）の回答の 質を向上させる手法
8. 対象のRAGアプリ紹介
9. 対象のRAGアプリ紹介 モニタリングツールに 対してエラー検索 エラーログから 既存チケットを検索
10. 対象のRAGアプリ紹介 LLM部分は LangChain + OpenAI APIで実現
11. Bedrockしてみる
12. 「Bedrockする」とは？ • Bedrock以外のLLMツールセットを用いて実装されたアプリケー ションをBedrockに移行すること
13. 「Bedrockする」ために必要なこと • コードを修正 • 実行環境のIAM RoleにPolicyをアタッチ • 以上！
14. 「Bedrock」してみた • LangChainのバージョン上げてboto3への依存を追加
15. 「Bedrock」してみた • メインの部分はほぼこれでOK
16. 「Bedrock」してみた • メインの部分はほぼこれでOK OpenAIへの依存を削除 boto3でBedrockのclient を定義し、LangChainの Embeddingに渡す Embedding modelとして 提供されているtitan v1を 指定
17. 「Bedrock」してみた • 仕上げに権限と環境変数を変えてデプロイ
18. Bedrock前後で比較
19. 開発環境 • Bedrockへの認証をIAM Roleに持たせることで、コードの外の責 務となり、ローカルで動作確認する際に一工夫が必要 • ローカルフラグ持たせて、boto3のsession/clientの切り替えをす ることを一瞬考えたけど、今回は面倒だったのでCloud9にしまし た
20. セキュリティ • LLM APIのクレデンシャルを管理しなくても良いというのはとても 嬉しい！！！！ • 通信も、AWSのInternal Networkを出ないので、外部のLLM API を利用するよりはセキュアに利用できます
21. オブザーバビリティ • Cloudwatch等によるログ/メトリクスのモニタリングが可能 • ログはBedrockのModel invocation loggingから設定可能 • ただし、LangSmithには劣るので今後に期待
22. オブザーバビリティ Cloudwatch LangSmith
23. おわりに
24. まとめ • シンプルなRAGアプリにおいて、非BedrockアプリをBedrockする のは、LangChainが実装を抽象化してくれているので非常に簡単 でした • 運用やセキュリティに関する機能がAWSに寄せられるメリットは 大きいと感じました • Knowledge BaseというネイティブRAGアプリサービスもPrivate Previewに入っていたり、まだまだ進化の激しい技術なので今後 もwatch必須ですね