20240615_LT_RAG機能について_.pdf

Transcript

1. AWSでRAG機能の開発？ Amazon Bedrock for knowledgebaseを使ったRAG開発について
2. 名前：木村 直紀 趣味：ランニング 筋トレ お酒 業務：AWS構築・保守運用 資格：AWS資格12冠 エンジニア歴：3年目 所属：株式会社ベンジャミン 好きなAWSサービス：AWSサポート
3. re:Inventって ご存知でしょうか？
4. re:Inventとは 毎年11月末にラスベガスで開催される AWS最大のカンファレンスイベントです。 →AWSの最新のアップデートが発表が行われます AWS CEOアダム・セリプスキー
5. 昨年はAI元年
6. 数多くのAIサービスが発表されました
7. 今日はその発表の中にあった RAG機能について発表させていただきます
8. RAG機能とは？ RAG (Retrieval-Augmented Generation (検索拡張生成)) は、 大規模言語モデル（LLM）によるテキスト生成に、 外部情報の検索を組み合わせることで、回答精度を向上させる技術のこと。 一般的でない情報や、最新の情報についてAIに質問すると、 AIは嘘をつく、ハルシネーションという現状が起こります。 これを特定のデータストアから情報を持ってくるようにすることで嘘を言わなくするような機能
9. Knowledge Base for Amazon Bedrock一般利用開始 ・基盤モデルとデータソースを組み合わせた拡張 検索生成(RAG)をフルマネージドに実現可能に （RAGは、外部の知識ベースから事実を検索して、 最新の正確な情報に基づいて大規模言語モデル（LLM）に 回答を生成させることです） • 基盤モデルとデータソースを組み合わせた拡張 検索生成(RAG)をフルマネージドに実現可能に • Amazon S3内に格納されたデータの場所を指定 するだけで、ベクトルDBにデータを取り込む ワークフローを実行 • バージニアとオレゴンで一般利用開始 天気の情報 今日の天気は？
10. Knowledge Base for Amazon Bedrock一般利用開始 ・基盤モデルとデータソースを組み合わせた拡張 検索生成(RAG)をフルマネージドに実現可能に （RAGは、外部の知識ベースから事実を検索して、 最新の正確な情報に基づいて大規模言語モデル（LLM）に 回答を生成させることです） • 基盤モデルとデータソースを組み合わせた拡張 検索生成(RAG)をフルマネージドに実現可能に • Amazon S3内に格納されたデータの場所を指定 するだけで、ベクトルDBにデータを取り込む ワークフローを実行 • バージニアとオレゴンで一般利用開始 天気の情報 そんな情報知らない ので、適当に答えよ 今日の天気は？
11. Knowledge Base for Amazon Bedrock一般利用開始 ・基盤モデルとデータソースを組み合わせた拡張 検索生成(RAG)をフルマネージドに実現可能に （RAGは、外部の知識ベースから事実を検索して、 最新の正確な情報に基づいて大規模言語モデル（LLM）に 回答を生成させることです） • 基盤モデルとデータソースを組み合わせた拡張 検索生成(RAG)をフルマネージドに実現可能に • Amazon S3内に格納されたデータの場所を指定 するだけで、ベクトルDBにデータを取り込む ワークフローを実行 • バージニアとオレゴンで一般利用開始 天気の情報 そんな情報知らない ので、適当に答えよ 今日の天気は？ 快晴だよ
12. Knowledge Base for Amazon Bedrock一般利用開始 ・基盤モデルとデータソースを組み合わせた拡張 検索生成(RAG)をフルマネージドに実現可能に （RAGは、外部の知識ベースから事実を検索して、 最新の正確な情報に基づいて大規模言語モデル（LLM）に 回答を生成させることです） • 基盤モデルとデータソースを組み合わせた拡張 検索生成(RAG)をフルマネージドに実現可能に • Amazon S3内に格納されたデータの場所を指定 するだけで、ベクトルDBにデータを取り込む ワークフローを実行 • バージニアとオレゴンで一般利用開始 天気の情報 今日の天気は？
13. Knowledge Base for Amazon Bedrock一般利用開始 ・基盤モデルとデータソースを組み合わせた拡張 検索生成(RAG)をフルマネージドに実現可能に （RAGは、外部の知識ベースから事実を検索して、 最新の正確な情報に基づいて大規模言語モデル（LLM）に 回答を生成させることです） • 基盤モデルとデータソースを組み合わせた拡張 検索生成(RAG)をフルマネージドに実現可能に • Amazon S3内に格納されたデータの場所を指定 するだけで、ベクトルDBにデータを取り込む ワークフローを実行 • バージニアとオレゴンで一般利用開始 天気の情報 今日の天気は？ 台風が来るよ
14. 嘘をほぼつかないChatGPT
15. すごい機能だ！
16. どうせお高いんでしょ？
17. 残念ながらお高いです…
18. 下記の構成で約月10万ほど…
19. ただ今回これを で作る構成を考えました！
20. やり方は簡単
21. DBをPineconeに変えるだけ
22. 機能面の違いについて OpenSearch Serverless Pinecone コスト 約10万円/月 無料枠あり (無料枠だと1 indexのみ) 性能 ハイブリッド検索 （ベクトル検索+全文検索） ベクトル検索
23. https://ai-demo.bjm-tech.com/ 実際に作ったデモアプリを見てもらおうと思います 一般非公開なので画像だけ 貼らせていただきます
24. Amazon BedrockのKnowledge Baseを Pinecone無料枠で構築してみた 今回説明させていただいたRAGの作り方については下記URLよりご確認ください
25. 6/20-21（来週 木、金)のAWS Summitにもブース出しますので、来られる方はぜひ！