Tweet
Tweet

Slide 1

Slide 1 text

Bedrock素人が KnowledgeBaseでRAGを 構築するまで 第32回 JAWS-UG札幌 勉強会 KDDIアジャイル開発センター 若松剛志

Slide 2

Slide 2 text

Who am I ? 若松 剛志 AWS ﾁｮｯﾄﾃﾞｷﾙ エンジニア @t_wkm2

Slide 3

Slide 3 text

re:Inventに自費で参加してきた

Slide 4

Slide 4 text

re:Inventの思い出

Slide 5

Slide 5 text

ハワイ最高だった

Slide 6

Slide 6 text

ハワイ最高だった ● 照りつける太陽 ● 初めてのサーフィン ● ビーチバーでサンセットを見ながら煽る ゴールデンエール

Slide 7

Slide 7 text

ラスベガスとちゃうんかい！

Slide 8

Slide 8 text

トランジットです

Slide 9

Slide 9 text

時差ボケが無くてほんと最高です 約7時間 約6時間

Slide 10

Slide 10 text

時差ボケが無くてほんと最高です 羽田 11/23(木) 20:05 ホノルル 11/23(木) 8:05 ホノルル 11/23(木) 23:30 ラスベガス 11/24(金) 7:15 トランジット 15時間！！ 飛行機で寝て 朝着く 飛行機で寝て 朝着く！！

Slide 11

Slide 11 text

実はこれ2回目

Slide 12

Slide 12 text

昨年のJAWS-UG札幌のお品書き ほんとはここで話すは ずだった

Slide 13

Slide 13 text

登壇者全員コロナ感染

Slide 14

Slide 14 text

今回は無事生還しました！

Slide 15

Slide 15 text

改めてre:Inventのお話

Slide 16

Slide 16 text

改めてre:Inventのお話 参加人数6万人、日本からは1700人 ラスベガスのホテル6つを会場にセッションを展開 現地でした味わえないGameDayへの参加や参加者との交流、EBCでの開発者との ディスカッション

Slide 17

Slide 17 text

Keynoteの振り返りを少しだけ

Slide 18

Slide 18 text

Peter DeSantis （Monday Night Live） ● Amazon Aurora Limitless Database ● Amazon ElastiCache Serverless

Slide 19

Slide 19 text

Adam Selipsky ● Amazon S3 Express One Zone ● Bedrock関連 ○ Knowledge Base ○ Fine-tuning and Continued Pre-training ○ Agents ○ Guardrails ● Amazon Q ● Zero-ETL ○ Redshift ○ DynamoDB ○ OpenSearch Service

Slide 20

Slide 20 text

Swami Sivasubramanian ● Bedrock ○ Anthropic Claude 2.1 ○ Meta Llama 2 70B ○ Amazon Titan ■ Multimodal Embedding ■ Titan Text Lite ■ Titan Text Express ■ Titan Image Generator ● Vector search engine ○ OpenSearch Service Serverless ○ DocumentDB ○ Amazon DynamoDB ○ MemoryDB ● Amazon Q ○ Redshift ○ AWS Glue

Slide 21

Slide 21 text

Dr. Werner Vogels ● The Frugal Architecture ○ https://thefrugalarchitect.com/ ● AWS Management Console myApplications ● CloudWatch Application Signals ● Application Composer in VS Code ● Inspector CI/CD Container Scanning

Slide 22

Slide 22 text

本題

Slide 23

Slide 23 text

Bedrock素人がKnowledgeBaseで RAGを構築するまで

Slide 24

Slide 24 text

Amazon Bedrockとは AWSが提供する生成AIのサービス。 Bedrockそのものはモデルではなく、様々なモデルをサーバーレスにかつセキュアに運 用できるサービスとなっている。 使用できるモデルは以下（本日現在） ● AI21 Labs - Jurassic-2（Text）※ ● Amazon - Titan（Text/Embedding） ● Anthropic - Claude（Text） ● Cohere - Command/Embed（Text/Embedding）※ ● Stability AI - Stable Diffusion XL（Image）※ ※東京リージョン未対応

Slide 25

Slide 25 text

KnowledgeBaseとは 正式には KnowledgeBase for Bedrock Bedrockを用いてRAGを簡単に構築するサービス Bedrockで使える基礎モデルベースに、ベクトルデータベースの検索を使って拡張する

Slide 26

Slide 26 text

RAGとは 社内情報などの外部データソースを検索し、結果をプロンプトに含めて基礎モデルに投 げ込むことで、基礎モデルが知らない知識を回答させることができる 元々はハルシネーション（生成AIがもっともらしいウソを回答する）を防ぐことが目的だっ たが、ファインチューニングの代わりにも使用されるようになった 検索にはベクトルデータベースが用いられ、検索ワードに意味が近いものを返すセマン ティック検索が可能になる。

Slide 27

Slide 27 text

RAGとは ベクトル データベース RAGアプリ 基礎モデル プロンプトのワードをベ クトル化してセマンティッ ク検索 検索結果をプロンプトに 含めて生成AIへ投げて 回答を得る

Slide 28

Slide 28 text

KnowledgeBaseの場合 Cloudev2 OpenSearch Serverless Vector Store KnowledgeBase for Bedrock S3 外部知識を 置いておく Amazon Titan Embededing で ベクトル化して OpenSearchへ 同期

Slide 29

Slide 29 text

ほんとにできるか検証してみる

Slide 30

Slide 30 text

KnowledgeBase検証 S3に外部知識を置く

Slide 31

Slide 31 text

KnowledgeBase検証 モデル有効化

Slide 32

Slide 32 text

KnowledgeBase検証 KnowledgeBase作成

Slide 33

Slide 33 text

KnowledgeBase検証 S3指定

Slide 34

Slide 34 text

KnowledgeBase検証 ベクトルデータベース指定

Slide 35

Slide 35 text

5分くらい待つ

Slide 36

Slide 36 text

KnowledgeBase検証

Slide 37

Slide 37 text

あまりにも簡単にできちゃった

Slide 38

Slide 38 text

まとめ ● KnowledgeBaseはRAGを構成するのに面倒なと ころを解消してくれる ● ベクトルデータベースにOpenSearch Severless が立つのに注意