Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Bedrock素人がKnowledgeBaseでRAGを構築するまで
Search
wkm2
December 15, 2023
Technology
2
400
Bedrock素人がKnowledgeBaseでRAGを構築するまで
第32回 JAWS-UG札幌 勉強会 登壇資料
https://jawsug-sapporo.doorkeeper.jp/events/165768
wkm2
December 15, 2023
Tweet
Share
More Decks by wkm2
See All by wkm2
AWSネイティブなセキュリティを考える
wkm2
1
280
KAGが関わるアカウント全てにSecurity Hubを導入した(い)話
wkm2
0
160
地方在住フルリモートワークエンジニアのリアル 〜ジモトで_活きる_エンジニアライフ〜
wkm2
1
650
Keynote以外のアップデートピックアップ!
wkm2
1
120
EC2を再起動したいがためにNew Relicを使った話
wkm2
1
410
ネットワークサービスフル活用で実現するハイブリッド構成 〜コープさっぽろのネットワーク全体像〜
wkm2
2
1.9k
AWS SSO でログインを簡単に〜IAMユーザ管理をしたくない〜
wkm2
1
590
固定IPでLambdaにHTTPリクエストを投げる経路を試してみた
wkm2
1
850
AWS SSOとGoogle Idpのおいしい関係 ~ QuickSightに楽してログインしたい ~
wkm2
0
1.4k
Other Decks in Technology
See All in Technology
株式会社島津製作所_研究開発(集団協業と知的生産)の現場を支える、OSS知識基盤システムの導入
akahane92
1
1.3k
TypeScript 上達の道
ysknsid25
23
5k
AWS表彰プログラムとキャリアについて
naoki_0531
1
150
ファインディにおける Dataform ブランチ戦略
hiracky16
0
240
人に寄り添うAIエージェントとアーキテクチャ #BetAIDay
layerx
PRO
2
480
人と生成AIの協調意思決定/Co‑decision making by people and generative AI
moriyuya
0
230
Mambaで物体検出 完全に理解した
shirarei24
2
160
AI コードレビューが面倒すぎるのでテスト駆動開発で解決しようとして読んだら、根本的に俺の勘違いだった
mutsumix
0
130
東京海上日動におけるセキュアな開発プロセスの取り組み
miyabit
0
210
Kiroから考える AIコーディングツールの潮流
s4yuba
3
560
解消したはずが…技術と人間のエラーが交錯する恐怖体験
lamaglama39
0
150
生成AIによる情報システムへのインパクト
taka_aki
1
220
Featured
See All Featured
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Docker and Python
trallard
45
3.5k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
720
Designing for Performance
lara
610
69k
The Pragmatic Product Professional
lauravandoore
35
6.8k
We Have a Design System, Now What?
morganepeng
53
7.7k
A Modern Web Designer's Workflow
chriscoyier
695
190k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1k
What's in a price? How to price your products and services
michaelherold
246
12k
How to Ace a Technical Interview
jacobian
278
23k
For a Future-Friendly Web
brad_frost
179
9.8k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Transcript
Bedrock素人が KnowledgeBaseでRAGを 構築するまで 第32回 JAWS-UG札幌 勉強会 KDDIアジャイル開発センター 若松剛志
Who am I ? 若松 剛志 AWS チョットデキル エンジニア @t_wkm2
re:Inventに自費で参加してきた
re:Inventの思い出
ハワイ最高だった
ハワイ最高だった • 照りつける太陽 • 初めてのサーフィン • ビーチバーでサンセットを見ながら煽る ゴールデンエール
ラスベガスとちゃうんかい!
トランジットです
時差ボケが無くてほんと最高です 約7時間 約6時間
時差ボケが無くてほんと最高です 羽田 11/23(木) 20:05 ホノルル 11/23(木) 8:05 ホノルル 11/23(木) 23:30
ラスベガス 11/24(金) 7:15 トランジット 15時間!! 飛行機で寝て 朝着く 飛行機で寝て 朝着く!!
実はこれ2回目
昨年のJAWS-UG札幌のお品書き ほんとはここで話すは ずだった
登壇者全員コロナ感染
今回は無事生還しました!
改めてre:Inventのお話
改めてre:Inventのお話 参加人数6万人、日本からは1700人 ラスベガスのホテル6つを会場にセッションを展開 現地でした味わえないGameDayへの参加や参加者との交流、EBCでの開発者との ディスカッション
Keynoteの振り返りを少しだけ
Peter DeSantis (Monday Night Live) • Amazon Aurora Limitless Database
• Amazon ElastiCache Serverless
Adam Selipsky • Amazon S3 Express One Zone • Bedrock関連
◦ Knowledge Base ◦ Fine-tuning and Continued Pre-training ◦ Agents ◦ Guardrails • Amazon Q • Zero-ETL ◦ Redshift ◦ DynamoDB ◦ OpenSearch Service
Swami Sivasubramanian • Bedrock ◦ Anthropic Claude 2.1 ◦ Meta
Llama 2 70B ◦ Amazon Titan ▪ Multimodal Embedding ▪ Titan Text Lite ▪ Titan Text Express ▪ Titan Image Generator • Vector search engine ◦ OpenSearch Service Serverless ◦ DocumentDB ◦ Amazon DynamoDB ◦ MemoryDB • Amazon Q ◦ Redshift ◦ AWS Glue
Dr. Werner Vogels • The Frugal Architecture ◦ https://thefrugalarchitect.com/ •
AWS Management Console myApplications • CloudWatch Application Signals • Application Composer in VS Code • Inspector CI/CD Container Scanning
本題
Bedrock素人がKnowledgeBaseで RAGを構築するまで
Amazon Bedrockとは AWSが提供する生成AIのサービス。 Bedrockそのものはモデルではなく、様々なモデルをサーバーレスにかつセキュアに運 用できるサービスとなっている。 使用できるモデルは以下(本日現在) • AI21 Labs -
Jurassic-2(Text)※ • Amazon - Titan(Text/Embedding) • Anthropic - Claude(Text) • Cohere - Command/Embed(Text/Embedding)※ • Stability AI - Stable Diffusion XL(Image)※ ※東京リージョン未対応
KnowledgeBaseとは 正式には KnowledgeBase for Bedrock Bedrockを用いてRAGを簡単に構築するサービス Bedrockで使える基礎モデルベースに、ベクトルデータベースの検索を使って拡張する
RAGとは 社内情報などの外部データソースを検索し、結果をプロンプトに含めて基礎モデルに投 げ込むことで、基礎モデルが知らない知識を回答させることができる 元々はハルシネーション(生成AIがもっともらしいウソを回答する)を防ぐことが目的だっ たが、ファインチューニングの代わりにも使用されるようになった 検索にはベクトルデータベースが用いられ、検索ワードに意味が近いものを返すセマン ティック検索が可能になる。
RAGとは ベクトル データベース RAGアプリ 基礎モデル プロンプトのワードをベ クトル化してセマンティッ ク検索 検索結果をプロンプトに 含めて生成AIへ投げて
回答を得る
KnowledgeBaseの場合 Cloudev2 OpenSearch Serverless Vector Store KnowledgeBase for Bedrock S3
外部知識を 置いておく Amazon Titan Embededing で ベクトル化して OpenSearchへ 同期
ほんとにできるか検証してみる
KnowledgeBase検証 S3に外部知識を置く
KnowledgeBase検証 モデル有効化
KnowledgeBase検証 KnowledgeBase作成
KnowledgeBase検証 S3指定
KnowledgeBase検証 ベクトルデータベース指定
5分くらい待つ
KnowledgeBase検証
あまりにも簡単にできちゃった
まとめ • KnowledgeBaseはRAGを構成するのに面倒なと ころを解消してくれる • ベクトルデータベースにOpenSearch Severless が立つのに注意