Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Bedrock素人がKnowledgeBaseでRAGを構築するまで
Search
wkm2
December 15, 2023
Technology
2
210
Bedrock素人がKnowledgeBaseでRAGを構築するまで
第32回 JAWS-UG札幌 勉強会 登壇資料
https://jawsug-sapporo.doorkeeper.jp/events/165768
wkm2
December 15, 2023
Tweet
Share
More Decks by wkm2
See All by wkm2
KAGが関わるアカウント全てにSecurity Hubを導入した(い)話
wkm2
0
43
地方在住フルリモートワークエンジニアのリアル 〜ジモトで_活きる_エンジニアライフ〜
wkm2
1
290
Keynote以外のアップデートピックアップ!
wkm2
1
39
EC2を再起動したいがためにNew Relicを使った話
wkm2
1
180
ネットワークサービスフル活用で実現するハイブリッド構成 〜コープさっぽろのネットワーク全体像〜
wkm2
2
1.4k
AWS SSO でログインを簡単に〜IAMユーザ管理をしたくない〜
wkm2
0
430
固定IPでLambdaにHTTPリクエストを投げる経路を試してみた
wkm2
1
470
AWS SSOとGoogle Idpのおいしい関係 ~ QuickSightに楽してログインしたい ~
wkm2
0
1.1k
AWSアップデートを追いかける生活がもたらすもの
wkm2
0
270
Other Decks in Technology
See All in Technology
Microsoft Intune 勉強会 第 2 回目
tamaiyutaro
2
520
DevRelによる信頼構築とデータ駆動で変わるエンジニア採用 / DevRel Trust Building to Data Driven Engineering Hiring
bobtani
1
100
Cypress or Playwright?
rainerhahnekamp
0
180
今日からできる!簡単 .NET 高速化 Tips -2024 edition-
xin9le
8
4.9k
R3のコードから見る実践LINQ実装最適化・コンカレントプログラミング実例
neuecc
3
3.7k
Android Target SDK 35 (Android 15) 対応の概要
akkie76
0
200
Babylon.js JAPAN活動紹介 (2024/4)
limes2018
1
130
「知的単純作業」を自動化する、地に足の着いた大規模言語モデル (LLM) の活用
nrryuya
8
6.8k
QAエンジニアが伝えたい品質保証の羅針盤 / Compass for Quality Assurance
mii3king
1
210
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Musicを例に~
otanet
0
340
Babylon.jsと色々なものを組み合わせる:ブラウザのAPIやガジェットや2D描画ライブラリなど / Babylon.js 勉強会 vol.3
you
PRO
0
190
Prisma ORMを2年運用して培ったノウハウを共有する
tockn
11
2.6k
Featured
See All Featured
A Philosophy of Restraint
colly
197
16k
Fireside Chat
paigeccino
22
2.6k
10 Git Anti Patterns You Should be Aware of
lemiorhan
649
58k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
323
20k
WebSockets: Embracing the real-time Web
robhawkes
59
7k
The Power of CSS Pseudo Elements
geoffreycrofte
62
5k
Building a Scalable Design System with Sketch
lauravandoore
457
32k
Designing the Hi-DPI Web
ddemaree
276
33k
Six Lessons from altMBA
skipperchong
22
3k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
Happy Clients
brianwarren
92
6.4k
Designing on Purpose - Digital PM Summit 2013
jponch
111
6.5k
Transcript
Bedrock素人が KnowledgeBaseでRAGを 構築するまで 第32回 JAWS-UG札幌 勉強会 KDDIアジャイル開発センター 若松剛志
Who am I ? 若松 剛志 AWS チョットデキル エンジニア @t_wkm2
re:Inventに自費で参加してきた
re:Inventの思い出
ハワイ最高だった
ハワイ最高だった • 照りつける太陽 • 初めてのサーフィン • ビーチバーでサンセットを見ながら煽る ゴールデンエール
ラスベガスとちゃうんかい!
トランジットです
時差ボケが無くてほんと最高です 約7時間 約6時間
時差ボケが無くてほんと最高です 羽田 11/23(木) 20:05 ホノルル 11/23(木) 8:05 ホノルル 11/23(木) 23:30
ラスベガス 11/24(金) 7:15 トランジット 15時間!! 飛行機で寝て 朝着く 飛行機で寝て 朝着く!!
実はこれ2回目
昨年のJAWS-UG札幌のお品書き ほんとはここで話すは ずだった
登壇者全員コロナ感染
今回は無事生還しました!
改めてre:Inventのお話
改めてre:Inventのお話 参加人数6万人、日本からは1700人 ラスベガスのホテル6つを会場にセッションを展開 現地でした味わえないGameDayへの参加や参加者との交流、EBCでの開発者との ディスカッション
Keynoteの振り返りを少しだけ
Peter DeSantis (Monday Night Live) • Amazon Aurora Limitless Database
• Amazon ElastiCache Serverless
Adam Selipsky • Amazon S3 Express One Zone • Bedrock関連
◦ Knowledge Base ◦ Fine-tuning and Continued Pre-training ◦ Agents ◦ Guardrails • Amazon Q • Zero-ETL ◦ Redshift ◦ DynamoDB ◦ OpenSearch Service
Swami Sivasubramanian • Bedrock ◦ Anthropic Claude 2.1 ◦ Meta
Llama 2 70B ◦ Amazon Titan ▪ Multimodal Embedding ▪ Titan Text Lite ▪ Titan Text Express ▪ Titan Image Generator • Vector search engine ◦ OpenSearch Service Serverless ◦ DocumentDB ◦ Amazon DynamoDB ◦ MemoryDB • Amazon Q ◦ Redshift ◦ AWS Glue
Dr. Werner Vogels • The Frugal Architecture ◦ https://thefrugalarchitect.com/ •
AWS Management Console myApplications • CloudWatch Application Signals • Application Composer in VS Code • Inspector CI/CD Container Scanning
本題
Bedrock素人がKnowledgeBaseで RAGを構築するまで
Amazon Bedrockとは AWSが提供する生成AIのサービス。 Bedrockそのものはモデルではなく、様々なモデルをサーバーレスにかつセキュアに運 用できるサービスとなっている。 使用できるモデルは以下(本日現在) • AI21 Labs -
Jurassic-2(Text)※ • Amazon - Titan(Text/Embedding) • Anthropic - Claude(Text) • Cohere - Command/Embed(Text/Embedding)※ • Stability AI - Stable Diffusion XL(Image)※ ※東京リージョン未対応
KnowledgeBaseとは 正式には KnowledgeBase for Bedrock Bedrockを用いてRAGを簡単に構築するサービス Bedrockで使える基礎モデルベースに、ベクトルデータベースの検索を使って拡張する
RAGとは 社内情報などの外部データソースを検索し、結果をプロンプトに含めて基礎モデルに投 げ込むことで、基礎モデルが知らない知識を回答させることができる 元々はハルシネーション(生成AIがもっともらしいウソを回答する)を防ぐことが目的だっ たが、ファインチューニングの代わりにも使用されるようになった 検索にはベクトルデータベースが用いられ、検索ワードに意味が近いものを返すセマン ティック検索が可能になる。
RAGとは ベクトル データベース RAGアプリ 基礎モデル プロンプトのワードをベ クトル化してセマンティッ ク検索 検索結果をプロンプトに 含めて生成AIへ投げて
回答を得る
KnowledgeBaseの場合 Cloudev2 OpenSearch Serverless Vector Store KnowledgeBase for Bedrock S3
外部知識を 置いておく Amazon Titan Embededing で ベクトル化して OpenSearchへ 同期
ほんとにできるか検証してみる
KnowledgeBase検証 S3に外部知識を置く
KnowledgeBase検証 モデル有効化
KnowledgeBase検証 KnowledgeBase作成
KnowledgeBase検証 S3指定
KnowledgeBase検証 ベクトルデータベース指定
5分くらい待つ
KnowledgeBase検証
あまりにも簡単にできちゃった
まとめ • KnowledgeBaseはRAGを構成するのに面倒なと ころを解消してくれる • ベクトルデータベースにOpenSearch Severless が立つのに注意