Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Bedrock素人がKnowledgeBaseでRAGを構築するまで
Search
wkm2
December 15, 2023
Technology
2
210
Bedrock素人がKnowledgeBaseでRAGを構築するまで
第32回 JAWS-UG札幌 勉強会 登壇資料
https://jawsug-sapporo.doorkeeper.jp/events/165768
wkm2
December 15, 2023
Tweet
Share
More Decks by wkm2
See All by wkm2
KAGが関わるアカウント全てにSecurity Hubを導入した(い)話
wkm2
0
43
地方在住フルリモートワークエンジニアのリアル 〜ジモトで_活きる_エンジニアライフ〜
wkm2
1
270
Keynote以外のアップデートピックアップ!
wkm2
1
36
EC2を再起動したいがためにNew Relicを使った話
wkm2
1
180
ネットワークサービスフル活用で実現するハイブリッド構成 〜コープさっぽろのネットワーク全体像〜
wkm2
2
1.4k
AWS SSO でログインを簡単に〜IAMユーザ管理をしたくない〜
wkm2
0
420
固定IPでLambdaにHTTPリクエストを投げる経路を試してみた
wkm2
1
460
AWS SSOとGoogle Idpのおいしい関係 ~ QuickSightに楽してログインしたい ~
wkm2
0
1.1k
AWSアップデートを追いかける生活がもたらすもの
wkm2
0
270
Other Decks in Technology
See All in Technology
アクセシビリティを考慮したUI/CSSフレームワーク・ライブラリ選定
yajihum
2
1k
「スニダン」開発組織の構造に込めた意図 ~組織作りはパッションや政治ではない!~
rinchsan
3
570
Vertex AI を中心に 生成AIのアップデートを共有します
kaz1437
0
310
Tellus の衛星データを見てみよう #mf_fukuoka
kongmingstrap
0
230
Google Cloud Next '24 Recap(Cloud Run/k8s)
mokocm
0
250
LLM開発・活用の舞台裏@2024.04.25
yushin_n
2
710
EMとして2023年度に頑張ったこと / What we did well in FY2023 as a EM
pauli
1
170
KubeCon EU 2024 Recap “Kubernetes Policy Time Machine: Where to Next?”
ryysud
0
220
ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation
lmi
1
130
エンジニア候補者向け資料2024.04.24.pdf
macloud
0
3.3k
チームでロジカルシンキングに改めて向き合っている話 〜学習環境と実践⽅法〜
sansantech
PRO
3
2.8k
Azure犬駆動開発の記録/GlobalAzureFukuoka2024_20240420
nina01
1
220
Featured
See All Featured
Building a Modern Day E-commerce SEO Strategy
aleyda
17
6.4k
The Cult of Friendly URLs
andyhume
74
5.7k
Code Reviewing Like a Champion
maltzj
514
39k
Building Flexible Design Systems
yeseniaperezcruz
319
37k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
17
1.4k
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
Thoughts on Productivity
jonyablonski
58
3.8k
4 Signs Your Business is Dying
shpigford
175
21k
Music & Morning Musume
bryan
41
5.6k
We Have a Design System, Now What?
morganepeng
43
6.8k
Rebuilding a faster, lazier Slack
samanthasiow
73
8.2k
Fontdeck: Realign not Redesign
paulrobertlloyd
76
4.9k
Transcript
Bedrock素人が KnowledgeBaseでRAGを 構築するまで 第32回 JAWS-UG札幌 勉強会 KDDIアジャイル開発センター 若松剛志
Who am I ? 若松 剛志 AWS チョットデキル エンジニア @t_wkm2
re:Inventに自費で参加してきた
re:Inventの思い出
ハワイ最高だった
ハワイ最高だった • 照りつける太陽 • 初めてのサーフィン • ビーチバーでサンセットを見ながら煽る ゴールデンエール
ラスベガスとちゃうんかい!
トランジットです
時差ボケが無くてほんと最高です 約7時間 約6時間
時差ボケが無くてほんと最高です 羽田 11/23(木) 20:05 ホノルル 11/23(木) 8:05 ホノルル 11/23(木) 23:30
ラスベガス 11/24(金) 7:15 トランジット 15時間!! 飛行機で寝て 朝着く 飛行機で寝て 朝着く!!
実はこれ2回目
昨年のJAWS-UG札幌のお品書き ほんとはここで話すは ずだった
登壇者全員コロナ感染
今回は無事生還しました!
改めてre:Inventのお話
改めてre:Inventのお話 参加人数6万人、日本からは1700人 ラスベガスのホテル6つを会場にセッションを展開 現地でした味わえないGameDayへの参加や参加者との交流、EBCでの開発者との ディスカッション
Keynoteの振り返りを少しだけ
Peter DeSantis (Monday Night Live) • Amazon Aurora Limitless Database
• Amazon ElastiCache Serverless
Adam Selipsky • Amazon S3 Express One Zone • Bedrock関連
◦ Knowledge Base ◦ Fine-tuning and Continued Pre-training ◦ Agents ◦ Guardrails • Amazon Q • Zero-ETL ◦ Redshift ◦ DynamoDB ◦ OpenSearch Service
Swami Sivasubramanian • Bedrock ◦ Anthropic Claude 2.1 ◦ Meta
Llama 2 70B ◦ Amazon Titan ▪ Multimodal Embedding ▪ Titan Text Lite ▪ Titan Text Express ▪ Titan Image Generator • Vector search engine ◦ OpenSearch Service Serverless ◦ DocumentDB ◦ Amazon DynamoDB ◦ MemoryDB • Amazon Q ◦ Redshift ◦ AWS Glue
Dr. Werner Vogels • The Frugal Architecture ◦ https://thefrugalarchitect.com/ •
AWS Management Console myApplications • CloudWatch Application Signals • Application Composer in VS Code • Inspector CI/CD Container Scanning
本題
Bedrock素人がKnowledgeBaseで RAGを構築するまで
Amazon Bedrockとは AWSが提供する生成AIのサービス。 Bedrockそのものはモデルではなく、様々なモデルをサーバーレスにかつセキュアに運 用できるサービスとなっている。 使用できるモデルは以下(本日現在) • AI21 Labs -
Jurassic-2(Text)※ • Amazon - Titan(Text/Embedding) • Anthropic - Claude(Text) • Cohere - Command/Embed(Text/Embedding)※ • Stability AI - Stable Diffusion XL(Image)※ ※東京リージョン未対応
KnowledgeBaseとは 正式には KnowledgeBase for Bedrock Bedrockを用いてRAGを簡単に構築するサービス Bedrockで使える基礎モデルベースに、ベクトルデータベースの検索を使って拡張する
RAGとは 社内情報などの外部データソースを検索し、結果をプロンプトに含めて基礎モデルに投 げ込むことで、基礎モデルが知らない知識を回答させることができる 元々はハルシネーション(生成AIがもっともらしいウソを回答する)を防ぐことが目的だっ たが、ファインチューニングの代わりにも使用されるようになった 検索にはベクトルデータベースが用いられ、検索ワードに意味が近いものを返すセマン ティック検索が可能になる。
RAGとは ベクトル データベース RAGアプリ 基礎モデル プロンプトのワードをベ クトル化してセマンティッ ク検索 検索結果をプロンプトに 含めて生成AIへ投げて
回答を得る
KnowledgeBaseの場合 Cloudev2 OpenSearch Serverless Vector Store KnowledgeBase for Bedrock S3
外部知識を 置いておく Amazon Titan Embededing で ベクトル化して OpenSearchへ 同期
ほんとにできるか検証してみる
KnowledgeBase検証 S3に外部知識を置く
KnowledgeBase検証 モデル有効化
KnowledgeBase検証 KnowledgeBase作成
KnowledgeBase検証 S3指定
KnowledgeBase検証 ベクトルデータベース指定
5分くらい待つ
KnowledgeBase検証
あまりにも簡単にできちゃった
まとめ • KnowledgeBaseはRAGを構成するのに面倒なと ころを解消してくれる • ベクトルデータベースにOpenSearch Severless が立つのに注意