Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
knowledge base fot amazon bedrockを使って、格安でRAG作ってみた
Search
そのだ
January 27, 2024
Technology
1
630
knowledge base fot amazon bedrockを使って、格安でRAG作ってみた
【doorkeeper】
https://jawsug-saga.doorkeeper.jp/events/166448
そのだ
January 27, 2024
Tweet
Share
More Decks by そのだ
See All by そのだ
AWSでRAGを作る法方
sonoda_mj
1
140
緑一色アーキテクチャ
sonoda_mj
1
85
RAG構築におけるKendraとPineconeの使い分け
sonoda_mj
2
340
検索拡張生成(RAG)をAWSで作る方法
sonoda_mj
1
100
BedrockのToo Many Request解決してみた
sonoda_mj
1
1.2k
AmazonBedrockを使用した自作RAGの作り方
sonoda_mj
1
610
会社の公開ページとKnowledge Base for Amazon Bedrockを使ってRAG作ってみた
sonoda_mj
0
190
Step Functionsを使ってノーコードでDynamoDBにPutItemしてみた
sonoda_mj
2
390
今年から苑田は○○します!!
sonoda_mj
0
62
Other Decks in Technology
See All in Technology
Flutter研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
160
地理情報とAPIのトレンド
nagix
0
160
AOAI Dev Day - Opening Session
yoshidashingo
2
470
初中級者用如何使用backlog -VALE TUDOEDITION-
in0u
0
140
CEL(Common Expression Language)で書いた条件にマッチしたIAM Policyを見つける / iam-policy-finder
fujiwara3
0
710
サーバーレスAPI(API Gateway+Lambda)とNext.jsで 個人ブログを作ろう!
shuntaka
PRO
0
560
LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
pharma_x_tech
2
170
E2Eテスト自動化プラットフォームにおけるAIの活用
shift_evolve
0
190
JBUG岡山 #6 WordCamp男木島の チームビルディング
takeshifurusato
0
150
エンジニアの生存戦略 〜クラウド潮流の経験から紐解く技術トレンドのメカニズムと乗りこなし方〜
shimy
9
1.9k
頼られるのが大好きな 皆さんへ - 支援相手との期待の合わせ方、突き放し方 -/For_people_who_like_to_be_relied_on
naitosatoshi
1
290
年間一億円削減した時系列データベースのアーキテクチャ改善~不確実性の高いプロジェクトへの挑戦~
lycorptech_jp
PRO
3
2.9k
Featured
See All Featured
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
Become a Pro
speakerdeck
PRO
15
4.8k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
34
1.9k
We Have a Design System, Now What?
morganepeng
46
7k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
149
45k
How GitHub Uses GitHub to Build GitHub
holman
471
290k
Building Effective Engineering Teams - LeadDev
addyosmani
47
2.2k
A designer walks into a library…
pauljervisheath
201
24k
Building Flexible Design Systems
yeseniaperezcruz
323
37k
4 Signs Your Business is Dying
shpigford
178
21k
Thoughts on Productivity
jonyablonski
64
4.1k
Side Projects
sachag
451
42k
Transcript
Knowledge Base for Amazon Bedrockと Pineconeを使って、格安でRAG作ってみた 【オフライン】JAWS-UG佐賀 2024年新年会LT 〜佐賀のエンジニアで乾杯︕〜 2024.1.27
苑⽥朝彰 1
⾃⼰紹介 苑⽥ 朝彰 Sonoda Tomotada - ID - Github︓tomomj -
Twitter︓@sonoda_mj - Work at - 株式会社 Fusic (フュージック) 技術創造部⾨所属 - ソフトウェアエンジニアリング - 新卒3年⽬ - Skill - AWS/React(Native)/Ruby on Rails 2
⾃⼰紹介 苑⽥ 朝彰 Sonoda Tomotada - ID - Github︓tomomj -
Twitter︓@sonoda_mj - Work at - 株式会社 Fusic (フュージック) 技術創造部⾨所属 - ソフトウェアエンジニアリング - 新卒3年⽬ - Skill - AWS/React(Native)/Ruby on Rails 3
アジェンダ 4 l 背景 l 事前知識 l knowledge base for
amazon bedrockとPineconeを使って、格安で RAG作ってみた l まとめ
01 背景
RAG面白そうだから 作ってみたい!!
従来のAWSにおけるRAG 7 引用:https://aws.amazon.com/jp/blogs/news/quickly-build-high-accuracy-generative-ai-applications- on-enterprise-data-using-amazon-kendra-langchain-and-large-language-models/
従来のAWSにおけるRAG 8 引用:https://aws.amazon.com/jp/blogs/news/quickly-build-high-accuracy-generative-ai-applications- on-enterprise-data-using-amazon-kendra-langchain-and-large-language-models/ 試すにはちょっと 高い。。。
ほっ…ほなVectorDBだけ安くし て、処理部分を自分で作ろう!
コサイン類似度 Embedding Model
コサイン類似度 Embedding Model ML初心者にはしんどい
手軽に安く作れる方法 はないんか!!
None
なんか簡単に作れそう
これ使ってみよか〜
できるだけ工数やお金をかけずに RAGを作って遊びたい!!
02 事前知識
事前知識 18 l 検索拡張生成(RAG)とは l Knowledge Base For Amazon Bedrockとは
l Pineconeとは
事前知識 19 l 検索拡張生成(RAG)とは l Knowledge Base For Amazon Bedrockとは
l Pineconeとは
検索拡張⽣成(RAG)とは 20 Retrieval Augmented Generation(RAG) 生成系の言語 AI モデルに外部メモリをつけるというコンセプトのことを指す Vector Database
LLM 質問 検索 返答 検索結果 引用:https://github.com/aws-samples/jp-rag-sample
検索拡張⽣成(RAG)とは 21 事前に学習したデータに関しては返答することができる AWSについて教えて AWSってのはな・・・ LLM
検索拡張⽣成(RAG)とは 22 しかし、学習していない内容に関しては答えられない 苑田について教えて 誰やねん 私の知識はxxxx年まででぇ〜
検索拡張⽣成(RAG)とは 23 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関す る回答を生成することができる Vector Database 苑田について教えて 新しいデータをベクトル化 して格納
検索拡張⽣成(RAG)とは 24 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関す る回答を生成することができる Vector Database 近いベクトルを探す 「苑田について教えて」を ベクトル化
検索拡張⽣成(RAG)とは 25 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関す る回答を生成することができる Vector Database 検索結果を返す
検索拡張⽣成(RAG)とは 26 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関す る回答を生成することができる Vector Database 苑田ってのはな
事前知識 27 l 検索拡張生成(RAG)とは l Knowledge Base For Amazon Bedrockとは
l Pineconeとは
Bedrockとは 28 "*-BCTɺ"OUISPQJDɺ$PIFSFɺ.FUBɺ4UBCJMJUZ"*ɺ"NB[POͳͲͷେख "*اۀ͕ఏڙ͢Δ ߴੑೳͳج൫Ϟσϧ '. Λ୯Ұͷ "1*ͰબͰ͖ΔϑϧϚωʔδυܕαʔϏε ↓これらのmodelのAPIが使える
Knowledge Base for Amazon Bedrockとは 29 "NB[PO#FESPDLͷφϨοδϕʔεΛ༻͢Δͱɺ"NB[PO#FESPDL͔Β '.Λσʔλιʔ εʹଓͯ͠ݕࡧ֦ுੜ 3"(
Λߦ͏͜ͱ͕Ͱ͖Δɻ͜ΕʹΑΓɺ'.ͷطଘͷڧྗͳػೳΛ ֦ு͠ɺಛఆͷυϝΠϯ৫ʹؔ͢ΔࣝΛਂΊΔ͜ͱ͕Ͱ͖Δɻ 引用:https://aws.amazon.com/jp/bedrock/knowledge-bases/
データの前処理 30 引用:https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html • ドキュメントを管理しやすいチャンクに分割し、効率的に取得できるようにする • ドキュメントをEmbedding Modelを使用してベクトル化する • Vector
DBに格納する Cohere
ランタイム実⾏ 31 引用:https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html • ユーザーのクエリをベクトル化する • ドキュメントのベクトルと比較し、意味的に類似したチャンクが検索される • 取得されたチャンクからの追加のコンテキストで拡張される Cohere
Claude
Knowledge Baseについて詳しく 32 or or Vector Database Data Source S3
Bedrock User LLM 様々な情報を入れる コードを書かなくとも一括で作成してくれる(S3以外) or
事前知識 33 l 検索拡張生成(RAG)とは l Knowledge Base For Amazon Bedrockとは
l Pineconeとは
Pineconeとは 34 ベクトルを保存するためのデータベース(freeプランを使用) 引用:https://www.pinecone.io/product/
03 knowledge base for amazon bedrock を使って、格安でRAG作ってみた
データソース 36 Fusicのメンバー紹介(全員分) 参考: https://fusic.co.jp/members/108
Slack Bedrock 苑田(webにない情報) って誰ですか?
Slack Bedrock 苑田って何ですか?
Slack Bedrock 苑田というのは。。。
Slack Bedrock 苑田というのは。。。
構成図 41
構成図 42 構築の手間がかからない
構成図 43 フリープランなら無料
構成図 44 モデル 入力トークン 1,000 個あたり 出力トークン 1,000 個あたり Claude
0.00800 USD 0.02400 USD Cohere(埋め込み — 多言語) 0.0001 USD 該当なし
構成図 45 モデル 入力トークン 1,000 個あたり 出力トークン 1,000 個あたり Claude
0.00800 USD 0.02400 USD Cohere(埋め込み — 多言語) 0.0001 USD 該当なし め っ ち ゃ 安 い !
デモ
04 まとめ
まとめ Knowledge Base for Bedrockを使⽤することで、簡単にRAGを構築することができた Point 2 Pineconeを使⽤することで、⽐較的安く構築することができた 48 Point
1 Point 3 SlackでRAGを簡単に使⽤することができた
ご清聴いただきありがとうございました Thank You We are Hiring ! https://recruit.fusic.co.jp/