Tweet
Tweet

Slide 1

Slide 1 text

AWS re:Invent 2023 での新サービス を速攻で試してみた TechLive Vol.17 2023.12.11 苑⽥朝彰 1

Slide 2

Slide 2 text

⾃⼰紹介 苑⽥ 朝彰 Sonoda Tomotada - ID - Github︓tomomj - Twitter︓@sonoda_mj - Work at - 株式会社 Fusic （フュージック） 技術創造部⾨所属 - ソフトウェアエンジニアリング - 新卒3年⽬ - Skill - AWS／React(Native)／Ruby on Rails 2

Slide 3

Slide 3 text

アジェンダ 3 l re:Invent 2023の振り返り l Knowledge Base for Amazon Bedrockについて l Slack Botで使ってみた l まとめ

Slide 4

Slide 4 text

01 re:Invent 2023の振り返り

Slide 5

Slide 5 text

みなさん

Slide 6

Slide 6 text

AWS re:Invent 2023

Slide 7

Slide 7 text

いかがでしたか？

Slide 8

Slide 8 text

re:Invent 2023 初参加の思い出 8

Slide 9

Slide 9 text

何話そうかな〜

Slide 10

Slide 10 text

新サービスでなんか やってみて

Slide 11

Slide 11 text

💧

Slide 12

Slide 12 text

Bedrock関連のアップデート 12 l Amazon Bedrockでモデルのファインチューニングが可能に l Knowledge Base for Amazon Bedrockが一般利用開始に l Amazon BedrockのContinued pre-trainingを発表（プレビュー） l Agents for Amazon Bedrockが一般利用開始に l Guardrails for Amazon Bedrockを発表(プレビュー) l Amazon Bedrockで複数の基盤モデルが一般利用開始に

Slide 13

Slide 13 text

Bedrock関連のアップデート 13 l Amazon Bedrockでモデルのファインチューニングが可能に l Knowledge Base for Amazon Bedrockが一般利用開始に l Amazon BedrockのContinued pre-trainingを発表（プレビュー） l Agents for Amazon Bedrockが一般利用開始に l Guardrails for Amazon Bedrockを発表(プレビュー) l Amazon Bedrockで複数の基盤モデルが一般利用開始に

Slide 14

Slide 14 text

02 Knowledge Base for Amazon Bedrockについて

Slide 15

Slide 15 text

Bedrockとは 15 "*-BCTɺ"OUISPQJDɺ$PIFSFɺ.FUBɺ4UBCJMJUZ"*ɺ"NB[POͳͲͷେख"*اۀ͕ఏڙ͢Δ ߴੑೳͳج൫Ϟσϧ '. Λ୯Ұͷ"1*Ͱબ୒Ͱ͖ΔϑϧϚωʔδυܕαʔϏε ↓これらのmodelのAPIが使える

Slide 16

Slide 16 text

ファインチューニング 16 追加学習させて新しくモデルを作れる

Slide 17

Slide 17 text

playground(chat) 17 マネコン上で実際にmodelを使用することができる

Slide 18

Slide 18 text

playground(text) 18 推論パラメータをいじれる パラメータいじれる ↑トークン足りてない

Slide 19

Slide 19 text

No content

Slide 20

Slide 20 text

Knowledge Base for Amazon Bedrockとは 20 "NB[PO#FESPDLͷφϨοδϕʔεΛ࢖༻͢Δͱɺ"NB[PO#FESPDL಺͔Β'.Λσʔλιʔ εʹ઀ଓͯ͠ݕࡧ֦ுੜ੒ 3"( Λߦ͏͜ͱ͕Ͱ͖Δɻ͜ΕʹΑΓɺ'.ͷطଘͷڧྗͳػೳΛ ֦ு͠ɺಛఆͷυϝΠϯ΍૊৫ʹؔ͢Δ஌ࣝΛਂΊΔ͜ͱ͕Ͱ͖Δɻ 引用：https://aws.amazon.com/jp/bedrock/knowledge-bases/

Slide 21

Slide 21 text

検索拡張⽣成（RAG）とは 21 Retrieval Augmented Generation（RAG） 生成系の言語 AI モデルに外部メモリをつけるというコンセプトのことを指す Vector Database LLM 質問 検索 返答 検索結果 引用：https://github.com/aws-samples/jp-rag-sample

Slide 22

Slide 22 text

検索拡張⽣成（RAG）とは 22 事前に学習したデータに関しては返答することができる AWSについて教えて AWSってのはな・・・ LLM

Slide 23

Slide 23 text

検索拡張⽣成（RAG）とは 23 しかし、学習していない内容に関しては答えられない 苑田について教えて 誰やねん 私の知識はxxxx年まででぇ〜

Slide 24

Slide 24 text

検索拡張⽣成（RAG）とは 24 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関す る回答を生成することができる Vector Database 苑田について教えて 新しいデータをベクトル化 して格納

Slide 25

Slide 25 text

検索拡張⽣成（RAG）とは 25 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関す る回答を生成することができる Vector Database 近いベクトルを探す 「苑田について教えて」を ベクトル化

Slide 26

Slide 26 text

検索拡張⽣成（RAG）とは 26 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関す る回答を生成することができる Vector Database 検索結果を返す

Slide 27

Slide 27 text

検索拡張⽣成（RAG）とは 27 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関す る回答を生成することができる Vector Database 苑田ってのはな

Slide 28

Slide 28 text

従来のAWSにおけるRAG 28 引用：https://aws.amazon.com/jp/blogs/news/quickly-build-high-accuracy-generative-ai-applications- on-enterprise-data-using-amazon-kendra-langchain-and-large-language-models/

Slide 29

Slide 29 text

Knowledge Baseについて詳しく 29 or or Vector Database Data Source S3 Bedrock User LLM 様々な情報を入れる 一括で作成してくれる（S3以外）

Slide 30

Slide 30 text

データの前処理 30 引用：https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html • ドキュメントを管理しやすいチャンクに分割し、効率的に取得できるようにする • ドキュメントをEmbedding Modelを使用してベクトル化する • Vector DBに格納する

Slide 31

Slide 31 text

ランタイム実⾏ 31 引用：https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html • ユーザーのクエリをベクトル化する • ドキュメントのベクトルと比較し、意味的に類似したチャンクが検索される • 取得されたチャンクからの追加のコンテキストで拡張される

Slide 32

Slide 32 text

実際に作ってみる

Slide 33

Slide 33 text

03 Slack Botで使ってみた

Slide 34

Slide 34 text

Slack Bedrock 苑田（webにない情報） って誰ですか？

Slide 35

Slide 35 text

Slack Bedrock 苑田って何ですか？

Slide 36

Slide 36 text

Slack Bedrock 苑田というのは。。。

Slide 37

Slide 37 text

Slack Bedrock 苑田というのは。。。

Slide 38

Slide 38 text

構成図 38

Slide 39

Slide 39 text

デモ

Slide 40

Slide 40 text

04 まとめ

Slide 41

Slide 41 text

まとめ re:Invent 2023で発表されたBedrockのアップデートについて紹介した Point 2 Knowledge Base for Bedrockを使⽤することで、簡単にRAGを構築することができた 41 Point 1 Point 3 SlackでRAGを簡単に使⽤することができた

Slide 42

Slide 42 text

ご清聴いただきありがとうございました Thank You We are Hiring ! https://recruit.fusic.co.jp/