Slide 1

Slide 1 text

Amazon Bedrock Knowledge Bases with structured data store の実力を検証! クラウドLT大会 vol.12 12/16(月) 19:00- 株式会社セゾンテクノロジー データインテグレーション部 吉田 慎弥

Slide 2

Slide 2 text

自己紹介 吉田 慎弥 株式会社セゾンテクノロジー データインテグレーション部 #入社4年目 #CLF #SAA #SOA #DEA #2024 Japan AWS Jr. Champions 1

Slide 3

Slide 3 text

もくじ re:Invent 2024 におけるAmazon Bedrock のアップデート Knowledge Base 構造化データストアとは Knowledge Base の仕組み Knowledge Base 構造化データストアの仕組み Knowledge Base 構造化データストアを触ってみる Knowledge Base 構造化データストアのすごいところ まとめ 2

Slide 4

Slide 4 text

Amazon Bedrock supports reranking models Amazon Bedrock Knowledge Bases supports streaming responses Amazon Bedrock Knowledge Bases supports RAG evaluation Amazon Bedrock multi-agent collaboration Amazon Bedrock Knowledge Bases supports structured data retrieval Amazon Bedrock Knowledge Bases supports GraphRAG Amazon Bedrock Model Distillation Amazon Bedrock Automated Reasoning check Amazon Bedrock supports prompt caching Amazon Bedrock Intelligent Prompt Routing Amazon Bedrock Data Automation and so on… re:Invent 2024 におけるAmazon Bedrock のアップデート 3

Slide 5

Slide 5 text

re:Invent 2024 におけるAmazon Bedrock のアップデート Amazon Bedrock supports reranking models Amazon Bedrock Knowledge Bases supports streaming responses Amazon Bedrock Knowledge Bases supports RAG evaluation Amazon Bedrock multi-agent collaboration Amazon Bedrock Knowledge Bases supports structured data retrieval Amazon Bedrock Knowledge Bases supports GraphRAG Amazon Bedrock Model Distillation Amazon Bedrock Automated Reasoning check Amazon Bedrock supports prompt caching Amazon Bedrock Intelligent Prompt Routing Amazon Bedrock Data Automation and so on… 以降は Knowledge Base 構造化データストア と記載します。 4

Slide 6

Slide 6 text

Knowledge Base 構造化データストア とは “Amazon Bedrock Knowledge Basesでは、定義済みのスキーマに準拠した データを含む構造化データ・ストアに接続できます。 構造化データの例としては、テーブルやデータベースがあります。 Amazon Bedrock Knowledge Basesは、ユーザのクエリを、 サポートする構造化データストアから データを抽出するのに適した言語に変換することができます。 そして、変換されたクエリを使用して、クエリに関連するデータを取得し、 適切な応答を生成することができます。” https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base- build-structured.html 5

Slide 7

Slide 7 text

Knowledge Bases の仕組み ①ユーザクエリ ②③ベクトル検索 ④⑤拡張クエリ生成 ⑥モデルの回答 https://www.youtube.com/watch?v=SdKfdkec7SQ 6

Slide 8

Slide 8 text

Knowledge Bases の仕組み 従来だと、 1. データベースやテーブルスキーマの構造 2. テーブルに登録されている値 などの環境特有の仕様に合わせたSQLを生成AIが生成するのは困難。 ※実現するには、生成AIを補助するための追加実装が必要。 iPaaS 生成AI データ ソース & メタ データ 7 弊社事例

Slide 9

Slide 9 text

Knowledge Base 構造化データストア の仕組み 構造化データに対する適切なクエリ(SQL)を生成してデータを読み解く https://www.youtube.com/watch?v=SdKfdkec7SQ 8

Slide 10

Slide 10 text

Knowledge Base 構造化データストア を触ってみる ①Amazon Bedrock のコンソールトップ画面 9

Slide 11

Slide 11 text

②「ナレッジベース」 >「ナレッジベースを作成」>「Knowledge Base structured data store」 Knowledge Base 構造化データストア を触ってみる 10

Slide 12

Slide 12 text

③「ステップ1ナレッジベースの詳細を入力」にて、 「ナレッジベースの詳細」 >「ナレッジベース名」 「Data source details」 >「Query engine」 「IAM許可」 >「新しいサービスロールを 作成して使用」 >「サービスロール名」(自動入力) Knowledge Base 構造化データストア を触ってみる 11

Slide 13

Slide 13 text

③「ステップ2Configure query engine」にて、 「Query engine details」 >「Connection options」 >「Redshift serverless」 >「Workgroup」 >作成したワークグループを選択 「Authentication」 >「IAM Role」 「Default storage metadata」 >「Options」 >「Amazon Redshift databases」 >「Redshift database list」 >「Database」 >「dev」 Knowledge Base 構造化データストア を触ってみる 12

Slide 14

Slide 14 text

③「ステップ3確認して作成」にて、 ステップ1&2の設定内容を 確認して、 「ナレッジベースを作成」 Knowledge Base 構造化データストア を触ってみる 13

Slide 15

Slide 15 text

「ステータス」 =「利用可能」 →作成完了!! Knowledge Base 構造化データストア を触ってみる 14

Slide 16

Slide 16 text

(Redshift serverless側にて)データベースユーザーを作成 Knowledge Base 構造化データストア を触ってみる 15

Slide 17

Slide 17 text

(Redshift serverless側にて)データベースユーザーにデータベースから情報を 取得する権限を付与 Knowledge Base 構造化データストア を触ってみる 16

Slide 18

Slide 18 text

躓いてしまいました! メタデータの同期(Sync)に失敗。。 次のコマンドを実行することで解決! GRANT USAGE ON SCHEMA dev.hsqllm TO "IAMR: AmazonBedrockExecutionRoleForKnowledgeBase_supb5 "; ※原因:スキーマを新規作成したため、その使用権限が不足していた。 Knowledge Base 構造化データストア を触ってみる 17

Slide 19

Slide 19 text

テストを実行(モデルを選択して「適用」) Knowledge Base 構造化データストア を触ってみる 18

Slide 20

Slide 20 text

Knowledge Base 構造化データストア を触ってみる 19

Slide 21

Slide 21 text

Knowledge Base 構造化データストア のすごいところ 1. データのパイプライン構築が不要(データの移動や前処理が不 要) 2. データソースと生成AIの接続(データベース、テーブルスキーマ 情報を自動で取り込み、正しいSQLを生成) シンプルな設定で構造化データに対するRAGを実装可能に!! 20

Slide 22

Slide 22 text

まとめ 2つを比較してみて、Knowledge Base 構造化データストアの 圧倒的なシンプルさに驚いた。 A. Amazon Bedrock Knowledge Bases with structured data store B. 自前で実装した構造化データを使ったRAG 生成AI(機械学習)とData Engineering / Analytics が一度に実現されている 今後どのようなUpdateがあるか楽しみです! 21

Slide 23

Slide 23 text

ご清聴ありがとう ございました 22

Slide 24

Slide 24 text

参考資料 Amazon Bedrock Knowledge Bases now supports structured data retrieval https://aws.amazon.com/jp/about-aws/whats-new/2024/12/amazon-bedrock-knowledge-bases-structured- data-retrieval/ Prerequisites for creating an Amazon Bedrock knowledge base with a structured data store https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base-prereq-structured.html#knowledge- base-prereq-structured-db-access Amazon Bedrock Knowledge Bases の構造化データ取得機能を掘り下げる https://qiita.com/hayao_k/items/460bf6aa8b0424eb0d82 Amazon Bedrock Knowledge Basesが構造化データのクエリに対応したので試してみた https://zenn.dev/fusic/articles/github-zenn-linkage-20241206-1 Get started with Amazon Redshift Serverless data warehouses https://docs.aws.amazon.com/redshift/latest/gsg/new-user-serverless.html#serverless-console-resource- creation 23

Slide 25

Slide 25 text

基盤モデルの一般的なカスタマイ ズ方法 Train FM from scratch: 一から基盤モデルを作成する Fine Tuning and Continued Pre-training: ラベルあり/なしデータを基盤モデルに与えてトレーニングする Retrieval Augmented Generation(RAG): 基盤モデルがデータを参照して 回答を生成する Prompt engineering: 基盤モデルに与えるプロンプトを 工夫する 24 https://www.youtube.com/watch?v=SdKfdkec7SQ

Slide 26

Slide 26 text

RAGにおけるデータ検索の種類 非構造化データ(Unstructured data) 25 https://www.youtube.com/watch?v=SdKfdkec7SQ