吉田_LT大会_20241216.pdf

Transcript

1. Amazon Bedrock Knowledge Bases with structured data store の実力を検証！ クラウドLT大会 vol.12 12/16(月) 19:00- 株式会社セゾンテクノロジー データインテグレーション部 吉田 慎弥
2. 自己紹介 吉田 慎弥 株式会社セゾンテクノロジー データインテグレーション部 #入社4年目 #CLF #SAA #SOA #DEA #2024 Japan AWS Jr. Champions 1
3. もくじ re:Invent 2024 におけるAmazon Bedrock のアップデート Knowledge Base 構造化データストアとは Knowledge Base の仕組み Knowledge Base 構造化データストアの仕組み Knowledge Base 構造化データストアを触ってみる Knowledge Base 構造化データストアのすごいところ まとめ 2
4. Amazon Bedrock supports reranking models Amazon Bedrock Knowledge Bases supports streaming responses Amazon Bedrock Knowledge Bases supports RAG evaluation Amazon Bedrock multi-agent collaboration Amazon Bedrock Knowledge Bases supports structured data retrieval Amazon Bedrock Knowledge Bases supports GraphRAG Amazon Bedrock Model Distillation Amazon Bedrock Automated Reasoning check Amazon Bedrock supports prompt caching Amazon Bedrock Intelligent Prompt Routing Amazon Bedrock Data Automation and so on… re:Invent 2024 におけるAmazon Bedrock のアップデート 3
5. re:Invent 2024 におけるAmazon Bedrock のアップデート Amazon Bedrock supports reranking models Amazon Bedrock Knowledge Bases supports streaming responses Amazon Bedrock Knowledge Bases supports RAG evaluation Amazon Bedrock multi-agent collaboration Amazon Bedrock Knowledge Bases supports structured data retrieval Amazon Bedrock Knowledge Bases supports GraphRAG Amazon Bedrock Model Distillation Amazon Bedrock Automated Reasoning check Amazon Bedrock supports prompt caching Amazon Bedrock Intelligent Prompt Routing Amazon Bedrock Data Automation and so on… 以降は Knowledge Base 構造化データストア と記載します。 4
6. Knowledge Base 構造化データストア とは “Amazon Bedrock Knowledge Basesでは、定義済みのスキーマに準拠した データを含む構造化データ・ストアに接続できます。 構造化データの例としては、テーブルやデータベースがあります。 Amazon Bedrock Knowledge Basesは、ユーザのクエリを、 サポートする構造化データストアから データを抽出するのに適した言語に変換することができます。 そして、変換されたクエリを使用して、クエリに関連するデータを取得し、 適切な応答を生成することができます。” https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base- build-structured.html 5
7. Knowledge Bases の仕組み ①ユーザクエリ ②③ベクトル検索 ④⑤拡張クエリ生成 ⑥モデルの回答 https://www.youtube.com/watch?v=SdKfdkec7SQ 6
8. Knowledge Bases の仕組み 従来だと、 1. データベースやテーブルスキーマの構造 2. テーブルに登録されている値 などの環境特有の仕様に合わせたSQLを生成AIが生成するのは困難。 ※実現するには、生成AIを補助するための追加実装が必要。 iPaaS 生成AI データ ソース ＆ メタ データ 7 弊社事例
9. Knowledge Base 構造化データストア の仕組み 構造化データに対する適切なクエリ（SQL）を生成してデータを読み解く https://www.youtube.com/watch?v=SdKfdkec7SQ 8
10. Knowledge Base 構造化データストア を触ってみる ①Amazon Bedrock のコンソールトップ画面 9
11. ②「ナレッジベース」 ＞「ナレッジベースを作成」＞「Knowledge Base structured data store」 Knowledge Base 構造化データストア を触ってみる 10
12. ③「ステップ1ナレッジベースの詳細を入力」にて、 「ナレッジベースの詳細」 ＞「ナレッジベース名」 「Data source details」 ＞「Query engine」 「IAM許可」 ＞「新しいサービスロールを 作成して使用」 ＞「サービスロール名」（自動入力） Knowledge Base 構造化データストア を触ってみる 11
13. ③「ステップ2Configure query engine」にて、 「Query engine details」 ＞「Connection options」 ＞「Redshift serverless」 ＞「Workgroup」 ＞作成したワークグループを選択 「Authentication」 ＞「IAM Role」 「Default storage metadata」 ＞「Options」 ＞「Amazon Redshift databases」 ＞「Redshift database list」 ＞「Database」 ＞「dev」 Knowledge Base 構造化データストア を触ってみる 12
14. ③「ステップ3確認して作成」にて、 ステップ1&2の設定内容を 確認して、 「ナレッジベースを作成」 Knowledge Base 構造化データストア を触ってみる 13
15. 「ステータス」 ＝「利用可能」 →作成完了！！ Knowledge Base 構造化データストア を触ってみる 14
16. （Redshift serverless側にて）データベースユーザーを作成 Knowledge Base 構造化データストア を触ってみる 15
17. （Redshift serverless側にて）データベースユーザーにデータベースから情報を 取得する権限を付与 Knowledge Base 構造化データストア を触ってみる 16
18. 躓いてしまいました！ メタデータの同期（Sync）に失敗。。 次のコマンドを実行することで解決！ GRANT USAGE ON SCHEMA dev.hsqllm TO "IAMR: AmazonBedrockExecutionRoleForKnowledgeBase_supb5 "; ※原因：スキーマを新規作成したため、その使用権限が不足していた。 Knowledge Base 構造化データストア を触ってみる 17
19. テストを実行（モデルを選択して「適用」） Knowledge Base 構造化データストア を触ってみる 18
20. Knowledge Base 構造化データストア を触ってみる 19
21. Knowledge Base 構造化データストア のすごいところ 1. データのパイプライン構築が不要（データの移動や前処理が不 要） 2. データソースと生成AIの接続（データベース、テーブルスキーマ 情報を自動で取り込み、正しいSQLを生成） シンプルな設定で構造化データに対するRAGを実装可能に！！ 20
22. まとめ 2つを比較してみて、Knowledge Base 構造化データストアの 圧倒的なシンプルさに驚いた。 A. Amazon Bedrock Knowledge Bases with structured data store B. 自前で実装した構造化データを使ったRAG 生成AI（機械学習）とData Engineering / Analytics が一度に実現されている 今後どのようなUpdateがあるか楽しみです！ 21
23. ご清聴ありがとう ございました 22
24. 参考資料 Amazon Bedrock Knowledge Bases now supports structured data retrieval https://aws.amazon.com/jp/about-aws/whats-new/2024/12/amazon-bedrock-knowledge-bases-structured- data-retrieval/ Prerequisites for creating an Amazon Bedrock knowledge base with a structured data store https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base-prereq-structured.html#knowledge- base-prereq-structured-db-access Amazon Bedrock Knowledge Bases の構造化データ取得機能を掘り下げる https://qiita.com/hayao_k/items/460bf6aa8b0424eb0d82 Amazon Bedrock Knowledge Basesが構造化データのクエリに対応したので試してみた https://zenn.dev/fusic/articles/github-zenn-linkage-20241206-1 Get started with Amazon Redshift Serverless data warehouses https://docs.aws.amazon.com/redshift/latest/gsg/new-user-serverless.html#serverless-console-resource- creation 23
25. 基盤モデルの一般的なカスタマイ ズ方法 Train FM from scratch： 一から基盤モデルを作成する Fine Tuning and Continued Pre-training： ラベルあり/なしデータを基盤モデルに与えてトレーニングする Retrieval Augmented Generation(RAG)： 基盤モデルがデータを参照して 回答を生成する Prompt engineering： 基盤モデルに与えるプロンプトを 工夫する 24 https://www.youtube.com/watch?v=SdKfdkec7SQ
26. RAGにおけるデータ検索の種類 非構造化データ(Unstructured data) 25 https://www.youtube.com/watch?v=SdKfdkec7SQ