マルチクラウド時代における RAG アーキテクチャ構築手順書

Slide 1

Slide 1 text

マルチクラウド時代における RAG アーキテクチャ構築手順書 -AWS S3 上にあるデータを RAG に活用してみよう編- Microsoft Japan Digital Startups & ISV Takunori MINAMISAWA ※本資料は2024年6月時点の情報を元に作成されています。

Slide 2

Slide 2 text

0. 事前理解と準備

Slide 3

Slide 3 text

Azure における RAG アプリケーションの構成例 Front-end Control and Store AI Services Data Analytics Data Source Application App Service Static Web Apps API Control API Management Chat Logs Cosmos DB User Info DB for MySQL Generative AI Functions OpenAI Service Knowledge Search AI Search Caching External API AI-based Data Lake Microsoft Fabric Customer Data AWS S3 Google Cloud Storage Cache for Redis Development VS Code GitHub Copilot Blob Storage Monitoring Defender for Cloud Monitor Log Analytics Application Insights Authentication Entra ID Bing Search Custom Search

Slide 4

Slide 4 text

本手順書で作成するのは「赤枠」で囲まれた部分になります Front-end Control and Store AI Services Data Analytics Data Source Application App Service Static Web Apps API Control API Management Chat Logs Cosmos DB User Info DB for MySQL Generative AI Functions OpenAI Service Knowledge Search AI Search Caching External API AI-based Data Lake Microsoft Fabric Customer Data Cache for Redis Development VS Code GitHub Copilot Monitoring Defender for Cloud Monitor Log Analytics Application Insights Bing Search Custom Search AWS S3 Google Cloud Storage Blob Storage Authentication Entra ID

Slide 5

Slide 5 text

構築前に確認すること Entra ID Microsoft Fabric Microsoft Azure Azure と Microsoft Fabric は同じテナント配下で使いましょう Azure と Microsoft Fabric が利用できる法人メールアドレスが必要です Azure のリソースをするための Azure Subscription が必要です

Slide 6

Slide 6 text

Agenda セクション 1 AWS S3 バケットの作成セクション 2 Microsoft Fabric の環境準備セクション 3 Azure AI Search の環境準備

Slide 7

Slide 7 text

1. AWS S3 バケットの作成 ※既に S3 環境をお持ちの方はセクション2から始めてください

Slide 8

Slide 8 text

AWS にサインインをし S3 のページから「バケットを作成」します

Slide 9

Slide 9 text

「バケット名」を入力します。その他の設定は任意です。

Slide 10

Slide 10 text

画面下までスクロールをし「バケットを作成」します

Slide 11

Slide 11 text

作成したバケットを選択します

Slide 12

Slide 12 text

「アップロード」をクリックします

Slide 13

Slide 13 text

「ファイルを追加」から任意のファイルを選択します ※注意点 Azure AI Search の OneLake ファイルインデクサーで対応しているファイル形式を公式ドキュメントで確認した上でアップロードしてください。 -CSV -PDF -HTML -JSON -EML -Microsoft Office 形式など https://learn.microsoft.com/ja- jp/azure/search/search-how-to-index- onelake-files#supported-document-formats

Slide 14

Slide 14 text

「アップロード」します

Slide 15

Slide 15 text

「IAM」のページに遷移をし「ユーザー」メニューを開きます

Slide 16

Slide 16 text

「ユーザーの作成」をクリックします

Slide 17

Slide 17 text

任意の「ユーザー名」を入力し「次へ」進みます

Slide 18

Slide 18 text

「次へ」進みます

Slide 19

Slide 19 text

「ユーザーの作成」をクリックします

Slide 20

Slide 20 text

作成した「ユーザー」を選択します

Slide 21

Slide 21 text

「アクセスキーを作成」をクリックします

Slide 22

Slide 22 text

「AWS の外部で実行されるアプリケーション」を選択し「次へ」進みます

Slide 23

Slide 23 text

任意の説明を入力し「アクセスキーを作成」します

Slide 24

Slide 24 text

作成された「アクセスキー」と「シークレットアクセスキー」をメモ帳等にコピペし「完了」です

Slide 25

Slide 25 text

「ARN」をコピーしメモ帳に貼り付けしておきます

Slide 26

Slide 26 text

S3 のページに戻り、先ほど作成したバケットを選択します

Slide 27

Slide 27 text

「アクセス許可」タブを選択しバケットポリシーの「編集」をクリックします

Slide 28

Slide 28 text

以下の JSON 形式でポリシーを入力します { "Version": "2012-10-17", “Id”: “任意の値", "Statement": [ { "Sid": "statement1", "Effect": "Allow", "Principal": { “AWS”: “先ほどコピーした ARN" }, "Action": [ "s3:GetObject", "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ “arn:aws:s3:::S3バケット名", "arn:aws:s3:::S3バケット名/*" ] } ] }

Slide 29

Slide 29 text

入力できたら画面右下の「変更の保存」をクリックします

Slide 30

Slide 30 text

「オブジェクト」タブに戻りアップロードしたファイルを選択します

Slide 31

Slide 31 text

表示されたオブジェクト URL をコピーし、メモ帳等に貼り付けておきます

Slide 32

Slide 32 text

2. Microsoft Fabric の環境準備

Slide 33

Slide 33 text

Microsoft Fabric にサインインします https://app.fabric.microsoft.com/

Slide 34

Slide 34 text

左下のメニューから「Data Engineering」を選択します

Slide 35

Slide 35 text

ワークスペースメニューから「新しいワークスペース」を選択します

Slide 36

Slide 36 text

任意の「名前」と「説明」を記載して「適用」します

Slide 37

Slide 37 text

「+新規」から「レイクハウス」を選択します

Slide 38

Slide 38 text

任意の「名前」を入力し「作成」します

Slide 39

Slide 39 text

Files 右の「・・・」メニューから「新しいショートカット」を選択します

Slide 40

Slide 40 text

「Amazon S3」を選択します

Slide 41

Slide 41 text

コピーしておいた各種情報を入力し「次へ」進みますオブジェクト URL (ファイル名無し) Access Key Secret Access Key ※注意点 2024年6月時点、日本語 UI の翻訳ミスで「ユーザー名」「パスワード」との記載になっていますが、入力事項は「Access Key」と「Secret Access Key」になります。

Slide 42

Slide 42 text

バケットにチェックを入れ「次へ」進みます

Slide 43

Slide 43 text

「作成」します

Slide 44

Slide 44 text

S3 バケットにアップロードしたファイルが Fabric からも確認できます

Slide 45

Slide 45 text

S3 ショートカットのファイルが表示されている URL をコピーしメモ帳に貼り付けておきます

Slide 46

Slide 46 text

設定アイコンをクリックし「管理ポータル」を選択します

Slide 47

Slide 47 text

検索欄に「サービスプリンシパル」と入力します

Slide 48

Slide 48 text

「サービスプリンシパルは Fabric API を使用できます」を「有効化」します

Slide 49

Slide 49 text

「サービスプリンシパルによるプロファイルの作成と仕様を許可する」を「有効化」します

Slide 50

Slide 50 text

3. Azure AI Search の環境準備

Slide 51

Slide 51 text

Azure ポータルにアクセスをし「リソースの作成」をクリックします https://portal.azure.com/

Slide 52

Slide 52 text

「Azure AI Search」を検索をします

Slide 53

Slide 53 text

「Azure AI Search」を選択します

Slide 54

Slide 54 text

「作成」をクリックします

Slide 55

Slide 55 text

各種項目の選択・入力をし「確認および作成」をクリックします Azure サブスクリプションを選択リソースグループの作成 or 選択任意の名前を入力任意のリージョンを選択「Basic」以上のプランを選択

Slide 56

Slide 56 text

「作成」します

Slide 57

Slide 57 text

デプロイの完了後「リソースに移動」します

Slide 58

Slide 58 text

「設定」メニューから「ID」を選択します

Slide 59

Slide 59 text

「システム割り当て済み」の状態を「オン」に設定し「保存」します

Slide 60

Slide 60 text

「概要」メニューに戻り Azure AI Search サービス名をコピーしメモ帳に貼り付けておきます

Slide 61

Slide 61 text

Fabric のレイクハウスのページに戻り「アクセスの管理」をクリックします

Slide 62

Slide 62 text

「+ユーザーまたはグループの追加」をクリックします

Slide 63

Slide 63 text

先ほどコピーした Azure AI Search 名を貼り付け、「共同作成者」ロールを設定後「追加」します

Slide 64

Slide 64 text

追加されたことを確認できたら Azure ポータルに戻ります

Slide 65

Slide 65 text

「検索管理」メニューから「データソース」を選択します

Slide 66

Slide 66 text

「+データソースの追加」をクリックします

Slide 67

Slide 67 text

各項目の選択・入力後「保存」します「OneLake ファイル」を選択任意の名前を入力コピーしておいた URL を貼り付け Fabric で設定した S3 ショートカットの名前を入力

Slide 68

Slide 68 text

Azure AI Search の「概要」メニューに戻り「データのインポート」をクリックします

Slide 69

Slide 69 text

先ほど作成したデータソースを選択し「次: コグニティブスキルを追加します」をクリック

Slide 70

Slide 70 text

設定無しで「スキップ先: 対象インデックスをカスタマイズします」をクリックします

Slide 71

Slide 71 text

任意の「インデックス名」を入力後デフォルトの設定のまま「次: インデクサーの作成」に進みます

Slide 72

Slide 72 text

任意の「インデクサー名」を入力し「送信」をします

Slide 73

Slide 73 text

「インデックス」メニューを選択します

Slide 74

Slide 74 text

インデックスを選択します

Slide 75

Slide 75 text

「検索」をすると S3 上にアップロードしたデータが読み込めていることが確認できますこの例では、S3 上にアップロードした CSV ファイルに記載されている文字列のデータを確認することができます。Microsoft Fabric のショートカット機能を使うことで、様々な環境下にあるデータを集約することができ、RAG アプリケーションの開発に活用することができます。

Slide 76

Slide 76 text

本手順書で作成したのは「赤枠」で囲まれた部分になります Front-end Control and Store AI Services Data Analytics Data Source Application App Service Static Web Apps API Control API Management Chat Logs Cosmos DB User Info DB for MySQL Generative AI Functions OpenAI Service Knowledge Search AI Search Caching External API AI-based Data Lake Microsoft Fabric Customer Data Cache for Redis Development VS Code GitHub Copilot Monitoring Defender for Cloud Monitor Log Analytics Application Insights Bing Search Custom Search AWS S3 Google Cloud Storage Blob Storage Authentication Entra ID

Slide 77

Slide 77 text

• 本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoft は絶えず変化する市場に対応しなければならないため、ここに記載した情報に対していかなる責務を負うものではなく、提示された情報の信憑性については保証できません。 • 本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。 • すべての当該著作権法を遵守することはお客様の責務です。Microsoft の書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、どのような形式または手段（電子的、機械的、複写、レコーディング、その他）、および目的であっても禁じられています。これらは著作権保護された権利を制限するものではありません。 • Microsoft は、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoft から書面によるライセンス契約が明確に供給される場合を除いて、本書の提供はこれらの特許、商標、著作権、またはその他の知的財産へのライセンスを与えるものではありません。 • Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。その他、記載されている会社名および製品名は、一般に各社の商標です。 © 2024 Microsoft Corporation. All rights reserved.