マルチクラウド時代における RAG アーキテクチャ構築手順書

マルチクラウド時代における RAG アーキテクチャ構築手順書 -AWS S3 上にあるデータを RAG に活用してみよう編- Microsoft
Japan Digital Startups & ISV Takunori MINAMISAWA ※本資料は2024年6月時点の情報を元に作成されています。

0. 事前理解と準備

Azure における RAG アプリケーションの構成例 Front-end Control and Store AI Services
Data Analytics Data Source Application App Service Static Web Apps API Control API Management Chat Logs Cosmos DB User Info DB for MySQL Generative AI Functions OpenAI Service Knowledge Search AI Search Caching External API AI-based Data Lake Microsoft Fabric Customer Data AWS S3 Google Cloud Storage Cache for Redis Development VS Code GitHub Copilot Blob Storage Monitoring Defender for Cloud Monitor Log Analytics Application Insights Authentication Entra ID Bing Search Custom Search

本手順書で作成するのは「赤枠」で囲まれた部分になります Front-end Control and Store AI Services Data Analytics Data
Source Application App Service Static Web Apps API Control API Management Chat Logs Cosmos DB User Info DB for MySQL Generative AI Functions OpenAI Service Knowledge Search AI Search Caching External API AI-based Data Lake Microsoft Fabric Customer Data Cache for Redis Development VS Code GitHub Copilot Monitoring Defender for Cloud Monitor Log Analytics Application Insights Bing Search Custom Search AWS S3 Google Cloud Storage Blob Storage Authentication Entra ID

構築前に確認すること Entra ID Microsoft Fabric Microsoft Azure Azure と Microsoft
Fabric は同じテナント配下で使いましょう Azure と Microsoft Fabric が利用できる法人メールアドレスが必要です Azure のリソースをするための Azure Subscription が必要です

Agenda セクション 1 AWS S3 バケットの作成セクション 2 Microsoft Fabric
の環境準備セクション 3 Azure AI Search の環境準備

1. AWS S3 バケットの作成 ※既に S3 環境をお持ちの方はセクション2から始めてください

AWS にサインインをし S3 のページから「バケットを作成」します

「バケット名」を入力します。その他の設定は任意です。

画面下までスクロールをし「バケットを作成」します

作成したバケットを選択します

「アップロード」をクリックします

「ファイルを追加」から任意のファイルを選択します ※注意点 Azure AI Search の OneLake ファイルインデクサーで対応しているファイル形式を公式ドキュメントで確認した上で
アップロードしてください。 -CSV -PDF -HTML -JSON -EML -Microsoft Office 形式など https://learn.microsoft.com/ja- jp/azure/search/search-how-to-index- onelake-files#supported-document-formats

「アップロード」します

「IAM」のページに遷移をし「ユーザー」メニューを開きます

「ユーザーの作成」をクリックします

任意の「ユーザー名」を入力し「次へ」進みます

「次へ」進みます

「ユーザーの作成」をクリックします

作成した「ユーザー」を選択します

「アクセスキーを作成」をクリックします

「AWS の外部で実行されるアプリケーション」を選択し「次へ」進みます

任意の説明を入力し「アクセスキーを作成」します

作成された「アクセスキー」と「シークレットアクセスキー」をメモ帳等にコピペし「完了」です

「ARN」をコピーしメモ帳に貼り付けしておきます

S3 のページに戻り、先ほど作成したバケットを選択します

「アクセス許可」タブを選択しバケットポリシーの「編集」をクリックします

以下の JSON 形式でポリシーを入力します { "Version": "2012-10-17", “Id”: “任意の値", "Statement": [
{ "Sid": "statement1", "Effect": "Allow", "Principal": { “AWS”: “先ほどコピーした ARN" }, "Action": [ "s3:GetObject", "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ “arn:aws:s3:::S3バケット名", "arn:aws:s3:::S3バケット名/*" ] } ] }

入力できたら画面右下の「変更の保存」をクリックします

「オブジェクト」タブに戻りアップロードしたファイルを選択します

表示されたオブジェクト URL をコピーし、メモ帳等に貼り付けておきます

2. Microsoft Fabric の環境準備

Microsoft Fabric にサインインします https://app.fabric.microsoft.com/

左下のメニューから「Data Engineering」を選択します

ワークスペースメニューから「新しいワークスペース」を選択します

任意の「名前」と「説明」を記載して「適用」します

「+新規」から「レイクハウス」を選択します

任意の「名前」を入力し「作成」します

Files 右の「・・・」メニューから「新しいショートカット」を選択します

「Amazon S3」を選択します

コピーしておいた各種情報を入力し「次へ」進みますオブジェクト URL (ファイル名無し) Access Key Secret Access Key ※注意点
2024年6月時点、日本語 UI の翻訳ミスで「ユーザー名」「パスワード」との記載になっていますが、入力事項は「Access Key」と「Secret Access Key」になります。

バケットにチェックを入れ「次へ」進みます

「作成」します

S3 バケットにアップロードしたファイルが Fabric からも確認できます

S3 ショートカットのファイルが表示されている URL をコピーしメモ帳に貼り付けておきます

設定アイコンをクリックし「管理ポータル」を選択します

検索欄に「サービスプリンシパル」と入力します

「サービスプリンシパルは Fabric API を使用できます」を「有効化」します

「サービスプリンシパルによるプロファイルの作成と仕様を許可する」を「有効化」します

3. Azure AI Search の環境準備

Azure ポータルにアクセスをし「リソースの作成」をクリックします https://portal.azure.com/

「Azure AI Search」を検索をします

「Azure AI Search」を選択します

「作成」をクリックします

各種項目の選択・入力をし「確認および作成」をクリックします Azure サブスクリプションを選択リソースグループの作成 or 選択任意の名前を入力任意のリージョンを選択「Basic」以上のプランを選択

「作成」します

デプロイの完了後「リソースに移動」します

「設定」メニューから「ID」を選択します

「システム割り当て済み」の状態を「オン」に設定し「保存」します

「概要」メニューに戻り Azure AI Search サービス名をコピーしメモ帳に貼り付けておきます

Fabric のレイクハウスのページに戻り「アクセスの管理」をクリックします

「+ユーザーまたはグループの追加」をクリックします

先ほどコピーした Azure AI Search 名を貼り付け、「共同作成者」ロールを設定後「追加」します

追加されたことを確認できたら Azure ポータルに戻ります

「検索管理」メニューから「データソース」を選択します

「+データソースの追加」をクリックします

各項目の選択・入力後「保存」します「OneLake ファイル」を選択任意の名前を入力コピーしておいた URL を貼り付け Fabric で設定した S3
ショートカットの名前を入力

Azure AI Search の「概要」メニューに戻り「データのインポート」をクリックします

先ほど作成したデータソースを選択し「次: コグニティブスキルを追加します」をクリック

設定無しで「スキップ先: 対象インデックスをカスタマイズします」をクリックします

任意の「インデックス名」を入力後デフォルトの設定のまま「次: インデクサーの作成」に進みます

任意の「インデクサー名」を入力し「送信」をします

「インデックス」メニューを選択します

インデックスを選択します

「検索」をすると S3 上にアップロードしたデータが読み込めていることが確認できますこの例では、S3 上にアップロードした CSV ファイルに記載されている文字列のデータを確認することができます。Microsoft Fabric のショート
カット機能を使うことで、様々な環境下にあるデータを集約することができ、RAG アプリケーションの開発に活用することができます。

本手順書で作成したのは「赤枠」で囲まれた部分になります Front-end Control and Store AI Services Data Analytics Data
Source Application App Service Static Web Apps API Control API Management Chat Logs Cosmos DB User Info DB for MySQL Generative AI Functions OpenAI Service Knowledge Search AI Search Caching External API AI-based Data Lake Microsoft Fabric Customer Data Cache for Redis Development VS Code GitHub Copilot Monitoring Defender for Cloud Monitor Log Analytics Application Insights Bing Search Custom Search AWS S3 Google Cloud Storage Blob Storage Authentication Entra ID

• 本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoft は絶えず変化する市場に対応しなければならないため、ここに記載した情報に対していかなる責務を負うものではなく、提示された情報の信憑性については保証できません。 • 本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。
• すべての当該著作権法を遵守することはお客様の責務です。Microsoft の書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、どのような形式または手段（電子的、機械的、複写、レコーディング、その他）、および目的であっても禁じられています。これらは著作権保護された権利を制限するものではありません。 • Microsoft は、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoft から書面によるライセンス契約が明確に供給される場合を除いて、本書の提供はこれらの特許、商標、著作権、またはその他の知的財産へのライセンスを与えるものではありません。 • Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。その他、記載されている会社名および製品名は、一般に各社の商標です。 © 2024 Microsoft Corporation. All rights reserved.

マルチクラウド時代における RAG アーキテクチャ構築 手順書

マルチクラウド時代における RAG アーキテクチャ構築 手順書

Other Decks in Technology

Featured

Transcript

マルチクラウド時代における RAG アーキテクチャ構築手順書

マルチクラウド時代における RAG アーキテクチャ構築手順書