企業IT向け Azure OpenAIでChatGPTを 閉域で安全に展開

このドキュメントはHCCJPの第44回勉強会で使用した資料です。

===
ChatGPTは便利だけれども社員にそのまま使わせると情報漏洩など含めて色々と心配ですね。企業で安心して使えるように「閉域でつかえる自社専用のChatGPT」が欲しい、というのは現在多くの企業にあるニーズだと思います。さらに自社独自のデータの内容を知っているchatbotを作りたい、そんな要望もあるかと思います。これらの要望はすでに公開されているリファレンスアーキテクチャーやドキュメントを参考にしつつAzure OpenAI Serviceを使うだけで簡単に実現可能です。

この勉強会ではAzure OpenAI Service自体の概要からはじめ、公開されている参考になるドキュメントやリファレンスアーキテクチャーの紹介をしつつ、実際の「自社内データを知っている閉域でつかえる自社専用のChatGPT」の構築方法を紹介します。

Transcript

1. 企業IT向け Azure OpenAIでChatGPTを 閉域で安全に展開 @ebi Masahiko Ebisuda
2. 日本ビジネスシステムズ株式会社 胡田 昌彦(えびすだ まさひこ) Youtube https://youtube.com/@ebibibi 自己紹介 日本ビジネスシステムズ株式会社 こんな方にオススメ！  企業の情報システム部で働く方  一般ユーザーだけど、コンピューターに興味 があって、もっと詳しくなりたい方  Windows, M365, Azure等のMicrosoft 関連技術中心 チャンネル登録よろしくお願いします！
3. こんな企業多いですよね？ • 一般向けのChatGPTは便利だが情報漏洩等の懸念が… • AzureにはOpenAI Serviceがあり企業利用に最適 • すでにAzure利用してるなら導入ハードル低い • Azure OpenAI Serviceを使って「社内からのみアクセス可 能」に構成できるなら導入できそう！
4. こんな企業多いですよね？ • 一般向けのChatGPTは便利だが情報漏洩等の懸念が… • AzureにはOpenAI Serviceがあり企業利用に最適 • すでにAzure利用してるなら導入ハードル低い • Azure OpenAI Serviceを使って「社内からのみアクセス可 能」に構成できるなら導入できそう！ 自社契約のAzure上に自社専用で外部からアクセ スできない「ChatGPTクローン」が欲しい！ ローコストで簡単に導入できたら最高。
5. オープンソースで 簡単に展開できるものあります。 なので紹介しますね。 ※継続利用のためにはそれが可能な体制が必須ですが…。
6. https://www.microsoft.com/ja-jp/events/azurebase/contents/default.aspx?pg=AzureOAIS
7. Azure OpenAI Service リファレンスアーキテクチャ • ０章 - Azure OpenAI Service リファレンスアーキテクチャとは • １章 - コールセンター向けAIアシスタント • ２章 - 料理メニュー提案 • ３章 - 目標達成アシスタント • ４章 - 企業分析 • ５章 - 企業内向けChatと社内文書検索 • ６章 - 共通基盤ガイド 認証/ロギング/クォータ制限
8. Azure OpenAI Service リファレンスアーキテクチャ • ０章 - Azure OpenAI Service リファレンスアーキテクチャとは • １章 - コールセンター向けAIアシスタント • ２章 - 料理メニュー提案 • ３章 - 目標達成アシスタント • ４章 - 企業分析 • ５章 - 企業内向けChatと社内文書検索 • ６章 - 共通基盤ガイド 認証/ロギング/クォータ制限
9. Azure OpenAI Service リファレンスアーキテクチャ ５章 - 企業内向けChatと社内文書検索 1.アプリケーション概要 2.展開方法 3.展開時の注意点 4.展開後のリソースを内部ネットワーク からのみ利用可能に構成する方法 5.ネットワーク構成変更時の注意点
10. Azure OpenAI Service リファレンスアーキテクチャ ５章 - 企業内向けChatと社内文書検索 1.アプリケーション概要 2.展開方法 3.展開時の注意点 4.展開後のリソースを内部ネットワーク からのみ利用可能に構成する方法 5.ネットワーク構成変更時の注意点
11. アプリケーション概要
12. アプリケーション概要
13. アプリケーション概要
14. アプリケーション概要
15. アプリケーション概要
16. アプリケーション概要
17. アプリケーション概要
18. アプリケーション概要
19. アプリケーション概要
20. コンポーネントとデータフロー Blob Storage 参照用文書 Azure App Services Web Browser Azure Active Directory データソースとなるPDFを分割し、 Blob Storageにアップロード 分割したPDFからCognitive Searchの インデックスを作成 URLを開く 問い合わせ 問い合わせからCognitive Search の検索クエリを生成（Davinciモデル を使用） 認証 Azure OpenAI で回答生成 （GPT-35-Turboモデルを使用） PDF 文書検索の準備 Azure OpenAI と ナレッジベースによる アプリケーション Azure OpenAI Service Davinci/GPT-35-Turbo/(GPT-4) pdf Azure Cognitive Search Index (gptkbindex) Cognitive Searchで文書を検索 必要に応じて引用元文書をプレ ビュー/ダウンロード プロンプトをCosmos DBに保存 Azure Cosmos DB
21. Azure OpenAI Service リファレンスアーキテクチャ ５章 - 企業内向けChatと社内文書検索 1.アプリケーション概要 2.展開方法 3.展開時の注意点 4.展開後のリソースを内部ネットワーク からのみ利用可能に構成する方法 5.ネットワーク構成変更時の注意点
22. 展開方法 • GitHub上にソースコードと展開方法が公開されている • https://github.com/Azure-Samples/jp-azureopenai- samples/tree/main/5.internal-document-search
23. 展開方法 - 事前準備(必要なもの) • Azureサブスクリプション • 所有者 or ユーザーアクセス管理者の権限が必要 • Microsoft.Authorization/roleAssignments/write • Azure Open AIサービスを利用可能にしておく • 申請フォームから申請する • 開発環境をインストール可能でインターネット接続可能な Windows or Linux • Azure Developer CLI • Azure CLI • Python 3+(※WindowsではPathを通しておくこと) • Node.js • Git • Powershell 7+ (pwsh) (※Windowsのみ)
24. 展開方法 • Git clone https://github.com/Azure-Samples/jp-azureopenai- samples.git • azd auth login • azd init • az login • az account set -s YOUR_SUBSCRIPTION_ID • #ユーザーのAADアカウントのオブジェクトIDを取得 az ad user show --id your_account@your_tenant -o tsv --query id • #環境変数にオブジェクトIDをセット $Env:AZURE_PRINCIPAL_ID= " Your Object ID " #windows export AZURE_PRINCIPAL_ID="Your Object ID" #Linux • azd up
25. 動画を見ながらゆっくり一緒にやりたければ https://youtu.be/pPdFS4NXjUE
26. Azure OpenAI Service リファレンスアーキテクチャ ５章 - 企業内向けChatと社内文書検索 1.アプリケーション概要 2.展開方法 3.展開時の注意点 4.展開後のリソースを内部ネットワーク からのみ利用可能に構成する方法 5.ネットワーク構成変更時の注意点
27. 展開時の注意点 意識する必要がある要素 • キャパシティ • モデル • モデルのバージョン • リージョン毎でサポートしているモデル • リージョン毎サポートしているモデルのバージョン • Bicepテンプレートの使っているAPIバージョン
28. 展開時の注意点 • 先にトラブルシューティングガイドを読んでおくとよい (レポジトリのルートのtroubleshooting.md) • https://github.com/Azure-Samples/jp-azureopenai- samples/blob/main/troubleshooting.md
29. 展開時の注意点 • OpenAI Serviceのキャパシティ(クォータ)に注意 • モデル毎に「Tokens per Minute」の上限がある • 展開するモデル毎に「Tokens per Minute」を設定可能 • 通常の削除を行っても48時間たたないとクォータを消費し ている状態(論理削除) • 展開時に「Tokens per Minute」を簡単に指定できるよう には（このサンプルは、現状では）なっていない • 「6.azureopenai-landing-zone-accelerator」はパラメーター 指定できるようになってます • Bicepテンプレートをいじればできます
34. 「クォータ」からはまだ確認できない模様
41. 展開時の注意点 • 使えるモデルとリージョンの組み合わせを意識 • モデルの「バージョン」もあるので注意 • モデルとバージョンを固定化したテンプレートの寿命はそんな に長くなさそう • 現在のBicepファイルは古いAPIバージョン(2022-10-01)で書 かれているので、East US, France Central, South Central US, UK South, West Europeでしか動かない模様 (※もうFixされているかも) • 「6.azureopenai-landing-zone-accelerator」は新しいAPIバー ジョン(2023-05-01)なので問題なさそう
47. 引用元：https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/models#gpt-35-models
48. ※古いバージョンのモデルをサポートして いないリージョンに、古いAPIで展開しよ うとしたときに発生するエラー
49. 展開時の注意点 • azコマンドとazdコマンドの認証は別物 • 複数のMicrosoft Entra テナント(Azure ADテナント)に存在し ているアカウントはテナントを指定して認証するとよい • az login --tenant <tenant> • azd auth login --tenant-id <tenant>
50. 安全に展開する • とりあえず全部消して(Purgeして) • リージョンとしてEast USを選択
51. Azure OpenAI Service リファレンスアーキテクチャ ５章 - 企業内向けChatと社内文書検索 1.アプリケーション概要 2.展開方法 3.展開時の注意点 4.展開後のリソースを内部ネットワーク からのみ利用可能に構成する方法 5.ネットワーク構成変更時の注意点
52. Azureに閉じたネットワーク環境にする！
55. 閉域で構成する
56. 閉域で構成する
57. 閉域で構成する
58. 閉域で構成する Private Endpoint
59. 閉域で構成する Private Endpoint DNS Private Zone
60. 閉域で構成する Private Endpoint DNS Private Zone
61. 閉域で構成する Private Endpoint App Service Vnet Integration DNS Private Zone
62. 閉域で構成する Private Endpoint App Service Vnet Integration DNS Private Zone
63. 閉域で構成する Private Endpoint App Service Vnet Integration DNS Private Zone オンプレミス ブラウザ
64. 閉域で構成する Private Endpoint App Service Vnet Integration DNS Private Zone オンプレミス ブラウザ ルーター VPN Gateway Express Route or VPN
65. 閉域で構成する Private Endpoint App Service Vnet Integration DNS Private Zone オンプレミス ブラウザ ルーター VPN Gateway Express Route or VPN
66. DNS Private Zone Private Endpoint App Service Vnet Integration オンプレミス ルーター VPN Gateway Express Route or VPN DNS 条件付きフォワーダ ブラウザ 閉域で構成する
67. DNS Private Zone Private Endpoint App Service Vnet Integration オンプレミス ルーター VPN Gateway Express Route or VPN DNS 条件付きフォワーダ ブラウザ 閉域で構成する DNS Private Resolver Inbound Endpoint
68. DNS Private Resolver Inbound Endpoint DNS Private Zone Private Endpoint App Service Vnet Integration オンプレミス ルーター VPN Gateway Express Route or VPN DNS 条件付きフォワーダ ブラウザ 閉域で構成する
69. Azure OpenAI Service リファレンスアーキテクチャ ５章 - 企業内向けChatと社内文書検索 1.アプリケーション概要 2.展開方法 3.展開時の注意点 4.展開後のリソースを内部ネットワーク からのみ利用可能に構成する方法 5.ネットワーク構成変更時の注意点
70. 構成の注意点 • アプリケーションの構成等はすべて変更なしでよい (ネットワークのみ変更する) • 外部および選択したネットワークからのアクセスはすべて「無 効」でよい • プライベートエンドポイントがあれば他は全部無効でも、プライベー トエンドポイントからアクセスできる • サービスによってUIが若干異なる(なぜ？)が惑わされない • サービスエンドポイントを構成した直後5分程度はアクセスで きないことがある • ダウンタイムをなくしたければ明示的にアクセスを許可するルールを 一時的に追加しておき、プライベートエンドポイント経由のアクセス を確認後に削除する
71. 構成の注意点 • 構成後しばらくしてからアクセスできなくなることがあった • 一度Vnet経由でのアクセスを許可する構成に戻し、再度構成すると安 定した • サービスのDNSのキャッシュ等の問題？
72. 動画を見ながらゆっくり一緒にやりたければ https://youtu.be/GY99vq7676w
73. Azure OpenAI Service リファレンスアーキテクチャ ５章 - 企業内向けChatと社内文書検索 1.アプリケーション概要 2.展開方法 3.展開時の注意点 4.展開後のリソースを内部ネットワーク からのみ利用可能に構成する方法 5.ネットワーク構成変更時の注意点
74. もう1つ気になるものが…
75. https://github.com/microsoft/azurechatgpt
76. Azure ChatGPT Benefits are: 1. Private: Built-in guarantees around the privacy of your data and fully isolated from those operated by OpenAI. 2. Controlled: Network traffic can be fully isolated to your network and other enterprise grade security controls are built in. 3. Value: Deliver added business value with your own internal data sources (plug and play) or use plug-ins to integrate with your internal services (e.g., ServiceNow, etc). 引用元：https://github.com/microsoft/azurechatgpt
77. はじめから閉域化されてたり プラグイン機能があったりするのか？
78. …と、思って試しましたが (現状は)違いました
79. https://github.com/microsoft/azurechatgpt
80. https://github.com/microsoft/azurechatgpt
81. https://github.com/microsoft/azurechatgpt
82. https://github.com/microsoft/azurechatgpt アプリケーション作成
83. Azure ChatGPTをセキュアにする方法 • 本セッションで解説したことと全く同じことを行えば閉域での み利用可能にできます。 • アプリケーション自体がAAD or GitHub認証必須で作られてい るのでその点は初めからセキュアです
84. Azure ChatGPTの展開周りを動画で確認 https://youtu.be/NghPggPMZ8A
85. まとめ •AzureにはOpenAI Serviceがあり 企業利用に最適 •ChatGPTクローンアプリケーション には複数の選択肢あり •Private Endpointを利用して「社 内からのみアクセス可能」に構成可 能