Azure OpenAI Service社内活用のポイント

Azure OpenAI Service 社内活用のポイント 2023/8/15 クラウドLT大会 VOL.4 Yosuke Sakaue

Yosuke Sakaue ・研究開発チームのリード・エンジニア育成・Azure技術支援（AZ-900,104,204,305,500）・スキューバダイビング、ダーツ、お酒 2

ChatGPT使ってますか？？（生成AI） 3

生成AIの社内での活用 4 SlackボットチャットUI

・Azure OpenAI Service（AOAI）とは・本家OpenAIとの違い・企業でAOAIを使う際のポイント・ポイント① ネットワークの制御・ポイント② ログの取得・ポイント③
コストレポートの活用・まとめアジェンダ 5

Azure OpenAI Service （AOAI）とは 6

Azure上で OpenAI の AI 技術を利用できるサービス本家OpenAIとの違い・利用開始には申請が必要・入力されたデータはモデルの再学習に利用されない・Private Endpointによるネットワーク制限
・コストはAzureの利用料に含まれる・リージョンの選択・サポート、99.9%以上のSLA ・AOAI独自のオプションを利用できる Azure OpenAI Service 7 利用出来るモデル、料金体系、 APIの互換性など、使用感については大きな違いはないセキュリティ、ガバナンスが重要な企業での利用には最適

企業でAOAIを使う際のポイント

・リソース単体のFirewall機能・Private Endpoint + Express Route or VPN ポイント① ネットワークの制御
9

・AOAIへのインプットとアウトプットのログを取得しよう・実際のプロンプト内容・利用したモデルの種類や消費したトークン数・（誰が使ったか） ⇒アプリケーションごとにどれくらい利用されているのか算出できる ⇒蓄積したQとAをモデルのチューニングや、傾向分析など別のインプットとして活用することができるポイント② ログの取得 10

ログの取得方法・診断設定から取得し、ストレージやLogAnalyticsへ保管・Audit Logs ・Request and Response Logs ⇒ 実際のプロンプトは含まれないので注意
・Trace Logs ・AllMetrics ⇒ プロンプト数などメトリックから確認できる内容が含まれる・実際のプロントの内容など細かいログはアプリケーション側で取得する必要があるポイント② ログの取得 11 ※利用状況を分析 ※メトリックスでも一時的に確認可能

・AOAIは利用したトークン数によって料金が決まる・使いすぎを防止するためにもコストレポートを確認しましょう・アラートを設定することで閾値を越えた場合に通知も可能ポイント③ コストレポートの活用 12 ※実際にかかったコストと予測を確認できる

まとめ 13

・セキュリティやガバナンスを担保するにはAOAIを活用しよう・ネットワークを制御してセキュアにアプリケーションを構築しよう・分析や今後の活用のためにもログを取得しよう・コスト意識を持とう 14 まとめ安心・安全な生成AI活用のヒントになれば幸いです！

Thank You :) 15

Appendix 16

17 プレイグラウンドで簡易的なUIを利用

18 https://zenn.dev/microsoft/articles/ad14d45121abe7 On Your DataでRAGを簡単に構築

19 コンテンツフィルターのカスタマイズ

Azure OpenAI Service社内活用のポイント

Azure OpenAI Service社内活用のポイント

Yosuke Sakaue

More Decks by Yosuke Sakaue

Other Decks in Technology

Featured

Transcript