Slide 1

Slide 1 text

Azure OpenAI Service 社内活用のポイント 2023/8/15 クラウドLT大会 VOL.4 Yosuke Sakaue

Slide 2

Slide 2 text

Yosuke Sakaue ・研究開発チームのリード ・エンジニア育成 ・Azure技術支援(AZ-900,104,204,305,500) ・スキューバダイビング、ダーツ、お酒 2

Slide 3

Slide 3 text

ChatGPT使ってますか?? (生成AI) 3

Slide 4

Slide 4 text

生成AIの社内での活用 4 Slackボット チャットUI

Slide 5

Slide 5 text

・Azure OpenAI Service(AOAI)とは ・本家OpenAIとの違い ・企業でAOAIを使う際のポイント ・ポイント① ネットワークの制御 ・ポイント② ログの取得 ・ポイント③ コストレポートの活用 ・まとめ アジェンダ 5

Slide 6

Slide 6 text

Azure OpenAI Service (AOAI)とは 6

Slide 7

Slide 7 text

Azure上で OpenAI の AI 技術を利用できるサービス 本家OpenAIとの違い ・利用開始には申請が必要 ・入力されたデータはモデルの再学習に利用されない ・Private Endpointによるネットワーク制限 ・コストはAzureの利用料に含まれる ・リージョンの選択 ・サポート、99.9%以上のSLA ・AOAI独自のオプションを利用できる Azure OpenAI Service 7 利用出来るモデル、料金体系、 APIの互換性など、使用感につい ては大きな違いはない セキュリティ、ガバナンスが重要 な企業での利用には最適

Slide 8

Slide 8 text

企業でAOAIを使う際の ポイント

Slide 9

Slide 9 text

・リソース単体のFirewall機能 ・Private Endpoint + Express Route or VPN ポイント① ネットワークの制御 9

Slide 10

Slide 10 text

・AOAIへのインプットとアウトプットのログを取得しよう ・実際のプロンプト内容 ・利用したモデルの種類や消費したトークン数 ・(誰が使ったか) ⇒アプリケーションごとにどれくらい利用されているのか算出できる ⇒蓄積したQとAをモデルのチューニングや、傾向分析など別のイン プットとして活用することができる ポイント② ログの取得 10

Slide 11

Slide 11 text

ログの取得方法 ・診断設定から取得し、ストレージやLogAnalyticsへ保管 ・Audit Logs ・Request and Response Logs ⇒ 実際のプロンプトは含まれないので注意 ・Trace Logs ・AllMetrics ⇒ プロンプト数などメトリックから確認できる内容が含まれる ・実際のプロントの内容など細かいログはアプリケーション側で取得する必要がある ポイント② ログの取得 11 ※利用状況を分析 ※メトリックスでも一時的に確認可能

Slide 12

Slide 12 text

・AOAIは利用したトークン数によって料金が決まる ・使いすぎを防止するためにもコストレポートを確認しましょう ・アラートを設定することで閾値を越えた場合に通知も可能 ポイント③ コストレポートの活用 12 ※実際にかかったコストと予測を確認できる

Slide 13

Slide 13 text

まとめ 13

Slide 14

Slide 14 text

・セキュリティやガバナンスを担保するにはAOAIを活用しよう ・ネットワークを制御してセキュアにアプリケーションを構築しよう ・分析や今後の活用のためにもログを取得しよう ・コスト意識を持とう 14 まとめ 安心・安全な生成AI活用の ヒントになれば幸いです!

Slide 15

Slide 15 text

Thank You :) 15

Slide 16

Slide 16 text

Appendix 16

Slide 17

Slide 17 text

17 プレイグラウンドで簡易的なUIを利用

Slide 18

Slide 18 text

18 https://zenn.dev/microsoft/articles/ad14d45121abe7 On Your DataでRAGを簡単に構築

Slide 19

Slide 19 text

19 コンテンツフィルターのカスタマイズ