Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
Azure OpenAI Service 社内活用のポイント 2023/8/15 クラウドLT大会 VOL.4 Yosuke Sakaue
Slide 2
Slide 2 text
Yosuke Sakaue ・研究開発チームのリード ・エンジニア育成 ・Azure技術支援(AZ-900,104,204,305,500) ・スキューバダイビング、ダーツ、お酒 2
Slide 3
Slide 3 text
ChatGPT使ってますか?? (生成AI) 3
Slide 4
Slide 4 text
生成AIの社内での活用 4 Slackボット チャットUI
Slide 5
Slide 5 text
・Azure OpenAI Service(AOAI)とは ・本家OpenAIとの違い ・企業でAOAIを使う際のポイント ・ポイント① ネットワークの制御 ・ポイント② ログの取得 ・ポイント③ コストレポートの活用 ・まとめ アジェンダ 5
Slide 6
Slide 6 text
Azure OpenAI Service (AOAI)とは 6
Slide 7
Slide 7 text
Azure上で OpenAI の AI 技術を利用できるサービス 本家OpenAIとの違い ・利用開始には申請が必要 ・入力されたデータはモデルの再学習に利用されない ・Private Endpointによるネットワーク制限 ・コストはAzureの利用料に含まれる ・リージョンの選択 ・サポート、99.9%以上のSLA ・AOAI独自のオプションを利用できる Azure OpenAI Service 7 利用出来るモデル、料金体系、 APIの互換性など、使用感につい ては大きな違いはない セキュリティ、ガバナンスが重要 な企業での利用には最適
Slide 8
Slide 8 text
企業でAOAIを使う際の ポイント
Slide 9
Slide 9 text
・リソース単体のFirewall機能 ・Private Endpoint + Express Route or VPN ポイント① ネットワークの制御 9
Slide 10
Slide 10 text
・AOAIへのインプットとアウトプットのログを取得しよう ・実際のプロンプト内容 ・利用したモデルの種類や消費したトークン数 ・(誰が使ったか) ⇒アプリケーションごとにどれくらい利用されているのか算出できる ⇒蓄積したQとAをモデルのチューニングや、傾向分析など別のイン プットとして活用することができる ポイント② ログの取得 10
Slide 11
Slide 11 text
ログの取得方法 ・診断設定から取得し、ストレージやLogAnalyticsへ保管 ・Audit Logs ・Request and Response Logs ⇒ 実際のプロンプトは含まれないので注意 ・Trace Logs ・AllMetrics ⇒ プロンプト数などメトリックから確認できる内容が含まれる ・実際のプロントの内容など細かいログはアプリケーション側で取得する必要がある ポイント② ログの取得 11 ※利用状況を分析 ※メトリックスでも一時的に確認可能
Slide 12
Slide 12 text
・AOAIは利用したトークン数によって料金が決まる ・使いすぎを防止するためにもコストレポートを確認しましょう ・アラートを設定することで閾値を越えた場合に通知も可能 ポイント③ コストレポートの活用 12 ※実際にかかったコストと予測を確認できる
Slide 13
Slide 13 text
まとめ 13
Slide 14
Slide 14 text
・セキュリティやガバナンスを担保するにはAOAIを活用しよう ・ネットワークを制御してセキュアにアプリケーションを構築しよう ・分析や今後の活用のためにもログを取得しよう ・コスト意識を持とう 14 まとめ 安心・安全な生成AI活用の ヒントになれば幸いです!
Slide 15
Slide 15 text
Thank You :) 15
Slide 16
Slide 16 text
Appendix 16
Slide 17
Slide 17 text
17 プレイグラウンドで簡易的なUIを利用
Slide 18
Slide 18 text
18 https://zenn.dev/microsoft/articles/ad14d45121abe7 On Your DataでRAGを簡単に構築
Slide 19
Slide 19 text
19 コンテンツフィルターのカスタマイズ