Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure OpenAI Service社内活用のポイント
Search
Yosuke Sakaue
August 15, 2023
Technology
1
320
Azure OpenAI Service社内活用のポイント
Yosuke Sakaue
August 15, 2023
Tweet
Share
More Decks by Yosuke Sakaue
See All by Yosuke Sakaue
社内AIチャットの利用状況分析できてますか?
yosuke_sakaue
0
140
Microsoft Defender for CloudでDevOpsのセキュリティが見れるようになったぞ
yosuke_sakaue
0
330
JiraをServerからCloudへ移行した 話とその後のCloud活用について
yosuke_sakaue
0
450
Jira APIで管理者業務を楽にしよう!
yosuke_sakaue
0
250
Other Decks in Technology
See All in Technology
Pwned Labsのすゝめ
ken5scal
2
460
DeepSeekとは?何がいいの? - Databricksと学ぶDeepSeek! 〜これからのLLMに備えよ!〜
taka_aki
1
110
OPENLOGI Company Profile for engineer
hr01
1
20k
AWS Well-Architected Frameworkで学ぶAmazon ECSのセキュリティ対策
umekou
2
150
JAWS DAYS 2025 アーキテクチャ道場 事前説明会 / JAWS DAYS 2025 briefing document
naospon
0
2.5k
リクルートのエンジニア組織を下支えする 新卒の育成の仕組み
recruitengineers
PRO
1
120
Potential EM 制度を始めた理由、そして2年後にやめた理由 - EMConf JP 2025
hoyo
2
2.8k
AI自体のOps 〜LLMアプリの運用、AWSサービスとOSSの使い分け〜
minorun365
PRO
7
440
エンジニアリング価値を黒字化する バリューベース戦略を用いた 技術戦略策定の道のり
kzkmaeda
7
3k
"TEAM"を導入したら最高のエンジニア"Team"を実現できた / Deploying "TEAM" and Building the Best Engineering "Team"
yuj1osm
1
210
生成AI “再”入門 2025年春@WIRED TUESDAY EDITOR'S LOUNGE
kajikent
0
140
OPENLOGI Company Profile
hr01
0
60k
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
193
16k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
Statistics for Hackers
jakevdp
797
220k
Optimizing for Happiness
mojombo
376
70k
For a Future-Friendly Web
brad_frost
176
9.6k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
10
1.3k
The Cult of Friendly URLs
andyhume
78
6.2k
Being A Developer After 40
akosma
89
590k
Bash Introduction
62gerente
611
210k
How to train your dragon (web standard)
notwaldorf
91
5.9k
The Language of Interfaces
destraynor
156
24k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Transcript
Azure OpenAI Service 社内活用のポイント 2023/8/15 クラウドLT大会 VOL.4 Yosuke Sakaue
Yosuke Sakaue ・研究開発チームのリード ・エンジニア育成 ・Azure技術支援(AZ-900,104,204,305,500) ・スキューバダイビング、ダーツ、お酒 2
ChatGPT使ってますか?? (生成AI) 3
生成AIの社内での活用 4 Slackボット チャットUI
・Azure OpenAI Service(AOAI)とは ・本家OpenAIとの違い ・企業でAOAIを使う際のポイント ・ポイント① ネットワークの制御 ・ポイント② ログの取得 ・ポイント③
コストレポートの活用 ・まとめ アジェンダ 5
Azure OpenAI Service (AOAI)とは 6
Azure上で OpenAI の AI 技術を利用できるサービス 本家OpenAIとの違い ・利用開始には申請が必要 ・入力されたデータはモデルの再学習に利用されない ・Private Endpointによるネットワーク制限
・コストはAzureの利用料に含まれる ・リージョンの選択 ・サポート、99.9%以上のSLA ・AOAI独自のオプションを利用できる Azure OpenAI Service 7 利用出来るモデル、料金体系、 APIの互換性など、使用感につい ては大きな違いはない セキュリティ、ガバナンスが重要 な企業での利用には最適
企業でAOAIを使う際の ポイント
・リソース単体のFirewall機能 ・Private Endpoint + Express Route or VPN ポイント① ネットワークの制御
9
・AOAIへのインプットとアウトプットのログを取得しよう ・実際のプロンプト内容 ・利用したモデルの種類や消費したトークン数 ・(誰が使ったか) ⇒アプリケーションごとにどれくらい利用されているのか算出できる ⇒蓄積したQとAをモデルのチューニングや、傾向分析など別のイン プットとして活用することができる ポイント② ログの取得 10
ログの取得方法 ・診断設定から取得し、ストレージやLogAnalyticsへ保管 ・Audit Logs ・Request and Response Logs ⇒ 実際のプロンプトは含まれないので注意
・Trace Logs ・AllMetrics ⇒ プロンプト数などメトリックから確認できる内容が含まれる ・実際のプロントの内容など細かいログはアプリケーション側で取得する必要がある ポイント② ログの取得 11 ※利用状況を分析 ※メトリックスでも一時的に確認可能
・AOAIは利用したトークン数によって料金が決まる ・使いすぎを防止するためにもコストレポートを確認しましょう ・アラートを設定することで閾値を越えた場合に通知も可能 ポイント③ コストレポートの活用 12 ※実際にかかったコストと予測を確認できる
まとめ 13
・セキュリティやガバナンスを担保するにはAOAIを活用しよう ・ネットワークを制御してセキュアにアプリケーションを構築しよう ・分析や今後の活用のためにもログを取得しよう ・コスト意識を持とう 14 まとめ 安心・安全な生成AI活用の ヒントになれば幸いです!
Thank You :) 15
Appendix 16
17 プレイグラウンドで簡易的なUIを利用
18 https://zenn.dev/microsoft/articles/ad14d45121abe7 On Your DataでRAGを簡単に構築
19 コンテンツフィルターのカスタマイズ