Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Azure OpenAI Service社内活用のポイント
Search
Sponsored
·
SiteGround - Reliable hosting with speed, security, and support you can count on.
→
Yosuke Sakaue
August 15, 2023
Technology
480
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Azure OpenAI Service社内活用のポイント
Yosuke Sakaue
August 15, 2023
Transcript
19 slides
Azure OpenAI Service 社内活用のポイント 2023/8/15 クラウドLT大会 VOL.4 Yosuke Sakaue
Yosuke Sakaue ・研究開発チームのリード ・エンジニア育成 ・Azure技術支援(AZ-900,104,204,305,500) ・スキューバダイビング、ダーツ、お酒 2
ChatGPT使ってますか?? (生成AI) 3
生成AIの社内での活用 4 Slackボット チャットUI
・Azure OpenAI Service(AOAI)とは ・本家OpenAIとの違い ・企業でAOAIを使う際のポイント ・ポイント① ネットワークの制御 ・ポイント② ログの取得 ・ポイント③
コストレポートの活用 ・まとめ アジェンダ 5
Azure OpenAI Service (AOAI)とは 6
Azure上で OpenAI の AI 技術を利用できるサービス 本家OpenAIとの違い ・利用開始には申請が必要 ・入力されたデータはモデルの再学習に利用されない ・Private Endpointによるネットワーク制限
・コストはAzureの利用料に含まれる ・リージョンの選択 ・サポート、99.9%以上のSLA ・AOAI独自のオプションを利用できる Azure OpenAI Service 7 利用出来るモデル、料金体系、 APIの互換性など、使用感につい ては大きな違いはない セキュリティ、ガバナンスが重要 な企業での利用には最適
企業でAOAIを使う際の ポイント
・リソース単体のFirewall機能 ・Private Endpoint + Express Route or VPN ポイント① ネットワークの制御
9
・AOAIへのインプットとアウトプットのログを取得しよう ・実際のプロンプト内容 ・利用したモデルの種類や消費したトークン数 ・(誰が使ったか) ⇒アプリケーションごとにどれくらい利用されているのか算出できる ⇒蓄積したQとAをモデルのチューニングや、傾向分析など別のイン プットとして活用することができる ポイント② ログの取得 10
ログの取得方法 ・診断設定から取得し、ストレージやLogAnalyticsへ保管 ・Audit Logs ・Request and Response Logs ⇒ 実際のプロンプトは含まれないので注意
・Trace Logs ・AllMetrics ⇒ プロンプト数などメトリックから確認できる内容が含まれる ・実際のプロントの内容など細かいログはアプリケーション側で取得する必要がある ポイント② ログの取得 11 ※利用状況を分析 ※メトリックスでも一時的に確認可能
・AOAIは利用したトークン数によって料金が決まる ・使いすぎを防止するためにもコストレポートを確認しましょう ・アラートを設定することで閾値を越えた場合に通知も可能 ポイント③ コストレポートの活用 12 ※実際にかかったコストと予測を確認できる
まとめ 13
・セキュリティやガバナンスを担保するにはAOAIを活用しよう ・ネットワークを制御してセキュアにアプリケーションを構築しよう ・分析や今後の活用のためにもログを取得しよう ・コスト意識を持とう 14 まとめ 安心・安全な生成AI活用の ヒントになれば幸いです!
Thank You :) 15
Appendix 16
17 プレイグラウンドで簡易的なUIを利用
18 https://zenn.dev/microsoft/articles/ad14d45121abe7 On Your DataでRAGを簡単に構築
19 コンテンツフィルターのカスタマイズ
More Decks by Yosuke Sakaue
See All by Yosuke Sakaue
社内AIチャットの利用状況分析できてますか?
yosuke_sakaue
0
210
Microsoft Defender for CloudでDevOpsのセキュリティが見れるようになったぞ
yosuke_sakaue
0
460
JiraをServerからCloudへ移行した 話とその後のCloud活用について
yosuke_sakaue
0
560
Jira APIで管理者業務を楽にしよう!
yosuke_sakaue
0
320
Other Decks in Technology
See All in Technology
コピーオンライト型ファイルシステムと ランダム書き込み
sat
PRO
2
140
New Relicのアラート対応をClaude Codeで自動修正するワークフローを作った話
manabuseki
2
640
成長するID管理基盤における運用もコストも犠牲にしないオブザーバビリティ向上の実践 / Improving Observability for a Growing Identity Platform Without Adding Operational Burden or Cost
kaminashi
1
130
AWS Client VPNの設定でハマったポイントとその過程での気づき
amarelo_n24
1
440
専門家に使ってもらうAIプロダクトをつくる - 病院の医事課向けDPCコーディング支援システムの設計と評価
hagino3000
4
1k
サーバーラックは作る時代! 3Dプリンターで作る10インチラックのススメ
jacopen
2
520
Dark Web - Como o Cibercrime Opera na Internet
nicholsjasper
0
110
Amazon Bedrock AgentCore の基礎とセキュリティ・ガバナンス
ren8k
0
270
RAGの改善を速く回すための評価基盤
yosukeyoshida
6
3.6k
自動計装なしでECSサービスをApplication Signalsに載せるまで
ota1022
2
470
市販IoT機器や自作IoT機器とHomeAssistantを駆使して家の電気代をできる限り見える化する方法の考案
harutiro
0
420
OpenTelemetryで変わった 新時代のCloudWatchメトリクス監視
tsukuboshi
0
500
Featured
See All Featured
Utilizing Notion as your number one productivity tool
mfonobong
4
650
A Guide to Academic Writing Using Generative AI - A Workshop
ks91
PRO
1
580
Accessibility Awareness
sabderemane
1
310
Designing for humans not robots
tammielis
254
26k
Optimizing for Happiness
mojombo
378
72k
Navigating Team Friction
lara
192
16k
A Tale of Four Properties
chriscoyier
163
24k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
25
2.2k
How to Talk to Developers About Accessibility
jct
2
630
The agentic SEO stack - context over prompts
schlessera
0
1k
16th Malabo Montpellier Forum Presentation
akademiya2063
PRO
0
470
Done Done
chrislema
187
17k