Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure OpenAI Service社内活用のポイント
Search
Yosuke Sakaue
August 15, 2023
Technology
1
320
Azure OpenAI Service社内活用のポイント
Yosuke Sakaue
August 15, 2023
Tweet
Share
More Decks by Yosuke Sakaue
See All by Yosuke Sakaue
社内AIチャットの利用状況分析できてますか?
yosuke_sakaue
0
140
Microsoft Defender for CloudでDevOpsのセキュリティが見れるようになったぞ
yosuke_sakaue
0
320
JiraをServerからCloudへ移行した 話とその後のCloud活用について
yosuke_sakaue
0
450
Jira APIで管理者業務を楽にしよう!
yosuke_sakaue
0
250
Other Decks in Technology
See All in Technology
開発組織を進化させる!AWSで実践するチームトポロジー
iwamot
1
320
実は強い 非ViTな画像認識モデル
tattaka
2
1.2k
LINE NEWSにおけるバックエンド開発
lycorptech_jp
PRO
0
220
PHPで印刷所に入稿できる名札データを作る / Generating Print-Ready Name Tag Data with PHP
tomzoh
0
180
PHPカンファレンス名古屋-テックリードの経験から学んだ設計の教訓
hayatokudou
2
540
Oracle Database Technology Night #87-1 : Exadata Database Service on Exascale Infrastructure(ExaDB-XS)サービス詳細
oracle4engineer
PRO
1
170
Share my, our lessons from the road to re:Invent
naospon
0
140
Goで作って学ぶWebSocket
ryuichi1208
3
2.7k
Active Directory攻防
cryptopeg
PRO
8
5.4k
Two Blades, One Journey: Engineering While Managing
ohbarye
4
1.9k
あなたが人生で成功するための5つの普遍的法則 #jawsug #jawsdays2025 / 20250301 HEROZ
yoshidashingo
2
270
クラウド関連のインシデントケースを収集して見えてきたもの
lhazy
1
160
Featured
See All Featured
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
How to Think Like a Performance Engineer
csswizardry
22
1.4k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
133
33k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.1k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
RailsConf 2023
tenderlove
29
1k
Code Reviewing Like a Champion
maltzj
521
39k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
250
It's Worth the Effort
3n
184
28k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
4 Signs Your Business is Dying
shpigford
182
22k
We Have a Design System, Now What?
morganepeng
51
7.4k
Transcript
Azure OpenAI Service 社内活用のポイント 2023/8/15 クラウドLT大会 VOL.4 Yosuke Sakaue
Yosuke Sakaue ・研究開発チームのリード ・エンジニア育成 ・Azure技術支援(AZ-900,104,204,305,500) ・スキューバダイビング、ダーツ、お酒 2
ChatGPT使ってますか?? (生成AI) 3
生成AIの社内での活用 4 Slackボット チャットUI
・Azure OpenAI Service(AOAI)とは ・本家OpenAIとの違い ・企業でAOAIを使う際のポイント ・ポイント① ネットワークの制御 ・ポイント② ログの取得 ・ポイント③
コストレポートの活用 ・まとめ アジェンダ 5
Azure OpenAI Service (AOAI)とは 6
Azure上で OpenAI の AI 技術を利用できるサービス 本家OpenAIとの違い ・利用開始には申請が必要 ・入力されたデータはモデルの再学習に利用されない ・Private Endpointによるネットワーク制限
・コストはAzureの利用料に含まれる ・リージョンの選択 ・サポート、99.9%以上のSLA ・AOAI独自のオプションを利用できる Azure OpenAI Service 7 利用出来るモデル、料金体系、 APIの互換性など、使用感につい ては大きな違いはない セキュリティ、ガバナンスが重要 な企業での利用には最適
企業でAOAIを使う際の ポイント
・リソース単体のFirewall機能 ・Private Endpoint + Express Route or VPN ポイント① ネットワークの制御
9
・AOAIへのインプットとアウトプットのログを取得しよう ・実際のプロンプト内容 ・利用したモデルの種類や消費したトークン数 ・(誰が使ったか) ⇒アプリケーションごとにどれくらい利用されているのか算出できる ⇒蓄積したQとAをモデルのチューニングや、傾向分析など別のイン プットとして活用することができる ポイント② ログの取得 10
ログの取得方法 ・診断設定から取得し、ストレージやLogAnalyticsへ保管 ・Audit Logs ・Request and Response Logs ⇒ 実際のプロンプトは含まれないので注意
・Trace Logs ・AllMetrics ⇒ プロンプト数などメトリックから確認できる内容が含まれる ・実際のプロントの内容など細かいログはアプリケーション側で取得する必要がある ポイント② ログの取得 11 ※利用状況を分析 ※メトリックスでも一時的に確認可能
・AOAIは利用したトークン数によって料金が決まる ・使いすぎを防止するためにもコストレポートを確認しましょう ・アラートを設定することで閾値を越えた場合に通知も可能 ポイント③ コストレポートの活用 12 ※実際にかかったコストと予測を確認できる
まとめ 13
・セキュリティやガバナンスを担保するにはAOAIを活用しよう ・ネットワークを制御してセキュアにアプリケーションを構築しよう ・分析や今後の活用のためにもログを取得しよう ・コスト意識を持とう 14 まとめ 安心・安全な生成AI活用の ヒントになれば幸いです!
Thank You :) 15
Appendix 16
17 プレイグラウンドで簡易的なUIを利用
18 https://zenn.dev/microsoft/articles/ad14d45121abe7 On Your DataでRAGを簡単に構築
19 コンテンツフィルターのカスタマイズ