Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure OpenAI Service入門
Search
PharmaX(旧YOJO Technologies)開発チーム
August 31, 2023
Technology
1
740
Azure OpenAI Service入門
PharmaX(旧YOJO Technologies)開発チーム
August 31, 2023
Tweet
Share
More Decks by PharmaX(旧YOJO Technologies)開発チーム
See All by PharmaX(旧YOJO Technologies)開発チーム
開発チームから始める 「学習する組織」に 成長するための取り組み
pharma_x_tech
3
480
LLMマルチエージェントの アプリケーション設計のコツと未来
pharma_x_tech
1
320
LLMマルチエージェントのフローエンジニアリングを支えるLLMOps
pharma_x_tech
10
3.4k
o1のAPIで実験してみたが 制限きつすぎて辛かった話
pharma_x_tech
1
510
高いレベルでQCDを達成できる組織に変化していくための開発生産性向上の取り組み
pharma_x_tech
2
370
LLMフローエンジニアリング実践ガイド
pharma_x_tech
2
600
自社システムをHerokuからGCPへフ ルリプレースした話 〜データパイプライン編〜
pharma_x_tech
1
34
マルチエージェント LLMチャットアプリケーションの 精度&レスポンス速度向上戦略
pharma_x_tech
1
310
LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
pharma_x_tech
3
540
Other Decks in Technology
See All in Technology
プロダクト活用度で見えた真実 ホリゾンタルSaaSでの顧客解像度の高め方
tadaken3
0
250
RubyのWebアプリケーションを50倍速くする方法 / How to Make a Ruby Web Application 50 Times Faster
hogelog
3
950
初心者向けAWS Securityの勉強会mini Security-JAWSを9ヶ月ぐらい実施してきての近況
cmusudakeisuke
0
140
DynamoDB でスロットリングが発生したとき/when_throttling_occurs_in_dynamodb_short
emiki
0
290
Amazon CloudWatch Network Monitor のススメ
yuki_ink
1
210
iOSチームとAndroidチームでブランチ運用が違ったので整理してます
sansantech
PRO
0
160
BLADE: An Attempt to Automate Penetration Testing Using Autonomous AI Agents
bbrbbq
0
340
オープンソースAIとは何か? --「オープンソースAIの定義 v1.0」詳細解説
shujisado
10
1.5k
Oracle Cloud Infrastructureデータベース・クラウド:各バージョンのサポート期間
oracle4engineer
PRO
29
13k
【令和最新版】AWS Direct Connectと愉快なGWたちのおさらい
minorun365
PRO
5
800
SREが投資するAIOps ~ペアーズにおけるLLM for Developerへの取り組み~
takumiogawa
4
1k
TypeScript、上達の瞬間
sadnessojisan
48
14k
Featured
See All Featured
The Cult of Friendly URLs
andyhume
78
6k
What's new in Ruby 2.0
geeforr
343
31k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
111
49k
Become a Pro
speakerdeck
PRO
25
5k
Scaling GitHub
holman
458
140k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
For a Future-Friendly Web
brad_frost
175
9.4k
Writing Fast Ruby
sferik
627
61k
A Tale of Four Properties
chriscoyier
156
23k
Designing for Performance
lara
604
68k
Transcript
[LLM]Azure OpneAI Service 1 [LLM]Azure OpneAI Service ⾃⼰紹介 記事書いてます! Rust
でのAzure OpenAI Service のAPI の使い⽅|PharmaX Blog こんにちは。PharmaX エンジニアリング責任者の上野(@ueeeeniki )です。 PharmaX では、最近Rust の採 ⽤を⼀部のプロダクトから始めています。 また、別の記事(『[LLM PoC]Whisper + GPT-4 で服薬指導の⾳ 声から薬歴内容を⾃動⽣成させることに成功しました』や『[LLM PoC]LLM による疑義照会の半⾃動化 https://note.com/pharmax/n/n56fbcfa51e48 登壇します! ServerlessDays Tokyo 2023 (2023/09/23 09:00 〜) # (4 年ぶりのオンサイト開催!) 真のサーバーレスアーキテクチャについて語り、最新のエッジコンピュー ティングや⽣成系AI のサーバーレス実装を学び、クラウドネイティブで⾼速な開発プラクティスと向き合う 2 ⽇間 # Introduction ## Everything will be SERVERLESS 今年のServerlessDays Tokyo は4 年ぶりのオンサ https://serverless.connpass.com/event/290640/
[LLM]Azure OpneAI Service 2 Azure OpenAI Service ⼊⾨ Azure OpenAI
Service の特⻑ Azure OpenAI Service とは、簡単に⾔えば、Microsoft のAzure 上で、GPT-3.5 やGPT-4 などのOpenAI が提供するAI モデルを使え るというサービスです。 クラウドサービス上でOpenAI のモデルが利⽤できるようになっているのはAzure のみであり、Microsoft とOpenAI の密な関 係性があるからこそ成⽴していると⾔える Azure OpenAI Service は、Azure だからこそのセキュリティ基準を満たしていたり、SLA の設定もあったり、認証⽅法もAzure 認証に対応していたり、セキュリティや品質を保証するための機能が網羅されている 弊社のような主要アプリケーションにAzure 以外を(弊社ではGCP を)使っているような場合でも、閉域ネットワーク網を 構築することまで可能 『GPT 搭載の「Azure OpenAI Service 」セキュリティから⾒る』から引⽤
[LLM]Azure OpneAI Service 3 上記のようなエンタープライズの要件を満たせる点がAzure OpenAI Service を使う利点と⾔える Azure OpenAI
Service を使ってみた 〜閉域接続⽅法〜 Azure OpenAI Service を拠点から閉域で使う⽅法
[LLM]Azure OpneAI Service 4 基本的な使い⽅ 初期段階ではgpt-4 が使えないが、gpt-35-turbo-16k までは使える デフォルトでは使えるのは上記モデルのみ インスタンスを作成する
サブスクリプションやリソースグループを選択肢、リージョンと名前を⼊⼒する 価格レベルは1 つしか選べない
[LLM]Azure OpneAI Service 5 ネットワークを選択し、タグなどを選択 インスタンスのデプロイが⾛る
[LLM]Azure OpneAI Service 6 インスタンスにモデルをデプロイする 構造的には、インスタンスの下に複数のモデルが紐づく形になる
[LLM]Azure OpneAI Service 7 できることを紹介 システムメッセージ System Role やexample (例)も与えることができる
[ {"role": "system", "content": " あなたは料理の専⾨家として回答します"}, {"role":"user","content":" 今⽇の夜ご飯の献⽴のアドバイスをください"}, {"role":"assistant","content":" こんばんは!今⽇の夜ご飯の献⽴にはどんな⾷材がありますか?それに合わせて考えてみます!"}, {"role":"user","content":" ⽟ねぎとひき⾁があります"} ]
[LLM]Azure OpneAI Service 8 API の使い⽅紹介 OpenAI 社と同様にAPI でも呼び出すことができ、コードを表⽰を⾒るとコードなどを⾒せてくれる Python
のコードが表⽰される
[LLM]Azure OpneAI Service 9 RESTfull なAPI (curl )もある データソースを与えて、RAG をすることもできる
[LLM]Azure OpneAI Service 10 どのようなデータを与えるかを選択
[LLM]Azure OpneAI Service 11 データソースを選択して接続 ⼊⼒候補 いろんな例を上げてくれている
[LLM]Azure OpneAI Service 12 Python コードを作る例 説明⽂から質問を⽣成する例 番外編:DALL ・E ⽂字列から画像を⽣成できるAI
も同じ A comic panel where a sorcerer with blue eyes and a high school girl are playing with sea cucumbers on the coast of Okinawa.
[LLM]Azure OpneAI Service 13 右は漫画であることを指定しなかった例 A sorcerer with blue eyes
and a high school girl are playing with sea cucumbers on the coast of Okinawa. GPT-4 の使い⽅ waitlist に登録する必要がある
[LLM]Azure OpneAI Service 14 申請にはかなりの時間がかかったので注意 申請が通ると登録したメールアドレスに連絡が来る
[LLM]Azure OpneAI Service 15 インスタンスを作成し直して、再度モデルのデプロイをし直さないとGPT-4 は使えるようにはならないので注意 インスタンスを作成し直すと下記のようにgpt-4 が選べるようになる gpt-4-32k を選んでモデルをデプロイしてみると下記のように作成できた
[LLM]Azure OpneAI Service 16 プライグラウンドでもgpt-4-32k になっていることが分かる OpenAI Enterprise との違い OpenAI
、企業向け「ChatGPT Enterprise 」提供開始 ⾼速GPT-4 でプライバシーも安全 OpenAI はMicrosoft の「Bing Chat Enterprise 」と競合する企業向けAI チャットサービス「ChatGPT Enterprise 」 の提供を開始した。⾼速なGPT-4 を利⽤でき、プロンプトやデータがトレーニングに使われることはない。 https://www.itmedia.co.jp/news/articles/2308/29/news095.html ChatGPT Enterprise Enterprise-grade security & privacy and the most powerful version of ChatGPT yet. https://openai.com/enterprise 学習への不仕様、転送時データの暗号化、SSO とドメイン認証、利⽤状況分析ダッシュボード、メンバー管理 Chat インターフェースを使いたいだけなら、どちらでも変わらない or 現時点では、Code Interpreter やPlugin を豊富に使える分 本家OpenAI 版に軍配が上がるか? OpenAI Enterprise はCode Interpreter を使える vs Azure Open は使えない RAG はOpenAI 版でもplugin を使えばできる 暗号化やドメイン認証も可能になったので、普通のAPI 通信ももはや変わらなくなりつつある 閉域網に閉じられるという⾼度なネットワーク制御ができるのがAzure OpenAI Service の強み
[LLM]Azure OpneAI Service 17 前提:Azure のプロジェクトや課⾦の概念 参考 Azure サブスクリプションのしくみ Azure
の基本!Azure AD 、サブスクリプション、リソースグループ位置関係と権限を再整理する - その1 - サブスクリプションはリソースグループを束ねることができ、リソースはリソースグループに GCP でいえば、サブスクリプションは請求書先アカウントに近いが、リソースグープはプロジェクトよりももっとカ ジュアルに作れるイメージ
[LLM]Azure OpneAI Service 18