Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure OpenAI Service入門
Search
PharmaX(旧YOJO Technologies)開発チーム
August 31, 2023
Technology
1
650
Azure OpenAI Service入門
PharmaX(旧YOJO Technologies)開発チーム
August 31, 2023
Tweet
Share
More Decks by PharmaX(旧YOJO Technologies)開発チーム
See All by PharmaX(旧YOJO Technologies)開発チーム
しくじり先生、PharmaXのLLMアプリケーション開発の失敗を語る
pharma_x_tech
0
130
LLMアプリケーションの実験管理・評価の工夫を紹介
pharma_x_tech
8
850
LLMアプリケーションの改善プロセスの構築
pharma_x_tech
0
240
チーム再編を伴う2年半のプラダクト開発から学ぶソフトウェアアーキテクチャ運用のコツ
pharma_x_tech
0
1.6k
LLMにサジェストさせたチャットの評価方法について
pharma_x_tech
0
630
薬剤師のチャットサジェストの評価と実験管理の本番運用
pharma_x_tech
1
270
新しいJSランタイムのDenoとBunに入門してみた
pharma_x_tech
0
58
2024.02.16_LLMを活用してオンライン薬局のオペレーションを自動化した話
pharma_x_tech
4
1.7k
Firebaseプロジェクトに複数のFirestoreのデータベースを作成する
pharma_x_tech
1
12
Other Decks in Technology
See All in Technology
How to do well in consulting–Balkan Ruby 2024
irinanazarova
0
180
uvを使ってストレスフリーな Python開発をしよう!
r74tech
0
250
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
37k
Max out Local LLM in Challenging Environments
sashimimochi
2
200
IaCジェネレーターとBedrockで詳細設計書を生成してみた
tsukasa_ishimaru
4
940
さらばあのボタンとは言わせない SORACOM LTE-M Button powerd by AWSをまだ使えるようにした(前編?)
miura55
0
110
DX企業CTOとして考える技術への向き合い方
shoheitai
0
110
ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation
lmi
1
160
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
1.1k
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
2.1k
.NET Profiler in 2024.
kkamegawa
2
2.3k
個人のAWSアカウントをマルチ運用してみた
miura55
2
250
Featured
See All Featured
BBQ
matthewcrist
80
8.8k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
21
1.6k
The Pragmatic Product Professional
lauravandoore
26
5.8k
A Tale of Four Properties
chriscoyier
153
22k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Git: the NoSQL Database
bkeepers
PRO
423
63k
The Power of CSS Pseudo Elements
geoffreycrofte
62
5k
Designing Experiences People Love
moore
136
23k
Side Projects
sachag
451
41k
Ruby is Unlike a Banana
tanoku
96
10k
The Mythical Team-Month
searls
217
42k
Transcript
[LLM]Azure OpneAI Service 1 [LLM]Azure OpneAI Service ⾃⼰紹介 記事書いてます! Rust
でのAzure OpenAI Service のAPI の使い⽅|PharmaX Blog こんにちは。PharmaX エンジニアリング責任者の上野(@ueeeeniki )です。 PharmaX では、最近Rust の採 ⽤を⼀部のプロダクトから始めています。 また、別の記事(『[LLM PoC]Whisper + GPT-4 で服薬指導の⾳ 声から薬歴内容を⾃動⽣成させることに成功しました』や『[LLM PoC]LLM による疑義照会の半⾃動化 https://note.com/pharmax/n/n56fbcfa51e48 登壇します! ServerlessDays Tokyo 2023 (2023/09/23 09:00 〜) # (4 年ぶりのオンサイト開催!) 真のサーバーレスアーキテクチャについて語り、最新のエッジコンピュー ティングや⽣成系AI のサーバーレス実装を学び、クラウドネイティブで⾼速な開発プラクティスと向き合う 2 ⽇間 # Introduction ## Everything will be SERVERLESS 今年のServerlessDays Tokyo は4 年ぶりのオンサ https://serverless.connpass.com/event/290640/
[LLM]Azure OpneAI Service 2 Azure OpenAI Service ⼊⾨ Azure OpenAI
Service の特⻑ Azure OpenAI Service とは、簡単に⾔えば、Microsoft のAzure 上で、GPT-3.5 やGPT-4 などのOpenAI が提供するAI モデルを使え るというサービスです。 クラウドサービス上でOpenAI のモデルが利⽤できるようになっているのはAzure のみであり、Microsoft とOpenAI の密な関 係性があるからこそ成⽴していると⾔える Azure OpenAI Service は、Azure だからこそのセキュリティ基準を満たしていたり、SLA の設定もあったり、認証⽅法もAzure 認証に対応していたり、セキュリティや品質を保証するための機能が網羅されている 弊社のような主要アプリケーションにAzure 以外を(弊社ではGCP を)使っているような場合でも、閉域ネットワーク網を 構築することまで可能 『GPT 搭載の「Azure OpenAI Service 」セキュリティから⾒る』から引⽤
[LLM]Azure OpneAI Service 3 上記のようなエンタープライズの要件を満たせる点がAzure OpenAI Service を使う利点と⾔える Azure OpenAI
Service を使ってみた 〜閉域接続⽅法〜 Azure OpenAI Service を拠点から閉域で使う⽅法
[LLM]Azure OpneAI Service 4 基本的な使い⽅ 初期段階ではgpt-4 が使えないが、gpt-35-turbo-16k までは使える デフォルトでは使えるのは上記モデルのみ インスタンスを作成する
サブスクリプションやリソースグループを選択肢、リージョンと名前を⼊⼒する 価格レベルは1 つしか選べない
[LLM]Azure OpneAI Service 5 ネットワークを選択し、タグなどを選択 インスタンスのデプロイが⾛る
[LLM]Azure OpneAI Service 6 インスタンスにモデルをデプロイする 構造的には、インスタンスの下に複数のモデルが紐づく形になる
[LLM]Azure OpneAI Service 7 できることを紹介 システムメッセージ System Role やexample (例)も与えることができる
[ {"role": "system", "content": " あなたは料理の専⾨家として回答します"}, {"role":"user","content":" 今⽇の夜ご飯の献⽴のアドバイスをください"}, {"role":"assistant","content":" こんばんは!今⽇の夜ご飯の献⽴にはどんな⾷材がありますか?それに合わせて考えてみます!"}, {"role":"user","content":" ⽟ねぎとひき⾁があります"} ]
[LLM]Azure OpneAI Service 8 API の使い⽅紹介 OpenAI 社と同様にAPI でも呼び出すことができ、コードを表⽰を⾒るとコードなどを⾒せてくれる Python
のコードが表⽰される
[LLM]Azure OpneAI Service 9 RESTfull なAPI (curl )もある データソースを与えて、RAG をすることもできる
[LLM]Azure OpneAI Service 10 どのようなデータを与えるかを選択
[LLM]Azure OpneAI Service 11 データソースを選択して接続 ⼊⼒候補 いろんな例を上げてくれている
[LLM]Azure OpneAI Service 12 Python コードを作る例 説明⽂から質問を⽣成する例 番外編:DALL ・E ⽂字列から画像を⽣成できるAI
も同じ A comic panel where a sorcerer with blue eyes and a high school girl are playing with sea cucumbers on the coast of Okinawa.
[LLM]Azure OpneAI Service 13 右は漫画であることを指定しなかった例 A sorcerer with blue eyes
and a high school girl are playing with sea cucumbers on the coast of Okinawa. GPT-4 の使い⽅ waitlist に登録する必要がある
[LLM]Azure OpneAI Service 14 申請にはかなりの時間がかかったので注意 申請が通ると登録したメールアドレスに連絡が来る
[LLM]Azure OpneAI Service 15 インスタンスを作成し直して、再度モデルのデプロイをし直さないとGPT-4 は使えるようにはならないので注意 インスタンスを作成し直すと下記のようにgpt-4 が選べるようになる gpt-4-32k を選んでモデルをデプロイしてみると下記のように作成できた
[LLM]Azure OpneAI Service 16 プライグラウンドでもgpt-4-32k になっていることが分かる OpenAI Enterprise との違い OpenAI
、企業向け「ChatGPT Enterprise 」提供開始 ⾼速GPT-4 でプライバシーも安全 OpenAI はMicrosoft の「Bing Chat Enterprise 」と競合する企業向けAI チャットサービス「ChatGPT Enterprise 」 の提供を開始した。⾼速なGPT-4 を利⽤でき、プロンプトやデータがトレーニングに使われることはない。 https://www.itmedia.co.jp/news/articles/2308/29/news095.html ChatGPT Enterprise Enterprise-grade security & privacy and the most powerful version of ChatGPT yet. https://openai.com/enterprise 学習への不仕様、転送時データの暗号化、SSO とドメイン認証、利⽤状況分析ダッシュボード、メンバー管理 Chat インターフェースを使いたいだけなら、どちらでも変わらない or 現時点では、Code Interpreter やPlugin を豊富に使える分 本家OpenAI 版に軍配が上がるか? OpenAI Enterprise はCode Interpreter を使える vs Azure Open は使えない RAG はOpenAI 版でもplugin を使えばできる 暗号化やドメイン認証も可能になったので、普通のAPI 通信ももはや変わらなくなりつつある 閉域網に閉じられるという⾼度なネットワーク制御ができるのがAzure OpenAI Service の強み
[LLM]Azure OpneAI Service 17 前提:Azure のプロジェクトや課⾦の概念 参考 Azure サブスクリプションのしくみ Azure
の基本!Azure AD 、サブスクリプション、リソースグループ位置関係と権限を再整理する - その1 - サブスクリプションはリソースグループを束ねることができ、リソースはリソースグループに GCP でいえば、サブスクリプションは請求書先アカウントに近いが、リソースグープはプロジェクトよりももっとカ ジュアルに作れるイメージ
[LLM]Azure OpneAI Service 18