Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure OpenAI Service入門
Search
PharmaX(旧YOJO Technologies)開発チーム
August 31, 2023
Technology
1
730
Azure OpenAI Service入門
PharmaX(旧YOJO Technologies)開発チーム
August 31, 2023
Tweet
Share
More Decks by PharmaX(旧YOJO Technologies)開発チーム
See All by PharmaX(旧YOJO Technologies)開発チーム
LLMマルチエージェントのフローエンジニアリングを支えるLLM Ops
pharma_x_tech
10
3k
o1のAPIで実験してみたが 制限きつすぎて辛かった話
pharma_x_tech
1
460
高いレベルでQCDを達成できる組織に変化していくための開発生産性向上の取り組み
pharma_x_tech
1
260
LLMフローエンジニアリング実践ガイド
pharma_x_tech
2
580
自社システムをHerokuからGCPへフ ルリプレースした話 〜データパイプライン編〜
pharma_x_tech
1
26
マルチエージェント LLMチャットアプリケーションの 精度&レスポンス速度向上戦略
pharma_x_tech
1
270
LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
pharma_x_tech
3
480
LLMチャットアプリケーション・アーキテクチャの工夫
pharma_x_tech
2
590
移行して半年、 YOJOではどのくらいApp Routerを活用できているのか
pharma_x_tech
0
310
Other Decks in Technology
See All in Technology
【LT】ソフトウェア産業は進化しているのか? -Javaの想い出とともに- #jjug_ccc
takabow
0
170
20241031_AWS_生成AIハッカソン_GenMuck
tsumita
0
110
顧客が本当に必要だったもの - パフォーマンス改善編 / Make what is needed
soudai
24
6.7k
プロダクトチームへのSystem Risk Records導入・運用事例の紹介/Introduction and Case Studies on Implementing and Operating System Risk Records for Product Teams
taddy_919
1
160
「 SharePoint 難しい」ってよく聞くけど、そんなに言うなら8歳の息子に試してもらった
taichinakamura
1
590
【若手エンジニア応援LT会】AWS Security Hubの活用に苦労した話
kazushi_ohata
0
160
30万人が利用するチャットをFirebase Realtime DatabaseからActionCableへ移行する方法
ryosk7
5
330
Vueで Webコンポーネントを作って Reactで使う / 20241030-cloudsign-vuefes_after_night
bengo4com
4
2.5k
小規模に始めるデータメッシュとデータガバナンスの実践
kimujun
3
570
ガバメントクラウド単独利用方式におけるIaC活用
techniczna
3
270
ABEMA のコンテンツ制作を最適化!生成 AI x クラウド映像編集システム / abema-ai-editor
cyberagentdevelopers
PRO
1
180
10分でわかるfreee エンジニア向け会社説明資料
freee
18
520k
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
26
5.2k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
231
17k
Fontdeck: Realign not Redesign
paulrobertlloyd
81
5.2k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
7
150
Done Done
chrislema
181
16k
Code Reviewing Like a Champion
maltzj
519
39k
How GitHub (no longer) Works
holman
311
140k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.1k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
328
21k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
27
4.1k
Making the Leap to Tech Lead
cromwellryan
132
8.9k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
Transcript
[LLM]Azure OpneAI Service 1 [LLM]Azure OpneAI Service ⾃⼰紹介 記事書いてます! Rust
でのAzure OpenAI Service のAPI の使い⽅|PharmaX Blog こんにちは。PharmaX エンジニアリング責任者の上野(@ueeeeniki )です。 PharmaX では、最近Rust の採 ⽤を⼀部のプロダクトから始めています。 また、別の記事(『[LLM PoC]Whisper + GPT-4 で服薬指導の⾳ 声から薬歴内容を⾃動⽣成させることに成功しました』や『[LLM PoC]LLM による疑義照会の半⾃動化 https://note.com/pharmax/n/n56fbcfa51e48 登壇します! ServerlessDays Tokyo 2023 (2023/09/23 09:00 〜) # (4 年ぶりのオンサイト開催!) 真のサーバーレスアーキテクチャについて語り、最新のエッジコンピュー ティングや⽣成系AI のサーバーレス実装を学び、クラウドネイティブで⾼速な開発プラクティスと向き合う 2 ⽇間 # Introduction ## Everything will be SERVERLESS 今年のServerlessDays Tokyo は4 年ぶりのオンサ https://serverless.connpass.com/event/290640/
[LLM]Azure OpneAI Service 2 Azure OpenAI Service ⼊⾨ Azure OpenAI
Service の特⻑ Azure OpenAI Service とは、簡単に⾔えば、Microsoft のAzure 上で、GPT-3.5 やGPT-4 などのOpenAI が提供するAI モデルを使え るというサービスです。 クラウドサービス上でOpenAI のモデルが利⽤できるようになっているのはAzure のみであり、Microsoft とOpenAI の密な関 係性があるからこそ成⽴していると⾔える Azure OpenAI Service は、Azure だからこそのセキュリティ基準を満たしていたり、SLA の設定もあったり、認証⽅法もAzure 認証に対応していたり、セキュリティや品質を保証するための機能が網羅されている 弊社のような主要アプリケーションにAzure 以外を(弊社ではGCP を)使っているような場合でも、閉域ネットワーク網を 構築することまで可能 『GPT 搭載の「Azure OpenAI Service 」セキュリティから⾒る』から引⽤
[LLM]Azure OpneAI Service 3 上記のようなエンタープライズの要件を満たせる点がAzure OpenAI Service を使う利点と⾔える Azure OpenAI
Service を使ってみた 〜閉域接続⽅法〜 Azure OpenAI Service を拠点から閉域で使う⽅法
[LLM]Azure OpneAI Service 4 基本的な使い⽅ 初期段階ではgpt-4 が使えないが、gpt-35-turbo-16k までは使える デフォルトでは使えるのは上記モデルのみ インスタンスを作成する
サブスクリプションやリソースグループを選択肢、リージョンと名前を⼊⼒する 価格レベルは1 つしか選べない
[LLM]Azure OpneAI Service 5 ネットワークを選択し、タグなどを選択 インスタンスのデプロイが⾛る
[LLM]Azure OpneAI Service 6 インスタンスにモデルをデプロイする 構造的には、インスタンスの下に複数のモデルが紐づく形になる
[LLM]Azure OpneAI Service 7 できることを紹介 システムメッセージ System Role やexample (例)も与えることができる
[ {"role": "system", "content": " あなたは料理の専⾨家として回答します"}, {"role":"user","content":" 今⽇の夜ご飯の献⽴のアドバイスをください"}, {"role":"assistant","content":" こんばんは!今⽇の夜ご飯の献⽴にはどんな⾷材がありますか?それに合わせて考えてみます!"}, {"role":"user","content":" ⽟ねぎとひき⾁があります"} ]
[LLM]Azure OpneAI Service 8 API の使い⽅紹介 OpenAI 社と同様にAPI でも呼び出すことができ、コードを表⽰を⾒るとコードなどを⾒せてくれる Python
のコードが表⽰される
[LLM]Azure OpneAI Service 9 RESTfull なAPI (curl )もある データソースを与えて、RAG をすることもできる
[LLM]Azure OpneAI Service 10 どのようなデータを与えるかを選択
[LLM]Azure OpneAI Service 11 データソースを選択して接続 ⼊⼒候補 いろんな例を上げてくれている
[LLM]Azure OpneAI Service 12 Python コードを作る例 説明⽂から質問を⽣成する例 番外編:DALL ・E ⽂字列から画像を⽣成できるAI
も同じ A comic panel where a sorcerer with blue eyes and a high school girl are playing with sea cucumbers on the coast of Okinawa.
[LLM]Azure OpneAI Service 13 右は漫画であることを指定しなかった例 A sorcerer with blue eyes
and a high school girl are playing with sea cucumbers on the coast of Okinawa. GPT-4 の使い⽅ waitlist に登録する必要がある
[LLM]Azure OpneAI Service 14 申請にはかなりの時間がかかったので注意 申請が通ると登録したメールアドレスに連絡が来る
[LLM]Azure OpneAI Service 15 インスタンスを作成し直して、再度モデルのデプロイをし直さないとGPT-4 は使えるようにはならないので注意 インスタンスを作成し直すと下記のようにgpt-4 が選べるようになる gpt-4-32k を選んでモデルをデプロイしてみると下記のように作成できた
[LLM]Azure OpneAI Service 16 プライグラウンドでもgpt-4-32k になっていることが分かる OpenAI Enterprise との違い OpenAI
、企業向け「ChatGPT Enterprise 」提供開始 ⾼速GPT-4 でプライバシーも安全 OpenAI はMicrosoft の「Bing Chat Enterprise 」と競合する企業向けAI チャットサービス「ChatGPT Enterprise 」 の提供を開始した。⾼速なGPT-4 を利⽤でき、プロンプトやデータがトレーニングに使われることはない。 https://www.itmedia.co.jp/news/articles/2308/29/news095.html ChatGPT Enterprise Enterprise-grade security & privacy and the most powerful version of ChatGPT yet. https://openai.com/enterprise 学習への不仕様、転送時データの暗号化、SSO とドメイン認証、利⽤状況分析ダッシュボード、メンバー管理 Chat インターフェースを使いたいだけなら、どちらでも変わらない or 現時点では、Code Interpreter やPlugin を豊富に使える分 本家OpenAI 版に軍配が上がるか? OpenAI Enterprise はCode Interpreter を使える vs Azure Open は使えない RAG はOpenAI 版でもplugin を使えばできる 暗号化やドメイン認証も可能になったので、普通のAPI 通信ももはや変わらなくなりつつある 閉域網に閉じられるという⾼度なネットワーク制御ができるのがAzure OpenAI Service の強み
[LLM]Azure OpneAI Service 17 前提:Azure のプロジェクトや課⾦の概念 参考 Azure サブスクリプションのしくみ Azure
の基本!Azure AD 、サブスクリプション、リソースグループ位置関係と権限を再整理する - その1 - サブスクリプションはリソースグループを束ねることができ、リソースはリソースグループに GCP でいえば、サブスクリプションは請求書先アカウントに近いが、リソースグープはプロジェクトよりももっとカ ジュアルに作れるイメージ
[LLM]Azure OpneAI Service 18