Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure OpenAI Service入門
Search
PharmaX(旧YOJO Technologies)開発チーム
August 31, 2023
Technology
1
780
Azure OpenAI Service入門
PharmaX(旧YOJO Technologies)開発チーム
August 31, 2023
Tweet
Share
More Decks by PharmaX(旧YOJO Technologies)開発チーム
See All by PharmaX(旧YOJO Technologies)開発チーム
AIエージェントについてまとめてみた
pharma_x_tech
20
15k
完全自律型AIエージェントとAgentic Workflow〜ワークフロー構築という現実解
pharma_x_tech
1
1.2k
LLMアプリケーションの Fine-tunningと蒸留を活用した改善
pharma_x_tech
7
2.1k
OpenAIの蒸留機能(Model Distillation)を使用して運用中のLLMのコストを削減する取り組み
pharma_x_tech
5
760
EMとして 自分の弱さと向きあい 人に背中を任せられるようになった話
pharma_x_tech
4
670
LLMアプリケーションの継続的改善のためのFine-tuningの活用
pharma_x_tech
0
79
LLMアプリケーションの評価と継続的改善
pharma_x_tech
3
450
開発チームから始める 「学習する組織」に 成長するための取り組み
pharma_x_tech
3
830
LLMマルチエージェントの アプリケーション設計のコツと未来
pharma_x_tech
1
660
Other Decks in Technology
See All in Technology
LINEギフトにおけるバックエンド開発
lycorptech_jp
PRO
0
130
Visualize, Visualize, Visualize and rclone
tomoaki0705
9
71k
次世代KYC活動報告 / 20250219-BizDay17-KYC-nextgen
oidfj
0
430
設計を積み重ねてシステムを刷新する
sansantech
PRO
0
110
明日からできる!技術的負債の返済を加速するための実践ガイド~『ホットペッパービューティー』の事例をもとに~
recruitengineers
PRO
3
550
CDKのコードを書く環境を作りました with Amazon Q
nobuhitomorioka
1
120
SA Night #2 FinatextのSA思想/SA Night #2 Finatext session
satoshiimai
1
150
プロダクトエンジニア 360°フィードバックを実施した話
hacomono
PRO
0
130
NFV基盤のOpenStack更新 ~9世代バージョンアップへの挑戦~
vtj
0
300
プロダクトエンジニア構想を立ち上げ、プロダクト志向な組織への成長を続けている話 / grow into a product-oriented organization
hiro_torii
1
310
転生CISOサバイバル・ガイド / CISO Career Transition Survival Guide
kanny
3
1.1k
OSS構成管理ツールCMDBuildを使ったAWSリソース管理の自動化
satorufunai
0
380
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
GitHub's CSS Performance
jonrohan
1030
460k
A Philosophy of Restraint
colly
203
16k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
Optimizing for Happiness
mojombo
376
70k
We Have a Design System, Now What?
morganepeng
51
7.4k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
420
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
9
500
Rebuilding a faster, lazier Slack
samanthasiow
80
8.8k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Transcript
[LLM]Azure OpneAI Service 1 [LLM]Azure OpneAI Service ⾃⼰紹介 記事書いてます! Rust
でのAzure OpenAI Service のAPI の使い⽅|PharmaX Blog こんにちは。PharmaX エンジニアリング責任者の上野(@ueeeeniki )です。 PharmaX では、最近Rust の採 ⽤を⼀部のプロダクトから始めています。 また、別の記事(『[LLM PoC]Whisper + GPT-4 で服薬指導の⾳ 声から薬歴内容を⾃動⽣成させることに成功しました』や『[LLM PoC]LLM による疑義照会の半⾃動化 https://note.com/pharmax/n/n56fbcfa51e48 登壇します! ServerlessDays Tokyo 2023 (2023/09/23 09:00 〜) # (4 年ぶりのオンサイト開催!) 真のサーバーレスアーキテクチャについて語り、最新のエッジコンピュー ティングや⽣成系AI のサーバーレス実装を学び、クラウドネイティブで⾼速な開発プラクティスと向き合う 2 ⽇間 # Introduction ## Everything will be SERVERLESS 今年のServerlessDays Tokyo は4 年ぶりのオンサ https://serverless.connpass.com/event/290640/
[LLM]Azure OpneAI Service 2 Azure OpenAI Service ⼊⾨ Azure OpenAI
Service の特⻑ Azure OpenAI Service とは、簡単に⾔えば、Microsoft のAzure 上で、GPT-3.5 やGPT-4 などのOpenAI が提供するAI モデルを使え るというサービスです。 クラウドサービス上でOpenAI のモデルが利⽤できるようになっているのはAzure のみであり、Microsoft とOpenAI の密な関 係性があるからこそ成⽴していると⾔える Azure OpenAI Service は、Azure だからこそのセキュリティ基準を満たしていたり、SLA の設定もあったり、認証⽅法もAzure 認証に対応していたり、セキュリティや品質を保証するための機能が網羅されている 弊社のような主要アプリケーションにAzure 以外を(弊社ではGCP を)使っているような場合でも、閉域ネットワーク網を 構築することまで可能 『GPT 搭載の「Azure OpenAI Service 」セキュリティから⾒る』から引⽤
[LLM]Azure OpneAI Service 3 上記のようなエンタープライズの要件を満たせる点がAzure OpenAI Service を使う利点と⾔える Azure OpenAI
Service を使ってみた 〜閉域接続⽅法〜 Azure OpenAI Service を拠点から閉域で使う⽅法
[LLM]Azure OpneAI Service 4 基本的な使い⽅ 初期段階ではgpt-4 が使えないが、gpt-35-turbo-16k までは使える デフォルトでは使えるのは上記モデルのみ インスタンスを作成する
サブスクリプションやリソースグループを選択肢、リージョンと名前を⼊⼒する 価格レベルは1 つしか選べない
[LLM]Azure OpneAI Service 5 ネットワークを選択し、タグなどを選択 インスタンスのデプロイが⾛る
[LLM]Azure OpneAI Service 6 インスタンスにモデルをデプロイする 構造的には、インスタンスの下に複数のモデルが紐づく形になる
[LLM]Azure OpneAI Service 7 できることを紹介 システムメッセージ System Role やexample (例)も与えることができる
[ {"role": "system", "content": " あなたは料理の専⾨家として回答します"}, {"role":"user","content":" 今⽇の夜ご飯の献⽴のアドバイスをください"}, {"role":"assistant","content":" こんばんは!今⽇の夜ご飯の献⽴にはどんな⾷材がありますか?それに合わせて考えてみます!"}, {"role":"user","content":" ⽟ねぎとひき⾁があります"} ]
[LLM]Azure OpneAI Service 8 API の使い⽅紹介 OpenAI 社と同様にAPI でも呼び出すことができ、コードを表⽰を⾒るとコードなどを⾒せてくれる Python
のコードが表⽰される
[LLM]Azure OpneAI Service 9 RESTfull なAPI (curl )もある データソースを与えて、RAG をすることもできる
[LLM]Azure OpneAI Service 10 どのようなデータを与えるかを選択
[LLM]Azure OpneAI Service 11 データソースを選択して接続 ⼊⼒候補 いろんな例を上げてくれている
[LLM]Azure OpneAI Service 12 Python コードを作る例 説明⽂から質問を⽣成する例 番外編:DALL ・E ⽂字列から画像を⽣成できるAI
も同じ A comic panel where a sorcerer with blue eyes and a high school girl are playing with sea cucumbers on the coast of Okinawa.
[LLM]Azure OpneAI Service 13 右は漫画であることを指定しなかった例 A sorcerer with blue eyes
and a high school girl are playing with sea cucumbers on the coast of Okinawa. GPT-4 の使い⽅ waitlist に登録する必要がある
[LLM]Azure OpneAI Service 14 申請にはかなりの時間がかかったので注意 申請が通ると登録したメールアドレスに連絡が来る
[LLM]Azure OpneAI Service 15 インスタンスを作成し直して、再度モデルのデプロイをし直さないとGPT-4 は使えるようにはならないので注意 インスタンスを作成し直すと下記のようにgpt-4 が選べるようになる gpt-4-32k を選んでモデルをデプロイしてみると下記のように作成できた
[LLM]Azure OpneAI Service 16 プライグラウンドでもgpt-4-32k になっていることが分かる OpenAI Enterprise との違い OpenAI
、企業向け「ChatGPT Enterprise 」提供開始 ⾼速GPT-4 でプライバシーも安全 OpenAI はMicrosoft の「Bing Chat Enterprise 」と競合する企業向けAI チャットサービス「ChatGPT Enterprise 」 の提供を開始した。⾼速なGPT-4 を利⽤でき、プロンプトやデータがトレーニングに使われることはない。 https://www.itmedia.co.jp/news/articles/2308/29/news095.html ChatGPT Enterprise Enterprise-grade security & privacy and the most powerful version of ChatGPT yet. https://openai.com/enterprise 学習への不仕様、転送時データの暗号化、SSO とドメイン認証、利⽤状況分析ダッシュボード、メンバー管理 Chat インターフェースを使いたいだけなら、どちらでも変わらない or 現時点では、Code Interpreter やPlugin を豊富に使える分 本家OpenAI 版に軍配が上がるか? OpenAI Enterprise はCode Interpreter を使える vs Azure Open は使えない RAG はOpenAI 版でもplugin を使えばできる 暗号化やドメイン認証も可能になったので、普通のAPI 通信ももはや変わらなくなりつつある 閉域網に閉じられるという⾼度なネットワーク制御ができるのがAzure OpenAI Service の強み
[LLM]Azure OpneAI Service 17 前提:Azure のプロジェクトや課⾦の概念 参考 Azure サブスクリプションのしくみ Azure
の基本!Azure AD 、サブスクリプション、リソースグループ位置関係と権限を再整理する - その1 - サブスクリプションはリソースグループを束ねることができ、リソースはリソースグループに GCP でいえば、サブスクリプションは請求書先アカウントに近いが、リソースグープはプロジェクトよりももっとカ ジュアルに作れるイメージ
[LLM]Azure OpneAI Service 18