Azure OpenAI Service入門

Transcript

1. [LLM]Azure OpneAI Service 1 [LLM]Azure OpneAI Service ⾃⼰紹介 記事書いてます！ Rust でのAzure OpenAI Service のAPI の使い⽅｜PharmaX Blog こんにちは。PharmaX エンジニアリング責任者の上野（@ueeeeniki ）です。 PharmaX では、最近Rust の採 ⽤を⼀部のプロダクトから始めています。 また、別の記事（『[LLM PoC]Whisper + GPT-4 で服薬指導の⾳ 声から薬歴内容を⾃動⽣成させることに成功しました』や『[LLM PoC]LLM による疑義照会の半⾃動化 https://note.com/pharmax/n/n56fbcfa51e48 登壇します！ ServerlessDays Tokyo 2023 (2023/09/23 09:00 〜) # (4 年ぶりのオンサイト開催！) 真のサーバーレスアーキテクチャについて語り、最新のエッジコンピュー ティングや⽣成系AI のサーバーレス実装を学び、クラウドネイティブで⾼速な開発プラクティスと向き合う 2 ⽇間 # Introduction ## Everything will be SERVERLESS 今年のServerlessDays Tokyo は4 年ぶりのオンサ https://serverless.connpass.com/event/290640/
2. [LLM]Azure OpneAI Service 2 Azure OpenAI Service ⼊⾨ Azure OpenAI Service の特⻑ Azure OpenAI Service とは、簡単に⾔えば、Microsoft のAzure 上で、GPT-3.5 やGPT-4 などのOpenAI が提供するAI モデルを使え るというサービスです。 クラウドサービス上でOpenAI のモデルが利⽤できるようになっているのはAzure のみであり、Microsoft とOpenAI の密な関 係性があるからこそ成⽴していると⾔える Azure OpenAI Service は、Azure だからこそのセキュリティ基準を満たしていたり、SLA の設定もあったり、認証⽅法もAzure 認証に対応していたり、セキュリティや品質を保証するための機能が網羅されている 弊社のような主要アプリケーションにAzure 以外を（弊社ではGCP を）使っているような場合でも、閉域ネットワーク網を 構築することまで可能 『GPT 搭載の「Azure OpenAI Service 」セキュリティから⾒る』から引⽤
3. [LLM]Azure OpneAI Service 3 上記のようなエンタープライズの要件を満たせる点がAzure OpenAI Service を使う利点と⾔える Azure OpenAI Service を使ってみた 〜閉域接続⽅法〜 Azure OpenAI Service を拠点から閉域で使う⽅法
4. [LLM]Azure OpneAI Service 4 基本的な使い⽅ 初期段階ではgpt-4 が使えないが、gpt-35-turbo-16k までは使える デフォルトでは使えるのは上記モデルのみ インスタンスを作成する サブスクリプションやリソースグループを選択肢、リージョンと名前を⼊⼒する 価格レベルは1 つしか選べない
5. [LLM]Azure OpneAI Service 5 ネットワークを選択し、タグなどを選択 インスタンスのデプロイが⾛る
6. [LLM]Azure OpneAI Service 6 インスタンスにモデルをデプロイする 構造的には、インスタンスの下に複数のモデルが紐づく形になる
7. [LLM]Azure OpneAI Service 7 できることを紹介 システムメッセージ System Role やexample （例）も与えることができる [ {"role": "system", "content": " あなたは料理の専⾨家として回答します"}, {"role":"user","content":" 今⽇の夜ご飯の献⽴のアドバイスをください"}, {"role":"assistant","content":" こんばんは！今⽇の夜ご飯の献⽴にはどんな⾷材がありますか？それに合わせて考えてみます！"}, {"role":"user","content":" ⽟ねぎとひき⾁があります"} ]
8. [LLM]Azure OpneAI Service 8 API の使い⽅紹介 OpenAI 社と同様にAPI でも呼び出すことができ、コードを表⽰を⾒るとコードなどを⾒せてくれる Python のコードが表⽰される
9. [LLM]Azure OpneAI Service 9 RESTfull なAPI （curl ）もある データソースを与えて、RAG をすることもできる
10. [LLM]Azure OpneAI Service 10 どのようなデータを与えるかを選択
11. [LLM]Azure OpneAI Service 11 データソースを選択して接続 ⼊⼒候補 いろんな例を上げてくれている
12. [LLM]Azure OpneAI Service 12 Python コードを作る例 説明⽂から質問を⽣成する例 番外編：DALL ・E ⽂字列から画像を⽣成できるAI も同じ A comic panel where a sorcerer with blue eyes and a high school girl are playing with sea cucumbers on the coast of Okinawa.
13. [LLM]Azure OpneAI Service 13 右は漫画であることを指定しなかった例 A sorcerer with blue eyes and a high school girl are playing with sea cucumbers on the coast of Okinawa. GPT-4 の使い⽅ waitlist に登録する必要がある
14. [LLM]Azure OpneAI Service 14 申請にはかなりの時間がかかったので注意 申請が通ると登録したメールアドレスに連絡が来る
15. [LLM]Azure OpneAI Service 15 インスタンスを作成し直して、再度モデルのデプロイをし直さないとGPT-4 は使えるようにはならないので注意 インスタンスを作成し直すと下記のようにgpt-4 が選べるようになる gpt-4-32k を選んでモデルをデプロイしてみると下記のように作成できた
16. [LLM]Azure OpneAI Service 16 プライグラウンドでもgpt-4-32k になっていることが分かる OpenAI Enterprise との違い OpenAI 、企業向け「ChatGPT Enterprise 」提供開始 ⾼速GPT-4 でプライバシーも安全 OpenAI はMicrosoft の「Bing Chat Enterprise 」と競合する企業向けAI チャットサービス「ChatGPT Enterprise 」 の提供を開始した。⾼速なGPT-4 を利⽤でき、プロンプトやデータがトレーニングに使われることはない。 https://www.itmedia.co.jp/news/articles/2308/29/news095.html ChatGPT Enterprise Enterprise-grade security & privacy and the most powerful version of ChatGPT yet. https://openai.com/enterprise 学習への不仕様、転送時データの暗号化、SSO とドメイン認証、利⽤状況分析ダッシュボード、メンバー管理 Chat インターフェースを使いたいだけなら、どちらでも変わらない or 現時点では、Code Interpreter やPlugin を豊富に使える分 本家OpenAI 版に軍配が上がるか？ OpenAI Enterprise はCode Interpreter を使える vs Azure Open は使えない RAG はOpenAI 版でもplugin を使えばできる 暗号化やドメイン認証も可能になったので、普通のAPI 通信ももはや変わらなくなりつつある 閉域網に閉じられるという⾼度なネットワーク制御ができるのがAzure OpenAI Service の強み
17. [LLM]Azure OpneAI Service 17 前提：Azure のプロジェクトや課⾦の概念 参考 Azure サブスクリプションのしくみ Azure の基本!Azure AD 、サブスクリプション、リソースグループ位置関係と権限を再整理する - その1 - サブスクリプションはリソースグループを束ねることができ、リソースはリソースグループに GCP でいえば、サブスクリプションは請求書先アカウントに近いが、リソースグープはプロジェクトよりももっとカ ジュアルに作れるイメージ
18. [LLM]Azure OpneAI Service 18