マルチクラウド歴7年のプレイドから見たAzure

Azure OpenAI×マルチクラウドTech Night で発表した資料です。
https://msdevjp.connpass.com/event/287530/

Transcript

1. ｜ © PLAID Inc. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ 1 マルチクラウド歴7年の プレイドから見たAzure Azure OpenAI Service から始めよう
2. ｜ © 2019 PLAID Inc. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. 2 ⾃⼰紹介 矢澤 学 株式会社プレイド Ecosystem Dept Engineer バックエンド/インフラ なんちゃってTerraformer 元陸上部（来週400m走ります） ex-KDDI GitHub : Hikosaburou 32
3. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. 今⽇話すこと Azure OpenAI Serviceは Azureを始める第一歩に最適！
4. ｜ © PLAID Inc. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. 4 株式会社プレイド について 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ 株式会社プレイド 東京都中央区銀座6-10-1 GINZA SIX 10F 設立：2011年10月 従業員：282名 ※2023年3月末時点
5. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. 5 KARTEについて CX(顧客体験)プラットフォーム Webサイトの訪問者の⾏動を 顧客ごとにリアルタイムに解析 ⼀⼈ひとりに合わせた 顧客体験を提供
6. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. 6 Stats of KARTE Real-time, Large-Scale, Global to real-time actions 0.x sec stored 8+ PB events / sec 134,000 inserted / month 1 PB analyzed / month 180+ PB
7. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. プレイドのマルチクラウドの歴史 PLAID’s Journey with multi cloud - Speaker Deck
8. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. OpenAI の波が来た 2022年12⽉ごろから社内でも話題に
9. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. https://ecosystem.plaid.co.jp/product/karte-craft OpenAI の波が来た 新プロダクト KARTE Craft の開発中だったため、 まずはこれに組み込んでみたいねという話に
10. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. だがKARTEはエンドユーザーの情報を預かるサービス。 エンタープライズグレードのデータ管理が必要…… Azure OpenAI Service ←これだ OpenAI の波が来た Azure OpenAI Service – 高度な言語モデル | Microsoft Azure
11. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. プレイド、Azure始めました プレイド、サーバレスで独自のKARTEの機能を開発できる「KARTE Craft」を提供開始
12. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. プレイド、 Azure始めまた プレイド、Azure始めました KARTE Craft KARTE の機能を拡張するための開発プラットフォーム。特に Craft Functionsを利用すると、 独自サーバーを立てなくても外部サービスとのリアルタイム連携を実現できる。
13. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. プレイド、Azure始めました プレイド、サーバレスで独自のKARTEの機能を開発できる「KARTE Craft」を提供開始
14. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. プレイド、 Azure始めまた プレイド、Azure始めました Craft Assistant Craft Functions 上で機能開発するデベロッパーを支援するためのAIアシスタント。 裏側では Azure OpenAI Service や Azure Cognitive Search を利用している。
15. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. Craft Assistant Craft Assistantの使い方 1. 実装したいFunctionの仕様を入力 2. 「サンプルコード検索」 3. サンプルコードDBから最も近い ものが表示される 4. 意図と違う場合は「質問内容より 自動生成」 5. コードが自動生成される 6. コードをエディタにコピペ 7. コードに問題がある場合は指摘内 容を入力して「コード改善」 8. 修正されたコードが生成される 使い方
16. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. Craft Assistant Craft Assistantを使う PLAID Customer Engineerの声 • 「本格的にAIに依存して仕事し始め てます」 • 「元セールスでJavaScript初心者で もCraft Functions で新ソリューショ ンをサクッと開発できました」 • … ユーザーの声
17. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. プレイド、Azure始めました
18. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. • Azureを始める環境はすでに存在した（超ありがたい） ◦ ディレクトリ、サブスクリプションまで整備済 • Azure OpenAIを使うためのステップはたったの3つ！ ◦ MSに申請（なお1回 reject される） ◦ Azure OpenAI リソースを作成 ◦ Azure OpenAI Studioでモデルをデプロイ • デプロイ後はAPIエンドポイントにリクエストするだけ！ ◦ 「とりあえず動かしてみよう」のハードルが低い プレイド、Azure始めました
19. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. Azureここはよかった Azure OpenAI Service はデプロイ後の取り回しが簡単 • エンドポイントへのリクエストをするだけなので マルチクラウド環境でも十分使い易い • 「まず作って動かしてみる」というクラウドの強みが活かせるサービス テナント管理や権限周りの概念を押さえてしまえば、 ドキュメント見て実装するだけである程度のことはできる • サブスクリプションとリソースグループの概念を押さえておけば Azure OpenAI Service はかなり簡単に使えるはず
20. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. 使い始めの準備は必要 • 単純にAWS, GCPとは用語と概念が離れているので、多少の学習は必要 ◦ リソースグループの切り方に戸惑いそう • Azureを新しく使う場合はITチームと協力して始める必要がある ……準備が必要だからこそ、 他のAzureリソースと独立して使えるAzure OpenAI Serviceは Azureを始める第一歩に最適！ Azureここは⼤変
21. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. まとめ • Azure OpenAI Service は Azure の第一歩に最適 ◦ デプロイ後の取り回しが楽 ◦ ネットワークリソースを意識しなくて良い • まずは気軽にデプロイしてみよう！ ◦ まず実装。やりたいことが見えてくれば、 自然とAzureの活用方法が見えてくる、はず
23. Appendix
24. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. Q&A • 構成管理はどうしている？ ◦ クラウドサービスのリソースは基本的にTerraformで管理 ◦ AzureリソースもいずれTerraform管理に移していく想定 ▪ ただしAzure OpenAI Service リソースが少ないうちは不要 • デプロイの仕組みは？ ◦ Kubernetes → ArgoCD ◦ VM → 独自スクリプト or Spinnaker
25. 2023.07.13 ｜ Azure OpenAI×マルチクラウドTech Night ｜ ｜ © PLAID Inc. Q&A • 監視はどうする？ ◦ 絶賛整備中 with Datadog ◦ Azure OpenAI Service 自体の監視項目は特にないので、 Datadog Syntheticsを使ったサービス監視で担保したい ▪ Logs周りも必要に応じてDatadog Logsに移していく