Azure OpenAI Serviceを活用した AI SaaSプロダクト開発の実践

【6月27日に実施されたMicrosoft Buildで発表されたセッションです】
AI SaaS “PKSHA AI ヘルプデスク for Microsoft Teams” の開発における Azure OpenAI Service の利用経験を共有します。Teams 上に展開されるアプリケーションの開発を中心に、API の適用方法と プロダクトへの組み込み方を解説。API 導入に際しての注意点やベストプラクティスについても触れます。さらに 実際の反響やフィードバックに基づいた結果の検証を通じて、Azure OpenAI をプロダクトに組み込むメリットを お伝えします。

Transcript

1. 1 © PKSHA Workplace All rights reserved. Azure OpenAI Service を活用した AI SaaSプロダクト開 発の実践 株式会社 PKSHA Workplace AI SaaS開発部 EM 古屋 太郎
2. 2 Engineering Manager 古屋 太郎 | Taro Furuya ソーシャルゲームの開発･運用･マネジメントやデータスタートアップでの フルスタックエンジニアを経て、株式会社PKSHA Workplace(パークシャ ワークプレイス)に2021年9月に入社 現在は、PKSHA AI ヘルプデスク for Microsoft Teamsの プロダクト開発チームのEMをしています プライベート: 子育て(4歳、2歳の男の子) 趣味: ギター、お酒、自宅のデスク環境改善 INTRODUCTION @taross__f Product:
3. 3 © PKSHA Workplace All rights reserved. 3 1. PKSHA AI ヘルプデスク for Microsoft Teamsの紹介 2. Azure OpenAIのプロダクトへの実装内容とポイント 3. まとめ 目次
4. 4 © PKSHA Workplace All rights reserved. 4 PKSHA AI ヘルプデスク for Microsoft Teamsの紹介
5. 5 © PKSHA Workplace All rights reserved. PKSHAグループのビジネスの全体像 共進化する2つの事業を通じて未来のソフトウエアを社会に広く浸透させる
6. 6 © PKSHA Workplace All rights reserved. PKSHAグループのビジネスの全体像 共進化する2つの事業を通じて未来のソフトウエアを社会に広く浸透させる
7. 7 © PKSHA Workplace All rights reserved. 使えば使うほど賢くなる Teamsで実現するAI ヘルプデスク 社内ヘルプデスク環境をMicrosoft Teams上で実現。 社内問合せに対応するバックオフィス部門、 商品および技術情報の問合せに対応する各サポート部門の 各種問合せ業務をサポートし、生産性を向上させる。 [機能一覧] - 社内問合せ管理・有人チャット - FAQ管理/運用・FAQ自動生成 - AI チャットボット 等 [導入企業 (一部)] PKSHA AI ヘルプデスク for Microsoft Teams
8. 8 © PKSHA Workplace All rights reserved. PKSHA AI ヘルプデスク for Microsoft Teams 質問者(現場)と回答者(管理者)双方が、運用コストも極限まで軽減すると同時に回答精度や品質が向上でき、 大手企業のビジネスインフラとなるMicrosoft Teams上に簡単に導入できる仕組み
9. 9 © PKSHA Workplace All rights reserved. Azure OpenAI活用事例 • 有人チャット終了後、すぐに対話ログから Q&Aを自動生成 • そのままChatbotに登録することで、次回 からは自動応答で返答可能になり、利用者 の利便性向上と問い合わせ対応者の工数削 減につながる 従業員の問い合わせデータログからQ&Aを作成
10. 10 © PKSHA Workplace All rights reserved. 10 Azure OpenAIのプロダクトへの実装内容とポイント
11. 11 © PKSHA Workplace All rights reserved. FAQ自動生成機能 • 有人対応のログからFAQを作成をしやすくすることで、利用者の体験を改 善する
12. 12 © PKSHA Workplace All rights reserved. 実際の動作イメージ
13. 13 © PKSHA Workplace All rights reserved. Azure OpenAI ServiceとOpenAIとの違い 主に導入観点で重要視されるAzure OpenAI Serviceのメリット（抜粋） • SLAが提供されている（99.9%以上の稼働率） • サポートプランが提供されている • Azureと同等のセキュリティ基準に準拠している 参考: https://zenn.dev/microsoft/articles/e0419765f7079a
14. 14 © PKSHA Workplace All rights reserved. モデル・プロンプトのアップデート 1. text-davinci-003 2023/03上旬 2. gpt-3.5-turbo 2023/03中旬 3. GPT-4 2023/04上旬 2. ChatGPT APIと 同様の形式 or ChatMLを利用 1. シンプルな プロンプト 3. ChatGPT APIと同 様の形式のみ (ChatMLに未対応) プロンプト モデル
15. 15 © PKSHA Workplace All rights reserved. 1. text-davinci-003 プロンプトイメージ questionPrompt := ` Assistantを指定するプロンプト FAQ作成するプロンプト `
16. 16 © PKSHA Workplace All rights reserved. 2. gpt-3.5-turbo プロンプトイメージ questionPrompt := ` <|im_start|>system Assistantを指定するプロンプト <|im_end|> <|im_start|>user FAQ作成するプロンプト <|im_end|> `
17. 17 © PKSHA Workplace All rights reserved. 3. GPT-4 プロンプトイメージ questionPrompt := []openai.Message{ { Role: "system", Content: "Assistantを指定するプロンプト", }, { Role: "user", Content: `FAQ作成するプロンプト`, }, }
18. 18 © PKSHA Workplace All rights reserved. インターフェース変更 • text-davinci-003からgpt-3.5-turboの移行時に必須プロパティが変更される 破壊的変更があった • モデル変更時はインターフェースが大きく変わる可能性があるためクライ アントのAPIリクエスト型が大きく影響を受ける • モデルの進歩によりレスポンス内容もその品質も大きく変わる
19. 19 © PKSHA Workplace All rights reserved. ユーザー体験を意識した実装 • プロダクトの方針で1リクエストの制限時間を決めている前提 • 一方OpenAIは数秒程度の時間がかかるため、同期的に扱うとユーザー体 験を損ねる • 特にUIに近い部分では非同期を前提に実装する必要がある • LLMは本質的にどの部分にも入りうる = フロントエンド･バックエンド 関わらず非同期に扱えるアーキテクチャの重要性が増す
20. 20 © PKSHA Workplace All rights reserved. クォータと制限 • 先日大きな変更が行われた クォータ 6/8まで 6/9以降 各 Azure サブスクリプションのリー ジョンあたりの OpenAI リソース数 3 30 1 分あたりのトークン数(デフォルト クォータ) モデルごとに制限あり モデルとリージョンごと に制限あり
21. 21 © PKSHA Workplace All rights reserved. クォータと制限 • 1分あたりトークン数のクォータに特に注意 • ユースケースに合わせてモデル選定をする必要がある • 今後も大きく変更される可能性があるため注視が必要 参考: https://learn.microsoft.com/ja-jp/azure/cognitive-services/openai/quotas-limits
22. 22 © PKSHA Workplace All rights reserved. 実際のフィードバック • 定量 • FAQ化率 20倍 • 有人問い合わせ数 -30% • 定性 • 「FAQ作りが面倒」と言われてい たが「FAQを作るのが楽しい」と 言われるようになった
23. 23 © PKSHA Workplace All rights reserved. 23 まとめ
24. 24 © PKSHA Workplace All rights reserved. まとめ • Azure OpenAIはプロダクトに組み込むLLMとして最適解の一つである • Azure OpenAIでは大きな仕様変更が今後も想定されるため適切に追従する 必要がある • LLM全般において応答速度を考慮したUX設計をする必要がある • 「面倒」が「楽しい」になる、新しい体験を顧客に届けることができる
25. 25 © PKSHA Workplace All rights reserved. まとめ PKSHAではLLM以外にも多くのアルゴリズムモジュールが存在 Azure OpenAI(LLM)も組み合わせ、価値提供を加速
26. 26 © PKSHA Workplace All rights reserved.
27. 27 © PKSHA Workplace All rights reserved. PKSHA Technologyの宣伝 Azure OpenAIのみならず、様々なアルゴリズムをプロダクト開発に取り込 んで社会に実装していくことで未来のソフトウエアを形にしたい方、ぜひ 一緒にやりましょう 採用ページ 　https://www.pkshatech.com/recruitment/
28. 28 © PKSHA Workplace All rights reserved.