Azure OpenAI Serviceを活用した AI SaaSプロダクト開発の実践

【6月27日に実施されたMicrosoft Buildで発表されたセッションです】
AI SaaS “PKSHA AI ヘルプデスク for Microsoft Teams” の開発における Azure OpenAI Service の利用経験を共有します。Teams 上に展開されるアプリケーションの開発を中心に、API の適用方法と プロダクトへの組み込み方を解説。API 導入に際しての注意点やベストプラクティスについても触れます。さらに 実際の反響やフィードバックに基づいた結果の検証を通じて、Azure OpenAI をプロダクトに組み込むメリットを お伝えします。

Transcript

1. 1
   © PKSHA Workplace All rights reserved.
   Azure OpenAI Service
   を活用した
   AI SaaSプロダクト開
   発の実践
   株式会社 PKSHA Workplace
   AI SaaS開発部 EM
   古屋 太郎
   

   View Slide

2. 2
   Engineering Manager
   古屋 太郎 | Taro Furuya
   ソーシャルゲームの開発･運用･マネジメントやデータスタートアップでの
   フルスタックエンジニアを経て、株式会社PKSHA Workplace(パークシャ
   ワークプレイス)に2021年9月に入社
   現在は、PKSHA AI ヘルプデスク for Microsoft Teamsの
   プロダクト開発チームのEMをしています
   プライベート: 子育て(4歳、2歳の男の子)
   趣味: ギター、お酒、自宅のデスク環境改善
   INTRODUCTION
   @taross__f
   Product:
   

   View Slide

3. 3
   © PKSHA Workplace All rights reserved. 3
   1. PKSHA AI ヘルプデスク for Microsoft Teamsの紹介
   2. Azure OpenAIのプロダクトへの実装内容とポイント
   3. まとめ
   目次
   

   View Slide

4. 4
   © PKSHA Workplace All rights reserved. 4
   PKSHA AI ヘルプデスク for Microsoft Teamsの紹介
   

   View Slide

5. 5
   © PKSHA Workplace All rights reserved.
   PKSHAグループのビジネスの全体像
   共進化する2つの事業を通じて未来のソフトウエアを社会に広く浸透させる
   

   View Slide

6. 6
   © PKSHA Workplace All rights reserved.
   PKSHAグループのビジネスの全体像
   共進化する2つの事業を通じて未来のソフトウエアを社会に広く浸透させる
   

   View Slide

7. 7
   © PKSHA Workplace All rights reserved.
   使えば使うほど賢くなる
   Teamsで実現するAI ヘルプデスク
   社内ヘルプデスク環境をMicrosoft Teams上で実現。
   社内問合せに対応するバックオフィス部門、
   商品および技術情報の問合せに対応する各サポート部門の
   各種問合せ業務をサポートし、生産性を向上させる。
   [機能一覧]
   - 社内問合せ管理・有人チャット
   - FAQ管理/運用・FAQ自動生成
   - AI チャットボット 等
   [導入企業 (一部)]
   PKSHA AI ヘルプデスク for Microsoft Teams
   

   View Slide

8. 8
   © PKSHA Workplace All rights reserved.
   PKSHA AI ヘルプデスク for Microsoft Teams
   質問者(現場)と回答者(管理者)双方が、運用コストも極限まで軽減すると同時に回答精度や品質が向上でき、
   大手企業のビジネスインフラとなるMicrosoft Teams上に簡単に導入できる仕組み
   

   View Slide

9. 9
   © PKSHA Workplace All rights reserved.
   Azure OpenAI活用事例
   • 有人チャット終了後、すぐに対話ログから
   Q&Aを自動生成
   • そのままChatbotに登録することで、次回
   からは自動応答で返答可能になり、利用者
   の利便性向上と問い合わせ対応者の工数削
   減につながる
   従業員の問い合わせデータログからQ&Aを作成
   

   View Slide

10. 10
    © PKSHA Workplace All rights reserved. 10
    Azure OpenAIのプロダクトへの実装内容とポイント
    

    View Slide

11. 11
    © PKSHA Workplace All rights reserved.
    FAQ自動生成機能
    • 有人対応のログからFAQを作成をしやすくすることで、利用者の体験を改
    善する
    

    View Slide

12. 12
    © PKSHA Workplace All rights reserved.
    実際の動作イメージ
    

    View Slide

13. 13
    © PKSHA Workplace All rights reserved.
    Azure OpenAI ServiceとOpenAIとの違い
    主に導入観点で重要視されるAzure OpenAI Serviceのメリット（抜粋）
    • SLAが提供されている（99.9%以上の稼働率）
    • サポートプランが提供されている
    • Azureと同等のセキュリティ基準に準拠している
    参考: https://zenn.dev/microsoft/articles/e0419765f7079a
    

    View Slide

14. 14
    © PKSHA Workplace All rights reserved.
    モデル・プロンプトのアップデート
    1. text-davinci-003
    2023/03上旬
    2. gpt-3.5-turbo
    2023/03中旬
    3. GPT-4
    2023/04上旬
    2. ChatGPT APIと
    同様の形式 or
    ChatMLを利用
    1. シンプルな
    プロンプト
    3. ChatGPT APIと同
    様の形式のみ
    (ChatMLに未対応)
    プロンプト
    モデル
    

    View Slide

15. 15
    © PKSHA Workplace All rights reserved.
    1. text-davinci-003 プロンプトイメージ
    questionPrompt := `
    Assistantを指定するプロンプト
    FAQ作成するプロンプト
    `
    

    View Slide

16. 16
    © PKSHA Workplace All rights reserved.
    2. gpt-3.5-turbo プロンプトイメージ
    questionPrompt := `
    <|im_start|>system
    Assistantを指定するプロンプト
    <|im_end|>
    <|im_start|>user
    FAQ作成するプロンプト
    <|im_end|>
    `
    

    View Slide

17. 17
    © PKSHA Workplace All rights reserved.
    3. GPT-4 プロンプトイメージ
    questionPrompt := []openai.Message{
    {
    Role: "system",
    Content: "Assistantを指定するプロンプト",
    },
    {
    Role: "user",
    Content: `FAQ作成するプロンプト`,
    },
    }
    

    View Slide

18. 18
    © PKSHA Workplace All rights reserved.
    インターフェース変更
    • text-davinci-003からgpt-3.5-turboの移行時に必須プロパティが変更される
    破壊的変更があった
    • モデル変更時はインターフェースが大きく変わる可能性があるためクライ
    アントのAPIリクエスト型が大きく影響を受ける
    • モデルの進歩によりレスポンス内容もその品質も大きく変わる
    

    View Slide

19. 19
    © PKSHA Workplace All rights reserved.
    ユーザー体験を意識した実装
    • プロダクトの方針で1リクエストの制限時間を決めている前提
    • 一方OpenAIは数秒程度の時間がかかるため、同期的に扱うとユーザー体
    験を損ねる
    • 特にUIに近い部分では非同期を前提に実装する必要がある
    • LLMは本質的にどの部分にも入りうる = フロントエンド･バックエンド
    関わらず非同期に扱えるアーキテクチャの重要性が増す
    

    View Slide

20. 20
    © PKSHA Workplace All rights reserved.
    クォータと制限
    • 先日大きな変更が行われた
    クォータ 6/8まで 6/9以降
    各 Azure サブスクリプションのリー
    ジョンあたりの OpenAI リソース数
    3 30
    1 分あたりのトークン数(デフォルト
    クォータ)
    モデルごとに制限あり モデルとリージョンごと
    に制限あり
    

    View Slide

21. 21
    © PKSHA Workplace All rights reserved.
    クォータと制限
    • 1分あたりトークン数のクォータに特に注意
    • ユースケースに合わせてモデル選定をする必要がある
    • 今後も大きく変更される可能性があるため注視が必要
    参考: https://learn.microsoft.com/ja-jp/azure/cognitive-services/openai/quotas-limits
    

    View Slide

22. 22
    © PKSHA Workplace All rights reserved.
    実際のフィードバック
    • 定量
    • FAQ化率
    20倍
    • 有人問い合わせ数
    -30%
    • 定性
    • 「FAQ作りが面倒」と言われてい
    たが「FAQを作るのが楽しい」と
    言われるようになった
    

    View Slide

23. 23
    © PKSHA Workplace All rights reserved. 23
    まとめ
    

    View Slide

24. 24
    © PKSHA Workplace All rights reserved.
    まとめ
    • Azure OpenAIはプロダクトに組み込むLLMとして最適解の一つである
    • Azure OpenAIでは大きな仕様変更が今後も想定されるため適切に追従する
    必要がある
    • LLM全般において応答速度を考慮したUX設計をする必要がある
    • 「面倒」が「楽しい」になる、新しい体験を顧客に届けることができる
    

    View Slide

25. 25
    © PKSHA Workplace All rights reserved.
    まとめ
    PKSHAではLLM以外にも多くのアルゴリズムモジュールが存在
    Azure OpenAI(LLM)も組み合わせ、価値提供を加速
    

    View Slide

26. 26
    © PKSHA Workplace All rights reserved.
    

    View Slide

27. 27
    © PKSHA Workplace All rights reserved.
    PKSHA Technologyの宣伝
    Azure OpenAIのみならず、様々なアルゴリズムをプロダクト開発に取り込
    んで社会に実装していくことで未来のソフトウエアを形にしたい方、ぜひ
    一緒にやりましょう
    採用ページ
    　https://www.pkshatech.com/recruitment/
    

    View Slide

28. 28
    © PKSHA Workplace All rights reserved.
    

    View Slide