1 © PKSHA Workplace All rights reserved. SaaSにおける生成AI の実装とその未来 株式会社 PKSHA Workplace AI SaaS開発部 古屋 太郎

2 Engineering Manager 古屋 太郎 | Taro Furuya ソーシャルゲームの開発･運用･マネジメントやデータスタートアップでの フルスタックエンジニアを経て、株式会社PKSHA Workplace(パークシャ ワークプレイス)に2021年9月に入社 現在は、以下のAI SaaSプロダクト開発チームのマネジメントをしています PKSHA FAQ PKSHA AI ヘルプデスク for Microsoft Teams PKSHA Speech Insight プライベート: 子育て(4歳、2歳の男の子) 趣味: 筋トレ、お酒、自宅のデスク環境改善 INTRODUCTION @taross__f

3 未来の ソフトウエアを 形にする MISSION 人と ソフトウエアの 共進化 VISION

4 © PKSHA Workplace All rights reserved. PKSHAグループのビジネスの全体像 共進化する2つの事業を通じて未来のソフトウエアを社会に広く浸透させる

5 © PKSHA Workplace All rights reserved. 5 事例1: AI SaaSへのベクトル近傍探索実装 事例2: AI SolutionへのRAG実装 事例3: AI SaaSへのRAG実装 まとめ 目次

6 © PKSHA Workplace All rights reserved. 本日お伝えしたいこと PKSHAはこれまで数多くのアルゴリズムモジュールを開発し社会実装して きています。その上で、生成AIもアルゴリズムモジュールの一部として捉 え、適切なユースケースで効果的に活用しています 生成AIやEmbeddingを利用した事例を基に、ポイントや課題を共有します。 これが、生成AIの実装に取り掛かる方の参考となれば幸いです

7 © PKSHA Workplace All rights reserved. 7 事例1: AI SaaSへのベクトル近傍探索実装

8 © PKSHA Workplace All rights reserved. PKSHA Voicebotへの実装事例 毎月35万件のコールに対応しているボイスボット 電話対応を自動応答化し、入電削減と顧客満足を両立

9 © PKSHA Workplace All rights reserved. プロダクトの課題 ビジネス課題 IVR(※)での正しいカテゴリ選択が難しい 解決案 ユーザーの自然な発話からカテゴリを識別 実装 Amazon OpenSearch Serviceを使用し、ベクトル空間での近傍探索によ りカテゴリを推定 ※Interactive Voice Response https://aisaas.pkshatech.com/cx-journal/article/ivr-callcenter

10 © PKSHA Workplace All rights reserved. 問い合わせのカテゴリ分類API 問い合わせカテゴリ分類データをもと に、ユーザーからの問い合わせのカテ ゴリを推論するAPIを実装 1. カテゴリ分類の教師データを使用してベク トル空間をOpenSearchに登録する 2. ユーザーの利用時にはEmbeddingを取得 し、OpenSearchを使用して近傍探索を行う Embeddingには自社開発のBERTベース のモデルを利用 (https://huggingface.co/pkshatech/simcse-ja-bert-base-clcmlp) Virtual private cloud (VPC) AWS Fargate AWS Batch AWS Step Functions workflow Amazon OpenSearch Service AWS Batch Elastic Load Balancing

11 © PKSHA Workplace All rights reserved. ポイント カテゴリ分類が更新されるとベクトル 空間の更新が必要 管理者が任意のタイミングでカテゴリ 更新を実行するため、オンラインで切 り替える必要がある 1. カテゴリ分類更新時Step Functionsをトリガー 2. ベクトル空間を作成 3. OpenSearchに新インデックスでベクトル空間を 登録 4. クエリ時に新インデックスを参照するように切 り替える 5. 旧ベクトル空間を保持しているインデックスを ドロップ 上記をStep Functionsを用いて一連のワークフ ローとして実装 AWS Fargate AWS Batch AWS Step Functions workflow Amazon OpenSearch Service AWS Batch Old index New index 3 4 5 Drop Use new index

12 © PKSHA Workplace All rights reserved. 12 事例2: AI SolutionへのRAG実装

13 © PKSHA Workplace All rights reserved. RAGとは - RAG = Retrieval-Augmented Generation - LLM と外部のデータベースや情報源を結びつける手法 - 問い合わせに対して、顧客社内の各種データベースやドキュメントを参 照し適切な情報をもとに回答を生成 引用: https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-customize-rag.html

14 © PKSHA Workplace All rights reserved. 東京海上日動火災保険株式会社様 事例 東京海上日動火災保険株式会社様へのAIソリューション実装事例 保険代理店からの問い合わせ体験の向上を目指す 引用: https://prtimes.jp/main/html/rd/p/000000098.000022705.html

15 © PKSHA Workplace All rights reserved. 東京海上日動火災保険株式会社様 事例 課題 - 顧客社内には大量のマニュアルやドキュメントが存在している。従来、 問い合わせに対してさまざまなデータを手動で調査して回答していたた め、時間がかかっていた 解決案 - マニュアルやドキュメントを参照するRAGアプローチを採用 - 人手による回答の際にRAGが提供する情報で対応時間の短縮を確認 - 更にChatbotを導入し一次対応を自動回答することで、工数の削減と対 応を迅速化

16 © PKSHA Workplace All rights reserved. ポイント - アウトプットを生成する生成AIももちろん重要だが、本件では大量の非 構造化データからの検索精度をあげる部分を重要視 - Amazon OpenSearch Serviceは複数の検索方法が用意されている - ベクトル空間への近傍探索とBM25のハイブリッド検索を採用し、検索精 度を向上

17 © PKSHA Workplace All rights reserved. 17 事例3: AI SaaSへのRAG実装

18 © PKSHA Workplace All rights reserved. PKSHA AI ヘルプデスク for Microsoft Teamsについて 質問者(現場)と回答者(管理者)双方が、運用コストも極限まで軽減すると同時に回答精度や品質 が向上でき、大手企業のビジネスインフラとなるMicrosoft Teams上に簡単に導入できる仕組み

19 © PKSHA Workplace All rights reserved. PKSHA AI ヘルプデスク for Microsoft TeamsへのRAG実装事例 ユーザーからの問い合わせに対して、予め登録したマニュアルから検索し回答をその場で 生成して回答する ボット 問い合わせ 回答の検索 FAQ型チャットボット FAQ登録した内容から検索 ドキュメント型チャットボット マニュアルから検索・回答生成 有人チャット 上記で回答不可の場合有人対応 1st 2nd 文書を回答 人による回答 FAQから回答 3rd チャット履歴から FAQの自動生成 Microsoft Teams PDF Officeファイル

20 © PKSHA Workplace All rights reserved. PKSHA AI ヘルプデスク for Microsoft TeamsへのRAG実装事例 運用コスト 回答を作成するのにかかる 人的な労力や時間 コントロール性 回答管理者にとってどれだ け意図した回答が出せるか 正確性 企業固有の情報を加味した 上でどれだけ正確な回答内 容か ドキュメント型 チャットボット 知識の広さ 回答可能な知識の 量や分野の幅 FAQ型 チャットボット ○ ◎ ○ ◎ ○ △ ○ △ 有人チャット ◎ ◎ ◎ × 1st 2nd 3rd 従来のFAQ型チャットボットと組み合わせることによって、問い合わせ対応の不得意な部 分を補い合い、効果が最大限発揮される

21 © PKSHA Workplace All rights reserved. ポイント - 従来のFAQ型チャットボットはFAQを登録･運用する必要がある一方で、 社内コミュニケーションにおいて適切に情報を検索できないという課題 が多く見られる。これらの課題に対応するため、RAGアプローチを採用 した - 生成AIはレイテンシが秒単位となっており、これは従来のFAQ型の チャットボットのレイテンシとは大きく条件が異なる。この違いを吸収 するには設計レベルでも変更が必要で、継続的に改善の取り組みを行う

22 © PKSHA Workplace All rights reserved. 課題 - ハルシネーションの発生 - ハルシネーションを許容できるかは、ユースケースに依存する 例えば正解90%/誤答10%だとすると精度は高いが、その精度でも許容されないユー スケースが存在する可能性がある - ハルシネーションではないが、正解を答えつつも追加の情報を付与してしまうこと がある。 - データ登録時のチャンクの手法やプロンプティングでも改善の見込みがある - データの内容や構造が参照するデータによって異なるため、実際に動作 させないと精度がはかれない - 本導入より前に提供価値の検証を挟む。また精度のはかり方自体もどのような形が 良いのか検討していく

23 © PKSHA Workplace All rights reserved. 23 まとめ

24 © PKSHA Workplace All rights reserved. まとめ 各ユースケースや提供価値を深く理解し、適切なポイントをおさえて生成AI を選定・利用することが重要 事例1ではアルゴリズムの性能と今後のさらなる改善ができることを重視し て自社のEmbeddingモデルを採用 事例2では正しい知見を参照できるよう、大量のデータを活用したRAGアプ ローチを採用した上で前段の検索精度向上を実施 事例3ではチャットボットの対応範囲を広げるためRAGアプローチの実装を 追加し、ハルシネーションやレイテンシへの対策を実施

25 © PKSHA Workplace All rights reserved. まとめ Token数やパラメータ数のバリエーションも広がり、ユースケースに応じて 適切にモデルを選択したり、新モデルにより新しいユースケースを発見す ることが可能になっている 大事なのは、実現したいユースケースを深く理解すること 生成AIだけでなく、その他の技術も踏まえて適切なアルゴリズムの選択や対 応を行い社会実装していく その上で実際に試して初めて得られる知見を蓄積していくことが重要

26 © PKSHA Workplace All rights reserved. エンジニア採用しています 生成AIだけでなく様々なアルゴリズムを開発し、社会実装していくことに 興味があるエンジニアの方、一緒にやりませんか? (ソフトウェアエンジニアはAI関連開発経験不問です) 採用ページ 　https://www.pkshatech.com/recruitment/

27 © PKSHA Workplace All rights reserved.