月間4000人以上の社内利用を達成したRAG搭載LLMチャットアプリの機能改善の取り組み

イベントページ：
・TECH PLAY：https://techplay.jp/event/957317
・connpass：https://tech-street.connpass.com/event/331084/

Transcript

1. 月間4000人以上の社内利用を 達成したRAG搭載LLMチャット アプリの機能改善の取り組み パーソルキャリア株式会社 LLMアプリ&データエンジニア 梅本 誠也 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.
2. 会社説明 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 2 社名：パーソルキャリア株式会社 設立：1989年6月15日(創業) 従業員数：6,929名（有期社員含む。グループ会社出向中の者は除く。2024年3月1日時点） 参照: https://www.persol-career.co.jp/corporate/overview/
3. ミッション Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 3
4. 自己紹介 • 名前：梅本 誠也 • X(旧Twitter): @seiyasm18 • 業務： – データエンジニア • 法人データ基盤構築、運用 • ETLやデータカタログツール選定及び導入のPoC – LLMアプリエンジニア • 全社向けの生成AIチャットアプリ開発 • 社員の目標設定を支援する生成AIチャットアプリ開発 • LLMOpsチームでのR&D活動 • 経歴 – 韓国5年間留学、フィリピン&アメリカ短期留学経験有り – 学生時代の研究テーマ： • 自動トレード、ラジコンカーの自動走行 • 趣味： – 登山、ランニング、歴史物(特に中国史)、技術関連のオフ会 • 好きなプログラミング言語： – Go, TypeScript, Python • 好きなサービス： – Google Cloud Run, Azure AI Studio Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 4
5. 目次 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 5 はじめに 結論 概要の説明 取り組んだこ と 今後の課題 まとめ Q&A
6. はじめに • 社内向け生成AIチャットサービスの 概要 • 今回の話の前提 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.
7. 社内向け生成AIチャットサービスの概要 • 社内イントラ用のボットサービス – ルールベースのため、読み込ませた定型の資料内容以 外のことは回答ができない Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 7 • 課題点 • 日々蓄積する非構造の社内データに対して柔軟に対応 することは現実的に不可能、、 • パーソルキャリア内で利用される生成AIチャットサービス を構築 • 標準チャットとして一般的な質問に対する回答は可能 社内文書を参照して回答を可能にする 生成AIを活用して上手く対応をしたい
8. 今回の話の前提 • 社内向けチャットサービスの対象ユーザー – 社内の7000人ほどのフロント・ミドル・バックオフィスのメンバー Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 8 • 社内文書検索は正式版としてリリース済み(前回発表時はβ版) • 対象の文書はtxt, PDF, Word, Excel, PowerPoint • LLMはAzure OpenAI(japaneast)を利用 • モデルはgpt-4oとtext-embedding-3-large • チーム体制は推進、分析、開発と分かれており、普及率向上 には各チームのコミットメントが大きく寄与しているが、今 回は開発側の立場での発表となる
9. 結論 ・2024年度上期の開発を通して Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.
10. 2024年度上期の開発を通して • 実績 – 社内普及率が60%を超え、月間利用者数が4000人を超えた • アプローチ – 個人のテンプレートプロンプト共有機能のUX向上 • 全社のID基盤はMicrosoft Entra ID(旧:Azure AD)となっているが、連携面でのコ ンプライアンス上の課題があり、現状は個人単位での管理となっている。 – URL共有機能により、個人のテンプレートプロンプトを共有し合える状態とし た – 生成AI・LLMに対して慣れていないメンバーの利用障壁を下げる • サジェストプロンプトを表示することでチャットを進めやすくする – 初期画面に全社/事業部向けの固定サジェストプロンプトを表示し、チャットを 進める中で、直前のやり取りから次に進める内容をサジェストするプロンプト を表示する – 社内文書検索機能で参照するRAG用文書をリアルタイムに近い形で連携できるようにし た • β版の時点では、業務に関わる特定の文書のみを参照できるようにしていたが、専用 のデータ転送パイプラインを構築することで、全社員がアクセスできる文書に絞り RAGでアクセスできるようにした Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 10
11. 概要の説明 • アーキテクチャ • 選定技術 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.
12. アーキテクチャ Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 12 ユーザー Microsoft SharePoint Microsoft Azure App Service Cosmos DB Azure OpenAI Service Azure AI Search Blob Storage Azure Machine Learning Power BI Azure Functions ・ファイル転送 ・メタデータの追加 社内文書データの ベクトル化 Azure Front Door WAF Policy チャットUI チャット履歴&分析用データ 質問と社内文書から 回答を生成 質問に関連する 社内文書を検索 LangChain Next.js 分析データ の可視化 分析データ の転送 検索用インデ ックスの作成 こちらを追加 Graph API 社内文書取得
13. 選定技術 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 13 • 開発言語： • アプリケーション：TypeScript • データ転送パイプライン：Python • フレームワーク：Next.js • 認証認可：NextAuth.js • インフラ：Azure • メタデータDB：Azure Cosmos DB(NoSQL) • ベクトルDB：Azure AI Search • 自動テスト： • 単体テスト：Vitest, Pytest • E2Eテスト： Playwright • CI/CD：Github Actions • LLM：Azure OpenAI(AOAI) • その他：LangChain.js
14. 取り組んだこと • URL共有機能 • プロンプトサジェスト機能 • 社内文書検索機能(正式版) • (LLM as a judge:プロンプト評価基盤） Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.
15. URL共有機能(機能概要) Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 15 「個人のテンプレートプロンプトをURL形式で他ユーザーに共有できる機能」 →個人利用という制約がありつつも、社内メンバーに共有ができる状態を実現 現状テンプレートプロンプト機能は存在 固定で使いたいプロンプトを、テンプレート名と説明と一緒に管理する機能 →アプリ内でフォルダ管理が可能(dnd-kitを用いて実現) 例：OO分析を行う ためのテンプレート ## 前提 OO ## 条件 OO ## 指示 OO Entra ID認証で紐づく 個人単位での管理が可能 現状はコンプラ上の背景もあり 、事業部や部署、全社向けには 共有ができていない 代替案 URL共有機能
16. URL共有機能(分析方針) Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 16 共有用のURLにクエリパラメータとして共有プロンプトIDを指定 ↑Cosmos DBのドキュメントで管理 { “id”: “shared_prompt_id_1”, “prompt_id”: “prompt_id_1”, “access_count”: 0, … } 共有プロンプトドキュメント { “id”: “prompt_id_1”, “souce_prompt_id”: “prompt_id_1”, “shared_prompt_id”: “shared_prompt_id_1”, … } 個人テンプレート プロンプトドキュメント { “id”: “chat_message_id_1”, “prompt_id”: “prompt_id_2”, “source_prompt_id”: “prompt_id_1”, “shared_prompt_id”: “shared_prompt_id_1”, … } チャット回答ドキュメント 1. テンプレートプロンプトがどの URL共有元から派生しているか わかる 2. チャットを開始するとどのテン プレートプロンプトを利用して いるか(派生元も)わかる →人気なテンプレートプロンプトを 分析し、推進施策に活かせる
17. プロンプトサジェスト機能 事業部側においても、生成AIに抵抗感があったり、触れてみても使い方がわ からないという課題感があった。 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 17 新規利用者でも利用を進めやすくするUI/UXの提供 一環として、プロンプトをサジェストする機能の提供 初期画面の固定プ ロンプト チャットのやり取りで次 に質問するプロンプトの サジェスト
18. 初期画面の固定プロンプト Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 18 • ChatGPTやCopilotのように、初期画面に固定でよく使われるおすすめの プロンプトを表示 – 現状はランダムで4つ選択肢が表示される xxxx yyyy zzzz oooo ## 条件 あなたはOOです。 ## 指示 OOを要約してください。 • Microsoft Entra IDの情報を元に事業部や部署ごとに表示する固定プロン プトを切り替えられるようにしている。 • どこを編集したら良いかわかりやすいように、修正対象をハイライトでき るようにしている ## 条件 あなたはOOです。 ## 指示 OOを要約してください。
19. チャットのやり取りで次に質問するプロンプトのサジェスト Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 19 • 直前の会話内容から次に質問するプロンプトをサジェスト – GPT-4o(PTU)を使用 ## 指示 あなたはアシスタントの返答に対する質問を考えて、様々な質問の候補を計3つ生成しないとい けません。質問は回答例のJSONフォーマットで返してください。もしこの指示に従わない場合、 ペナルティを与えます。 ## 回答例 {{ "messages": ["ユーザーの質問候補1", "ユーザーの質問候補2", "ユーザーの質問候補3"] }} ## 条件 - ユーザー:{${ユーザーメッセージ}},アシスタント:{${アシスタントメッセージ}}に続くセンスのあ るユーザーの質問候補を生成してください。センスのある質問候補には100万円の報酬を支払い ます。 - 質問候補には必ずバリエーションを持たせてください。同じようなメッセージになってしまっ た場合、ペナルティを与えます。 - 質問候補は必ず40文字以下にしてください。40文字を超えてしまった場合、ペナルティを与え ます。 - そのままで質問出来る内容のみ生成してください。質問文ではないメッセージになった場合、 ペナルティを与えます。 - 回答にマークダウンは絶対に適用しないでください。適用した場合、ペナルティを与えます。 参照：https://techblog.cccmkhd.co.jp/entry/2024/01/10/100621
20. チャットのやり取りで次に質問するプロンプトのサジェスト Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 20 • Strucutured Outputsを使った方が良いのでは？ – その通り！ 参照：https://techblog.cccmkhd.co.jp/entry/2024/01/10/100621 • ただ、現在契約しているPTUのモデルは2024-05-13で、Structured Outputsが使えるのは、2024-08-06モデル • 補足：PTUとは？ – Azure OpenAIで指定したスループットを事前に予約することで、安定した パフォーマンスを確保できるリソースの管理単位。50PTU単位で契約が可能。 – 現在、完全に国内に通信を閉ざしてGPT-4oを利用するにはこの契約が必要。 (従量課金としてはGlobal StandardでGPT-4oが利用可能だが、こちらは通信 の入り口は国内だが、海外のいずれかのサーバーに通信が行っている。) • PTUでGPT-4oの2024-08-06モデルが利用できるようになるには、Azure側の対 応待ち、、
21. 社内文書検索機能(正式版)-ファイル転送ジョブ • これまでの社内文書検索機能はβ版で、一部のファイルを手動で連携する 形で実現していた。 • ただ、これだと本当に必要なファイルにアクセスができないため、全社員 がアクセスできるファイルに限定をし、連携をできるようにした。 • SharepointからAzure Blob Storageへのファイル転送ジョブを構築し、2 つのリソース間でのファイルデータに差分が生じた場合に、その差分を Blob Storage側に反映 – Sharepoint側にのみ存在→Blob Storageにファイルをアップロード – Blob Storage側にのみ存在→Blob Storageからファイルを削除 – 更新日時が新しくなっている→Blob Storageにアップロードし直す • Azure Blob Storageの各Blobにメタデータとして、file_idや Sharepoint上のファイルへのリンク等を含ませる – Azure AI SearchのSkillsetを経由して最終的にAzure AI Searchのインデックスに fieldmappingされる Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 21
22. 社内文書検索機能(正式版)-RAGの精度維持 • 以前は100ファイル程だったものが、1000以上のファイルに増えるため、RAGの精度 担保が重要 • 今回はAzure AI Searchのセマンティックハイブリッド検索の力を借りるようにした • 補足：ハイブリッド検索 – 全文検索(BM25)とベクトル検索の検索結果をRRFでリランキングして結果を取得 • 余談：Vertex AI Vector Searchだと密ベクトルと疎ベクトルでハイブリッドを実現 • セマンティックハイブリッド検索 – ハイブリッド検索に加え、文脈をより反映させるため、 Microsoftの独自の機械学習モデルのスコア リングでリランキングを行い結果を取得 – 全文検索は使用言語の影響を受けやすく、トーカナイザーの選択（Kuromoji, Mecab+独自の辞書） によって結果にブレが出やすいが、Azure AI Searchのセマンティックハイブリッド検索によりそ れをカバーできる • ざっくり言うと、ハイブリッド検索のみではスコアが低くても、Microsoftの独自の機械学習モ デルのリランキングによって関連文書のスコアが底上げされるイメージ – 注意点 • レートリミットを回避するには、S1以上のAzure AI Searchプランを選択した上で、セマン ティックランカーのStandardプランを選択する必要がある。 • 結果（所感）：ファイルの量が増えても回答に大きなブレが発生していない – 寧ろ連携ファイルが増えたことで回答の質が向上している Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 22
23. 社内文書検索機能(正式版)-RAGの自動評価 • ただ、今後長期的に、RAGの精度を維持し続けるために、人手で評価し続 けるのは困難 – システム的な定量評価が求められる • 自動でRAGの精度を評価できるようにしたい – LLMの力を借りる • LLM-as-a-judge – LLMを用いて自動的に評価を行う技術であり、人間による評価のコスト削減や一貫性を 保ちながら、自然な感覚で評価を再現できる手法 • 評価ツールとしてのOSSにはRagasを選定 1. RAGの精度評価に特化している 1. HaystackやMlflow、LangSmithもRAG評価は可能だが、Ragasは特化したツール として今後の発展性に期待(まだ一部不備は見受けられる) 2. OSSとして手軽に導入が可能 1. LangChainと組み合わせての利用が可能 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 23
24. 社内文書検索機能(正式版)-RAGの自動評価 • 用いた指標 – 生成モジュールの評価 • Faithfulness(忠実度) – 生成された回答が、検索されたコンテキスト（RAG文書）にどれだけ忠実であり、 文脈に基づいて正確に導かれているかを評価。 • Answer Relevancy(回答の関連性) – 生成された回答が、質問に対してどれだけ適切かつ関連性があるかを評価。 – 検索モジュールの評価 • Context Recall(コンテキストの再現性) – Ground Truthに対して、検索されたコンテキストがどれだけ正確に再現されている かを評価。 • Context Precision(コンテキストの精度) – 検索されたコンテキストの中で、質問に対してどれだけ正確に関連する情報が含ま れているかを評価。 – パイプライン全体の評価 • Answer Semantic Similarity(回答の意味的類似性) – 生成された回答が、Ground Truthとどれだけ意味的に類似しているかを評価。回答 が意味的に似ているかどうかを測る。 • Answer Correctness(回答の正確性) – 生成された回答が、与えられたコンテキストとの忠実度、およびGround Truthとの 比較によってどれだけ正確かを評価。Answer Semantic SimilarityとFaithfulness のスコアを平均して評価される。 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 24 参照:https://qiita.com/warper/items/6b71e6b0325ac23039c4
25. 社内文書検索機能(正式版)-RAGの自動評価(生成モジュール) Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 25 • Faithfulness(忠実度) – 生成された回答が、検索されたコンテキスト（RAG文書）にどれだけ忠実であり、文脈 に基づいて正確に導かれているかを評価。 質問 コンテキスト 回答 Ground Truth
26. 社内文書検索機能(正式版)-RAGの自動評価(生成モジュール) Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 26 • Answer Relevancy(回答の関連性) – 生成された回答が、質問に対してどれだけ適切かつ関連性があるかを評価。 質問 コンテキスト 回答 Ground Truth
27. 社内文書検索機能(正式版)-RAGの自動評価(検索モジュール) Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 27 • Context Recall(コンテキストの再現性) – Ground Truthに対して、検索されたコンテキストがどれだけ正確に再現されているかを 評価。 質問 コンテキスト 回答 Ground Truth
28. 社内文書検索機能(正式版)-RAGの自動評価(検索モジュール) Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 28 • Context Precision(コンテキストの精度) – 検索されたコンテキストの中で、質問に対してどれだけ正確に関連する情報が含まれて いるかを評価。 質問 コンテキスト 回答 Ground Truth
29. 社内文書検索機能(正式版)-RAGの自動評価(パイプライン全体) Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 29 • Answer Semantic Similarity(回答の意味的類似性) – 生成された回答が、Ground Truthとどれだけ意味的に類似しているかを評価。回答が意 味的に似ているかどうかを測る。 質問 コンテキスト 回答 Ground Truth
30. 社内文書検索機能(正式版)-RAGの自動評価(パイプライン全体) Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 30 • Answer Correctness(回答の正確性) – 生成された回答が、与えられたコンテキストとの忠実度、およびGround Truthとの比較によってど れだけ正確かを評価。Answer Semantic SimilarityとFaithfulnessのスコアを平均して評価される。 質問 コンテキスト 回答 Ground Truth
31. 社内文書検索機能(正式版)-Ragasによる評価結果 • 検索と回答生成モデル – Azure OpenAIのgpt-4oとtext-embedding-3-large • 評価モデル – Geminiのgemini-1.5-flash-001 • Ragasだとgemini-1.5-pro-001で一部の出力で内部エラーが発生したため、今回は 使用を断念 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 31 • 明らかに間違った回答が想定されるケース(※) {'faithfulness': 1.0000, 'answer_relevancy': 0.3593, 'context_precision': 0.0000, 'context_recall': 0.0000, 'answer_similarity': 0.2427, 'answer_correctness': 0.0607} • 正しい回答が想定されるケース(※) {'faithfulness': 1.0000, 'answer_relevancy': 0.6487, 'context_precision': 1.0000, 'context_recall': 0.5652, 'answer_similarity': 0.9188, 'answer_correctness': 0.2297} ※ 一部Ragasの内部エラーにより、スコア計算に不備が生じている可能性あり。出力される数値には誤差が含まれる可能性があるため、結 果は参考までに。正確な評価を行うには、追加の確認や再評価が必要。
32. 今後の課題 • LLM-as-a-judge: アドホック→バッチによる自動 評価 • LLMフレンドリーな社内文書の整備 • 画像の入った非構造の文書ファイルに対して • Customer Copyright Commitment(CCC)への対 応強化 • 更なる機能拡充 • KPIの見直しと効果的なデータ分析 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.
33. LLM-as-a-judge: アドホック→バッチによる自動評価 • 今回はアドホックに実行できるようにしたは良いものの – 1000以上ある社内文書に対して一つ一つ開発サイドで評価のためのground truthを整 備するのは現実的に難しい、、 • ユーザー側のオンライン評価と結び付けられる仕組みを作る – ユーザー側のFBをground truthとして結び付けられるようにし、全社員で協力して評価 の仕組みを整備できるようにする • こちらのFBにより、ground truthを整備し、オフライン評価ができる環境を整備 • 併せてLangfuseと組み合わせてプロンプト管理を行い、オブザーバビリ ティを高める – Ragasでの評価結果を流し込む – LangSmithのクラウド版は国内リージョンが存在せず、オンプレ版はエンタープライズ 契約が必要 • 一方でLangfuseはPostgreSQLを利用してOSS版を利用できる Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 33
34. LLMフレンドリーな社内文書の整備 • 全社員がアクセス可能な社内文書を連携できるようにしたところ、、 – 社内ツールに関して古いサービスの説明書が混ざっている – 社内用語集が不足している – 画像混じりの文書が比較的多く存在する – それ以外にも「doda」の説明等、一部足りない文書が存在する • 上記に対する対策例 – 古いドキュメントに関しては、バージョニングの観点では重要だが、それが全社員がア クセスできる状態になっている点が問題なため、運用チームと連携をして順次非公開に していく – 不足している文書に関しては、社内要望を通して担当チームと連携をして文書を拡充し ていく • 画像等の入った文書に関して、 – LLMフレンドリーなドキュメントに整備していく方針の検討 • 例えば、画像を抽出できるようにするよりも、OOを説明する画像が存在する旨をド キュメントに追記することで、RAGによりドキュメント参照を誘導できるようにす る Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 34
35. 画像等の入った非構造の文書ファイルに対して • LLMフレンドリーな文書整備だけでは対処し切れないOCRが必要なスキャ ン文書ファイルや、画像やテキストボックスが複雑に混ざった文書ファイ ルへの対応 • シンプルなファイル – Azure AI SearchのOCRのSkillset等を駆使して対処 • より複雑なファイル – システム設計書やビジネスサイドの業務フロー等 • Azure Document Intelligenceを利用することも視野に入れて検討 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 35
36. Customer Copyright Commitment(CCC)への対応強化 • Customer Copyright Commitment(CCC)とは？ – MicrosoftがAzure OpenAIの出力コンテンツに関連する知的財産権のクレームから顧客 を保護するための取り組み。顧客は必要な軽減策を実施することで、この保護を受ける ことができる。 • 必須対応策 – メタプロンプトの設定 • モデルが著作権侵害を防ぐよう指示するメタプロンプトが必要 – テスト及び評価レポートの作成 • Azure OpenAIの出力テストのレポートを作成し、必要に応じてMicrosoftに提供で きるようにする – テキストやコード生成の場合 • コンテンツフィルターの設定 • 注意点 – Azure OpenAI Serviceで新しい機能やモデル等が追加された場合に対応策が更新される ことがあり、公開日から6ヶ月以内に新しい対応策を実装する必要がある Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 36 参照：https://learn.microsoft.com/ja-jp/legal/cognitive-services/openai/customer-copyright-commitment?context=%2Fazure%2Fai-services%2Fopenai%2Fcontext%2Fcontext
37. 更なる機能拡充 • Web検索機能 – より最新の情報を元に、Bing等の検索APIをコールしてLLMの回答を補強する • ただ何の最新情報を取りたいかによってフィジビリが変わる – 検索結果のページをさらに探索する必要がある場合は、その情報が取得できな い可能性もある • 達成したい内容によってはWeb検索以外の選択肢も持てる可能性はある • ファイル読み込み機能 – チャットをしながらファイルをアップロードして読み込む機能 • WordやExcel、PowerPoint等の情報を参照して回答してもらう • コードインタプリタ機能 – 非エンジニアでもデータ分析・可視化ができるようにする • Azure OpenAIのアシスタントAPIではまだプレビュー版 – 本家のOpenAIでもまだBeta版 • 画像生成機能 – DALLE-3モデルを使用 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 37 参照：https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/code-interpreter?tabs=python
38. KPIの見直しと効果的なデータ分析 • 現状は普及率をKPIとしているが、より深掘ったKPIを策定し、生成AI チャットサービスによる業務効率化を更に促進 – 社員の残業時間の削減率 – 各事業部でのKPIの向上率 – etc • 社内の他の基幹システムとも連携を図り、分析目的に取得できるデータを 増やす Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 38
39. まとめ Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.
40. まとめ • 2024年度上期を通して普及率向上のためにUXを向上させる機能のリリー スを進めました – URL共有機能 – サジェストプロンプト機能 – 社内文書検索機能(正式版) • LLMOpsの体制整備のためにLLM-as-a-judgeのアドホック実行をできる ようにしました • 今後の方針について話しました – LLM-as-a-judgeをバッチで自動化できるようにする – LLMフレンドリーな社内文書の整備 – 画像等の入った非構造の文書ファイルに対して – Customer Copyright Commitment(CCC)への対応強化 – Web検索機能やファイル読み込み機能等の更なる機能拡充 – KPIの見直しと効果的なデータ分析 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 40
41. Q&A Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.