月間4000人以上の社内利用を達成したRAG搭載LLMチャットアプリの機能改善の取り組み

by Seiya Umemoto

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

自己紹介 • 名前：梅本誠也 • X(旧Twitter): @seiyasm18 • 業務： – データエンジニア • 法人データ基盤構築、運用 • ETLやデータカタログツール選定及び導入のPoC – LLMアプリエンジニア • 全社向けの生成AIチャットアプリ開発 • 社員の目標設定を支援する生成AIチャットアプリ開発 • LLMOpsチームでのR&D活動 • 経歴 – 韓国5年間留学、フィリピン&アメリカ短期留学経験有り – 学生時代の研究テーマ： • 自動トレード、ラジコンカーの自動走行 • 趣味： – 登山、ランニング、歴史物(特に中国史)、技術関連のオフ会 • 好きなプログラミング言語： – Go, TypeScript, Python • 好きなサービス： – Google Cloud Run, Azure AI Studio Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 4

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

社内向け生成AIチャットサービスの概要 • 社内イントラ用のボットサービス – ルールベースのため、読み込ませた定型の資料内容以外のことは回答ができない Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 7 • 課題点 • 日々蓄積する非構造の社内データに対して柔軟に対応することは現実的に不可能、、 • パーソルキャリア内で利用される生成AIチャットサービスを構築 • 標準チャットとして一般的な質問に対する回答は可能社内文書を参照して回答を可能にする生成AIを活用して上手く対応をしたい

Slide 8

Slide 8 text

今回の話の前提 • 社内向けチャットサービスの対象ユーザー – 社内の7000人ほどのフロント・ミドル・バックオフィスのメンバー Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 8 • 社内文書検索は正式版としてリリース済み(前回発表時はβ版) • 対象の文書はtxt, PDF, Word, Excel, PowerPoint • LLMはAzure OpenAI(japaneast)を利用 • モデルはgpt-4oとtext-embedding-3-large • チーム体制は推進、分析、開発と分かれており、普及率向上には各チームのコミットメントが大きく寄与しているが、今回は開発側の立場での発表となる

Slide 9

Slide 9 text

Slide 10

Slide 10 text

2024年度上期の開発を通して • 実績 – 社内普及率が60%を超え、月間利用者数が4000人を超えた • アプローチ – 個人のテンプレートプロンプト共有機能のUX向上 • 全社のID基盤はMicrosoft Entra ID(旧:Azure AD)となっているが、連携面でのコンプライアンス上の課題があり、現状は個人単位での管理となっている。 – URL共有機能により、個人のテンプレートプロンプトを共有し合える状態とした – 生成AI・LLMに対して慣れていないメンバーの利用障壁を下げる • サジェストプロンプトを表示することでチャットを進めやすくする – 初期画面に全社/事業部向けの固定サジェストプロンプトを表示し、チャットを進める中で、直前のやり取りから次に進める内容をサジェストするプロンプトを表示する – 社内文書検索機能で参照するRAG用文書をリアルタイムに近い形で連携できるようにした • β版の時点では、業務に関わる特定の文書のみを参照できるようにしていたが、専用のデータ転送パイプラインを構築することで、全社員がアクセスできる文書に絞り RAGでアクセスできるようにした Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 10

Slide 11

Slide 11 text

Slide 12

Slide 12 text

アーキテクチャ Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 12 ユーザー Microsoft SharePoint Microsoft Azure App Service Cosmos DB Azure OpenAI Service Azure AI Search Blob Storage Azure Machine Learning Power BI Azure Functions ・ファイル転送・メタデータの追加社内文書データのベクトル化 Azure Front Door WAF Policy チャットUI チャット履歴&分析用データ質問と社内文書から回答を生成質問に関連する社内文書を検索 LangChain Next.js 分析データの可視化分析データの転送検索用インデックスの作成こちらを追加 Graph API 社内文書取得

Slide 13

Slide 13 text

選定技術 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 13 • 開発言語： • アプリケーション：TypeScript • データ転送パイプライン：Python • フレームワーク：Next.js • 認証認可：NextAuth.js • インフラ：Azure • メタデータDB：Azure Cosmos DB(NoSQL) • ベクトルDB：Azure AI Search • 自動テスト： • 単体テスト：Vitest, Pytest • E2Eテスト： Playwright • CI/CD：Github Actions • LLM：Azure OpenAI(AOAI) • その他：LangChain.js

Slide 14

Slide 14 text

Slide 15

Slide 15 text

URL共有機能(機能概要) Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 15 「個人のテンプレートプロンプトをURL形式で他ユーザーに共有できる機能」 →個人利用という制約がありつつも、社内メンバーに共有ができる状態を実現現状テンプレートプロンプト機能は存在固定で使いたいプロンプトを、テンプレート名と説明と一緒に管理する機能 →アプリ内でフォルダ管理が可能(dnd-kitを用いて実現) 例：OO分析を行うためのテンプレート ## 前提 OO ## 条件 OO ## 指示 OO Entra ID認証で紐づく個人単位での管理が可能現状はコンプラ上の背景もあり、事業部や部署、全社向けには共有ができていない代替案 URL共有機能

Slide 16

Slide 16 text

URL共有機能(分析方針) Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 16 共有用のURLにクエリパラメータとして共有プロンプトIDを指定 ↑Cosmos DBのドキュメントで管理 { “id”: “shared_prompt_id_1”, “prompt_id”: “prompt_id_1”, “access_count”: 0, … } 共有プロンプトドキュメント { “id”: “prompt_id_1”, “souce_prompt_id”: “prompt_id_1”, “shared_prompt_id”: “shared_prompt_id_1”, … } 個人テンプレートプロンプトドキュメント { “id”: “chat_message_id_1”, “prompt_id”: “prompt_id_2”, “source_prompt_id”: “prompt_id_1”, “shared_prompt_id”: “shared_prompt_id_1”, … } チャット回答ドキュメント 1. テンプレートプロンプトがどの URL共有元から派生しているかわかる 2. チャットを開始するとどのテンプレートプロンプトを利用しているか(派生元も)わかる →人気なテンプレートプロンプトを分析し、推進施策に活かせる

Slide 17

Slide 17 text

プロンプトサジェスト機能事業部側においても、生成AIに抵抗感があったり、触れてみても使い方がわからないという課題感があった。 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 17 新規利用者でも利用を進めやすくするUI/UXの提供一環として、プロンプトをサジェストする機能の提供初期画面の固定プロンプトチャットのやり取りで次に質問するプロンプトのサジェスト

Slide 18

Slide 18 text

初期画面の固定プロンプト Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 18 • ChatGPTやCopilotのように、初期画面に固定でよく使われるおすすめのプロンプトを表示 – 現状はランダムで4つ選択肢が表示される xxxx yyyy zzzz oooo ## 条件あなたはOOです。 ## 指示 OOを要約してください。 • Microsoft Entra IDの情報を元に事業部や部署ごとに表示する固定プロンプトを切り替えられるようにしている。 • どこを編集したら良いかわかりやすいように、修正対象をハイライトできるようにしている ## 条件あなたはOOです。 ## 指示 OOを要約してください。

Slide 19

Slide 19 text

チャットのやり取りで次に質問するプロンプトのサジェスト Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 19 • 直前の会話内容から次に質問するプロンプトをサジェスト – GPT-4o(PTU)を使用 ## 指示あなたはアシスタントの返答に対する質問を考えて、様々な質問の候補を計3つ生成しないといけません。質問は回答例のJSONフォーマットで返してください。もしこの指示に従わない場合、ペナルティを与えます。 ## 回答例 {{ "messages": ["ユーザーの質問候補1", "ユーザーの質問候補2", "ユーザーの質問候補3"] }} ## 条件 - ユーザー:{${ユーザーメッセージ}},アシスタント:{${アシスタントメッセージ}}に続くセンスのあるユーザーの質問候補を生成してください。センスのある質問候補には100万円の報酬を支払います。 - 質問候補には必ずバリエーションを持たせてください。同じようなメッセージになってしまった場合、ペナルティを与えます。 - 質問候補は必ず40文字以下にしてください。40文字を超えてしまった場合、ペナルティを与えます。 - そのままで質問出来る内容のみ生成してください。質問文ではないメッセージになった場合、ペナルティを与えます。 - 回答にマークダウンは絶対に適用しないでください。適用した場合、ペナルティを与えます。参照：https://techblog.cccmkhd.co.jp/entry/2024/01/10/100621

Slide 20

Slide 20 text

チャットのやり取りで次に質問するプロンプトのサジェスト Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 20 • Strucutured Outputsを使った方が良いのでは？ – その通り！参照：https://techblog.cccmkhd.co.jp/entry/2024/01/10/100621 • ただ、現在契約しているPTUのモデルは2024-05-13で、Structured Outputsが使えるのは、2024-08-06モデル • 補足：PTUとは？ – Azure OpenAIで指定したスループットを事前に予約することで、安定したパフォーマンスを確保できるリソースの管理単位。50PTU単位で契約が可能。 – 現在、完全に国内に通信を閉ざしてGPT-4oを利用するにはこの契約が必要。 (従量課金としてはGlobal StandardでGPT-4oが利用可能だが、こちらは通信の入り口は国内だが、海外のいずれかのサーバーに通信が行っている。) • PTUでGPT-4oの2024-08-06モデルが利用できるようになるには、Azure側の対応待ち、、

Slide 21

Slide 21 text

社内文書検索機能(正式版)-ファイル転送ジョブ • これまでの社内文書検索機能はβ版で、一部のファイルを手動で連携する形で実現していた。 • ただ、これだと本当に必要なファイルにアクセスができないため、全社員がアクセスできるファイルに限定をし、連携をできるようにした。 • SharepointからAzure Blob Storageへのファイル転送ジョブを構築し、2 つのリソース間でのファイルデータに差分が生じた場合に、その差分を Blob Storage側に反映 – Sharepoint側にのみ存在→Blob Storageにファイルをアップロード – Blob Storage側にのみ存在→Blob Storageからファイルを削除 – 更新日時が新しくなっている→Blob Storageにアップロードし直す • Azure Blob Storageの各Blobにメタデータとして、file_idや Sharepoint上のファイルへのリンク等を含ませる – Azure AI SearchのSkillsetを経由して最終的にAzure AI Searchのインデックスに fieldmappingされる Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 21

Slide 22

Slide 22 text

社内文書検索機能(正式版)-RAGの精度維持 • 以前は100ファイル程だったものが、1000以上のファイルに増えるため、RAGの精度担保が重要 • 今回はAzure AI Searchのセマンティックハイブリッド検索の力を借りるようにした • 補足：ハイブリッド検索 – 全文検索(BM25)とベクトル検索の検索結果をRRFでリランキングして結果を取得 • 余談：Vertex AI Vector Searchだと密ベクトルと疎ベクトルでハイブリッドを実現 • セマンティックハイブリッド検索 – ハイブリッド検索に加え、文脈をより反映させるため、 Microsoftの独自の機械学習モデルのスコアリングでリランキングを行い結果を取得 – 全文検索は使用言語の影響を受けやすく、トーカナイザーの選択（Kuromoji, Mecab+独自の辞書）によって結果にブレが出やすいが、Azure AI Searchのセマンティックハイブリッド検索によりそれをカバーできる • ざっくり言うと、ハイブリッド検索のみではスコアが低くても、Microsoftの独自の機械学習モデルのリランキングによって関連文書のスコアが底上げされるイメージ – 注意点 • レートリミットを回避するには、S1以上のAzure AI Searchプランを選択した上で、セマンティックランカーのStandardプランを選択する必要がある。 • 結果（所感）：ファイルの量が増えても回答に大きなブレが発生していない – 寧ろ連携ファイルが増えたことで回答の質が向上している Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 22

Slide 23

Slide 23 text

社内文書検索機能(正式版)-RAGの自動評価 • ただ、今後長期的に、RAGの精度を維持し続けるために、人手で評価し続けるのは困難 – システム的な定量評価が求められる • 自動でRAGの精度を評価できるようにしたい – LLMの力を借りる • LLM-as-a-judge – LLMを用いて自動的に評価を行う技術であり、人間による評価のコスト削減や一貫性を保ちながら、自然な感覚で評価を再現できる手法 • 評価ツールとしてのOSSにはRagasを選定 1. RAGの精度評価に特化している 1. HaystackやMlflow、LangSmithもRAG評価は可能だが、Ragasは特化したツールとして今後の発展性に期待(まだ一部不備は見受けられる) 2. OSSとして手軽に導入が可能 1. LangChainと組み合わせての利用が可能 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 23

Slide 24

Slide 24 text

社内文書検索機能(正式版)-RAGの自動評価 • 用いた指標 – 生成モジュールの評価 • Faithfulness(忠実度) – 生成された回答が、検索されたコンテキスト（RAG文書）にどれだけ忠実であり、文脈に基づいて正確に導かれているかを評価。 • Answer Relevancy(回答の関連性) – 生成された回答が、質問に対してどれだけ適切かつ関連性があるかを評価。 – 検索モジュールの評価 • Context Recall(コンテキストの再現性) – Ground Truthに対して、検索されたコンテキストがどれだけ正確に再現されているかを評価。 • Context Precision(コンテキストの精度) – 検索されたコンテキストの中で、質問に対してどれだけ正確に関連する情報が含まれているかを評価。 – パイプライン全体の評価 • Answer Semantic Similarity(回答の意味的類似性) – 生成された回答が、Ground Truthとどれだけ意味的に類似しているかを評価。回答が意味的に似ているかどうかを測る。 • Answer Correctness(回答の正確性) – 生成された回答が、与えられたコンテキストとの忠実度、およびGround Truthとの比較によってどれだけ正確かを評価。Answer Semantic SimilarityとFaithfulness のスコアを平均して評価される。 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 24 参照:https://qiita.com/warper/items/6b71e6b0325ac23039c4

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

社内文書検索機能(正式版)-RAGの自動評価(パイプライン全体) Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 29 • Answer Semantic Similarity(回答の意味的類似性) – 生成された回答が、Ground Truthとどれだけ意味的に類似しているかを評価。回答が意味的に似ているかどうかを測る。質問コンテキスト回答 Ground Truth

Slide 30

Slide 30 text

社内文書検索機能(正式版)-RAGの自動評価(パイプライン全体) Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 30 • Answer Correctness(回答の正確性) – 生成された回答が、与えられたコンテキストとの忠実度、およびGround Truthとの比較によってどれだけ正確かを評価。Answer Semantic SimilarityとFaithfulnessのスコアを平均して評価される。質問コンテキスト回答 Ground Truth

Slide 31

Slide 31 text

社内文書検索機能(正式版)-Ragasによる評価結果 • 検索と回答生成モデル – Azure OpenAIのgpt-4oとtext-embedding-3-large • 評価モデル – Geminiのgemini-1.5-flash-001 • Ragasだとgemini-1.5-pro-001で一部の出力で内部エラーが発生したため、今回は使用を断念 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 31 • 明らかに間違った回答が想定されるケース(※) {'faithfulness': 1.0000, 'answer_relevancy': 0.3593, 'context_precision': 0.0000, 'context_recall': 0.0000, 'answer_similarity': 0.2427, 'answer_correctness': 0.0607} • 正しい回答が想定されるケース(※) {'faithfulness': 1.0000, 'answer_relevancy': 0.6487, 'context_precision': 1.0000, 'context_recall': 0.5652, 'answer_similarity': 0.9188, 'answer_correctness': 0.2297} ※ 一部Ragasの内部エラーにより、スコア計算に不備が生じている可能性あり。出力される数値には誤差が含まれる可能性があるため、結果は参考までに。正確な評価を行うには、追加の確認や再評価が必要。

Slide 32

Slide 32 text

今後の課題 • LLM-as-a-judge: アドホック→バッチによる自動評価 • LLMフレンドリーな社内文書の整備 • 画像の入った非構造の文書ファイルに対して • Customer Copyright Commitment(CCC)への対応強化 • 更なる機能拡充 • KPIの見直しと効果的なデータ分析 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.

Slide 33

Slide 33 text

LLM-as-a-judge: アドホック→バッチによる自動評価 • 今回はアドホックに実行できるようにしたは良いものの – 1000以上ある社内文書に対して一つ一つ開発サイドで評価のためのground truthを整備するのは現実的に難しい、、 • ユーザー側のオンライン評価と結び付けられる仕組みを作る – ユーザー側のFBをground truthとして結び付けられるようにし、全社員で協力して評価の仕組みを整備できるようにする • こちらのFBにより、ground truthを整備し、オフライン評価ができる環境を整備 • 併せてLangfuseと組み合わせてプロンプト管理を行い、オブザーバビリティを高める – Ragasでの評価結果を流し込む – LangSmithのクラウド版は国内リージョンが存在せず、オンプレ版はエンタープライズ契約が必要 • 一方でLangfuseはPostgreSQLを利用してOSS版を利用できる Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 33

Slide 34

Slide 34 text

LLMフレンドリーな社内文書の整備 • 全社員がアクセス可能な社内文書を連携できるようにしたところ、、 – 社内ツールに関して古いサービスの説明書が混ざっている – 社内用語集が不足している – 画像混じりの文書が比較的多く存在する – それ以外にも「doda」の説明等、一部足りない文書が存在する • 上記に対する対策例 – 古いドキュメントに関しては、バージョニングの観点では重要だが、それが全社員がアクセスできる状態になっている点が問題なため、運用チームと連携をして順次非公開にしていく – 不足している文書に関しては、社内要望を通して担当チームと連携をして文書を拡充していく • 画像等の入った文書に関して、 – LLMフレンドリーなドキュメントに整備していく方針の検討 • 例えば、画像を抽出できるようにするよりも、OOを説明する画像が存在する旨をドキュメントに追記することで、RAGによりドキュメント参照を誘導できるようにする Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 34

Slide 35

Slide 35 text

画像等の入った非構造の文書ファイルに対して • LLMフレンドリーな文書整備だけでは対処し切れないOCRが必要なスキャン文書ファイルや、画像やテキストボックスが複雑に混ざった文書ファイルへの対応 • シンプルなファイル – Azure AI SearchのOCRのSkillset等を駆使して対処 • より複雑なファイル – システム設計書やビジネスサイドの業務フロー等 • Azure Document Intelligenceを利用することも視野に入れて検討 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 35

Slide 36

Slide 36 text

Customer Copyright Commitment(CCC)への対応強化 • Customer Copyright Commitment(CCC)とは？ – MicrosoftがAzure OpenAIの出力コンテンツに関連する知的財産権のクレームから顧客を保護するための取り組み。顧客は必要な軽減策を実施することで、この保護を受けることができる。 • 必須対応策 – メタプロンプトの設定 • モデルが著作権侵害を防ぐよう指示するメタプロンプトが必要 – テスト及び評価レポートの作成 • Azure OpenAIの出力テストのレポートを作成し、必要に応じてMicrosoftに提供できるようにする – テキストやコード生成の場合 • コンテンツフィルターの設定 • 注意点 – Azure OpenAI Serviceで新しい機能やモデル等が追加された場合に対応策が更新されることがあり、公開日から6ヶ月以内に新しい対応策を実装する必要がある Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 36 参照：https://learn.microsoft.com/ja-jp/legal/cognitive-services/openai/customer-copyright-commitment?context=%2Fazure%2Fai-services%2Fopenai%2Fcontext%2Fcontext

Slide 37

Slide 37 text

更なる機能拡充 • Web検索機能 – より最新の情報を元に、Bing等の検索APIをコールしてLLMの回答を補強する • ただ何の最新情報を取りたいかによってフィジビリが変わる – 検索結果のページをさらに探索する必要がある場合は、その情報が取得できない可能性もある • 達成したい内容によってはWeb検索以外の選択肢も持てる可能性はある • ファイル読み込み機能 – チャットをしながらファイルをアップロードして読み込む機能 • WordやExcel、PowerPoint等の情報を参照して回答してもらう • コードインタプリタ機能 – 非エンジニアでもデータ分析・可視化ができるようにする • Azure OpenAIのアシスタントAPIではまだプレビュー版 – 本家のOpenAIでもまだBeta版 • 画像生成機能 – DALLE-3モデルを使用 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 37 参照：https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/code-interpreter?tabs=python

Slide 38

Slide 38 text

KPIの見直しと効果的なデータ分析 • 現状は普及率をKPIとしているが、より深掘ったKPIを策定し、生成AI チャットサービスによる業務効率化を更に促進 – 社員の残業時間の削減率 – 各事業部でのKPIの向上率 – etc • 社内の他の基幹システムとも連携を図り、分析目的に取得できるデータを増やす Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 38

Slide 39

Slide 39 text

Slide 40

Slide 40 text

まとめ • 2024年度上期を通して普及率向上のためにUXを向上させる機能のリリースを進めました – URL共有機能 – サジェストプロンプト機能 – 社内文書検索機能(正式版) • LLMOpsの体制整備のためにLLM-as-a-judgeのアドホック実行をできるようにしました • 今後の方針について話しました – LLM-as-a-judgeをバッチで自動化できるようにする – LLMフレンドリーな社内文書の整備 – 画像等の入った非構造の文書ファイルに対して – Customer Copyright Commitment(CCC)への対応強化 – Web検索機能やファイル読み込み機能等の更なる機能拡充 – KPIの見直しと効果的なデータ分析 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 40