自社サービスのマニュアルをAIがクイズ化！クイズで社員の知識向上

自社サービスのマニュアルをAIがクイズ化！クイズで社員の知識向上 @owayo #さくらのAI Meetup vol.5「データベース」

自己紹介大輪洋平 (おおわようへい) / @owayo ブライシス株式会社 SREチーム所属

自己紹介：趣味アプリ開発 (Chrome拡張) • Meet2text Google Meetでの会議の議事録をAIで自動作成&管理 • Git Branch
Name Generator for GitLab & GitHub GitLab、GitHubで、IssueのタイトルからAIでブランチ名候補を生成 • Page2Markdown Webページの指定箇所をMarkdownに変換しコピー or ダウンロード ChatGPTなどのAIアシスタントと相性バツグン

関わっているプロダクト • クラウド型コールセンターシステム BIZTELのCI/CD周り • 直接開発には携わっていない • 機能が多すぎて知らないことが多い

今回のテーマ: RAGを用いたクイズアプリの作成 • 知らない機能が多いので、少しでも自社サービスに関して考える時間を作りたい

自社サービスについてのクイズを出すSlack App • 自社サービスについてのクイズを出すSlack Appを作成することで、自社サービスの機能を把握することができるかも・・・  • クイズに関してはマニュアルを活用し、RAGでクイズを作ることができそう 

構成 LangChain ChromaDB NVIDIA L4 ジョブ実行送信出題・解答クイズ生成

BIZTELのオンラインマニュアルからデータ取得 • オンラインマニュアルのトップページからリンクをたどりクロールするプログラムを作成しマニュアルデータを取得クロールによる意外なメリット • 不正なリンクを数か所検出することができた -> 修正済み

データのサニタイズを行いMarkdownに変換 • RAGに用いるデータになるので、不要な文字列があるとRAGの精度に影響する • Markdown変換時にゴミになってしまうタグを除去 • 除去したHTMLをMarkdownに変換

マニュアルデータをベクターデータに変換 • Embeddingを行うモデルは色々と試した結果 intfloat/multilingual-e5-large が一番違和感のないクイズを作ることができた multilingual-e5-large は、MRR@10で最高70.5を達成。 OpenAIのEmbeddingモデル text-embedding-3-large
よりも高いスコア • Markdownのデータをベクターデータに変換

ベクターデータをChromaDBに保存 • ベクターデータを効率的に検索・取得するためのデータベースとして ChromaDBを採用 • 高速で効率的なベクトル検索が可能 • テキストだけでなく、画像などのマルチモーダルデータも扱える collection.add( ids=["id1",
"id2", "id3", ...] documents=["マニュアルデータ1...", "マニュアルデータ2...", "マニュアルデータ3...", ...], metadatas=[ {"title": "xx機能", "source": "https://example.com/xxx1"}, {"title": "〇〇機能", "source": "https://example.com/xxx2"}, {"title": "□□機能", "source": "https://example.com/xxx3"}, ...], )

ChromaDBを用いてRAGをする際の注意 • RAGで用いるベクトル間の類似度を計算する方法が、デフォルトでは L2(ユークリッド距離) での類似度計算になっている • テキストデータが長いか短いかは必ずしも意味の類似性に直結しないため不向き •
意味的な方向性に焦点を当てるため、コサイン類似度を用いるよう設定する collection = client.create_collection( name="collection_name", metadata={"hnsw:space": "cosine"} )

LangChainでRAGを用いてクイズ生成 • マニュアルのページタイトルをランダムに取得し、そのタイトルをクイズテーマとする • search_type="similarity_score_threshold", "score_threshold": 0.5 を指定し、類似度が0.5を満たすデータを用いるよう設定 ConversationalRetrievalChain.from_llm(
llm, chroma_client.as_retriever( search_type="similarity_score_threshold", search_kwargs={"score_threshold": 0.5, "k": 4}, ), combine_docs_chain_kwargs={"prompt": chat_prompt}, response_if_no_docs_found="作成できませんでした", )

生成したクイズデータをGASに送り、出題・解答させる • クイズデータはLangChainのOutputParserを利用してJSONフォーマットで扱えるようにし、GASの出題プログラムに送信 • 朝9:30になったらクイズを出題 • 10:00になったら解答発表クイズデータ送信出題
解答解答受付

実際のクイズデータ { "question": "BIZTELバージョン3.10.0でのエージェントコントロールの改修内容として正しいものはどれですか？", "choices": [ "内線番号をクリックすると直接発信できるようになった。", "エージェントのログイン回数が記録されるようになった。", "チャットメッセージの送信上限が5000文字に増えた。", "エージェントのステータスに影響を与える新たなロールが追加された。"
], "answer": 0, "explanation": "BIZTELバージョン3.10.0以降では、エージェントコントロールにおいて内線番号をクリックすると直接発信できるように改修されました。", "hint": "この改修は通話関連の操作性向上に関連しています。", "source_urls": [ "https://manual.biztel.jp/hc/ja/articles/900006252926" ] }

実際の画面 (出題

実際の画面 (ヒントヒントは気軽に見れるように、/biztel_quiz_hint でヒントを見たかどうか、他の人からは分からないようにした

実際の画面 (回答

実際の画面 (解答

一定期間運用してみた意見 • クイズの内容が正しくない ◦ 選択肢のなかに正解が無い ◦ クイズの問題文が正しくない・わかりにくい

生成したクイズデータを評価してからクイズとして採用する • RAGで生成したクイズデータを、再度RAGに渡し、正解であればクイズとして採用するプロセスを導入 { "question": "『ニャー』と鳴く動物はどれでしょう？", "choices": [ "犬",
"猫", "鳥", "カエル" ], "answer": 1, "explanation": "『ニャー』と鳴く動物は猫です。猫は柔軟で俊敏な動物で、人々に愛されているペットです。", "hint": "この動物は時々高いところに登るのが好きです。", "source_urls": [ "https://ja.wikipedia.org/wiki/%E7%8C%AB" ] }

• 上記のプロンプトで返された答えが、answerの値と一致すればクイズとして採用する • answerと一致しなければ問題を再作成 • 運用してみたところ、おおむね再作成なし、多くて2回再作成でクイズとして採用できている Contextを参照して以下のクイズに答えてください問題:
『ニャー』と鳴く動物はどれでしょう？ 1. 犬 2. 猫 3. 鳥 4. カエル Context: 省略

今後 • 今回はベクトル検索のみだったが、キーワード検索も組み込み、ハイブリッド検索を行うことでRAGの精度を高める方法を試す • BIZTELの新しいバージョンがリリースされてから一定期間は更新内容に関する問題を出題する (試験運用中 • 他のサービスや技術に対するクイズにも応用し、社員の知識向上を図る

RAGでクイズデータの精度を高めるための方法まとめ • データのサニタイズ • 高精度なEmbeddingモデルの採用 • 生成されたデータを再度RAGににかけて検証

自社サービスのマニュアルをAIがクイズ化！クイズで社員の知識向上

自社サービスのマニュアルをAIがクイズ化！クイズで社員の知識向上

Yohei

Other Decks in Technology

Featured

Transcript