二刀流で切り開くRAG活用術

Transcript

1. RAG活用術 RAG活用術 #OFFERS_LLM最新活用事例 二刀流で切り開く 二刀流で切り開く 株式会社Passionate Genius CTO 森本尊礼
2. 25歳 株式会社PASSIONATE GENIUS CTO 趣味 パーティーを開くこと, 筋トレ, 女装 経歴 経歴 明治大学卒 機械学習・自然言語処理(NLP)の研究 ゲームエンジニアとしてハイカジュゲームを開発 AI電話オペレーターnocall.aiを開発 〃 〃 卒業後現職に就任
3. セマンティック検索だけでも できないこともある ハイブリット検索とリランキング 自社プロダクトの活用例 Agenda
4. セマンティック検索 語句の意味を解釈する 検索エンジン技術 文脈に沿ってクエリを 解釈する
5. セマンティック検索 RAGを改善するために Embeddingモデルを改善 未学習の単語に対して ベクトルを作成する能力が低い 専門用語や固有名詞で 検索かけてもヒットしない 非 経済合理 的 の問題点
6. 例えば... Q: サーバレス モデルサービング のレーテンシーはどのぐらい？ A: レーテンシーのオーバーヘッドはベストエフォートで100m秒以下です。 Q: モデル・レジストリが必要なのはなぜですか? A: MLflowtrackingが機械学習トレーニング・プロセスのエンドツーエンドの再現性を提 供するのと同じように、モデル・レジストリはデプロイプロセスの再現性とガバナンス を提供します。本番システムはミッションクリティカルなので、コンポーネントはACL で分離できるため、特定のユーザーしかが本番モデルを変更できません。バージョン管 理とCI/CDワークフロー統合は、モデルを本番環境にデプロイする際の重要な役割でも あります。 ベクトルでは下位に
7. RAG周辺技術を使用してみよう Hyde、Rag fusion、etc... ⬇︎ Hyde⬇︎ 速度に課題を 抱えている ⬇︎ Rag fusion⬇︎ 曖昧なクエリだと 複数のクエリも曖昧に BUT BUT
8. 2つの手法 2つの手法
9. 約5~10%ほどの精度改善 ハイブリッド検索 ２つの手法 リランキング
10. ＝ キーワード検索＋ベクトル検索 意味的な類似性を考慮した検索 単語の出現頻度と文書の長さによる関係性の評価 ハイブリット検索
11. 2つのスコア融合方法 逆順位融合 　Reciprocal Rank Fusion 順位に基づいた スコアの計算 順位がスコアに与える 影響の大きさ 文章の順位 一般的には k=60 加重合計スコア それぞれのモデルがどの程度 スコアに影響するか決定 BM25スコアとベクトルスコアを 適切な比率で加重平均 ↓ ↓ ↓ 異なる特徴を持つ 検索手法の利点を統合可能
12. OkapiBM25 FAISS text-embedding-3-large (OpenAI) ベクトル検索 キーワード検索 前提と評価指標 使用データセット 弊社の資料・170チャンク クエリとドキュメントが1対1で紐付いている 回答が何番目に表示されているかを 加味した回答率 ユーザーにK個アイテムをおすすめし、 ユーザーの好きなアイテム群のうち 何個当てることができたかという割合 評価指標 MRR Recall
13. Recall@1 Recall@5 Recall@10 MRR@5 MRR@10 vector 0.506 0.882 0.947 0.653 0.661 keyword 0.500 0.900 0.953 0.655 0.662 RFF hybrid 0.553 0.929 0.971 0.707 0.713 weighted sum hybrid 0.606 0.953 0.988 0.738 0.742 結果
14. RAGの結果を再度並べ替えて 精度を向上する方法 リランキング Cohereのリランキング APIを使用
15. Recall@1 Recall@5 Recall@10 MRR@5 MRR@10 vector rerank 0.712 0.965 0.988 0.817 0.821 keyword rerank 0.712 0.965 0.988 0.817 0.823 RFF hybrid rerank 0.712 0.959 0.982 0.817 0.821 weighted sum hybrid rerank 0.712 0.959 0.982 0.817 0.821 ハイブリットで上がりにくい ベクトル検索・キーワード検索での精度改善が著しい 結果
16. あるデータセットでは、 キーワード検索が足を引っ張り 性能が上がらない ハイブリッド検索によって 精度が下がることも 注意点 リランキングは コストがかかる
17. Recall@1 Recall@5 Recall@10 MRR@5 MRR@10 vector 0.722 0.839 0.879 0.768 0.773 vector rerank 0.710 0.820 0.857 0.752 0.757 keyword 0.556 0.719 0.753 0.621 0.626 keyword rerank 0.685 0.765 0.790 0.717 0.721 hybrid 0.657 0.796 0.865 0.710 0.719 RFF hybrid rerank 0.733 0.858 0.881 0.781 0.784 weighted sum hybrid 0.731 0.836 - 0.773 - weighted sum hybrid rerank 0.733 0.858 - 0.781 - 結果 データセット：TyDiQA リランキングを挟むことで、一応数%ほどの向上
18. 〜自社プロダクト〜
19. 導入 業界 事例 Webサイト（nocall.ai）から資料請求で AI電話をご体験いただけます 活用事例① 〜架電業務を完全自動化〜 人間のような会話応答が可能なAI電話オペレーター 訓練・管理は不要、無限の記憶力を保持 365日24時間稼働 人材 不動産 イベントなど リマインド電話の自動化 家賃滞納社への催促 SaaSオンボーディングのサポート インサイドセールス電話の自動化 イベント予定確認の自動化 など
21. 〜ブラウザ搭載接客AIアバター〜 全国の三越にて レザーグッズを提供する会社様 スムーズな会話でAIが接客 ブランド・商品詳細情報をRAGで取得 返答として使用 商品・ニッチ情報はRAGが強い 活用事例②
23. X.comリンク @1MoNo2Prod 新メンバー 募集中です！！
24. https://zenn.dev/wm3/articles/233dccc6e54dab https://dl.acm.org/doi/10.1145/1571941.1572114 https://techcommunity.microsoft.com/t5/ai-azure-ai- services-blog/azure-ai-search-outperforming-vector- search-with-hybrid/ba-p/3929167 https://www.elastic.co/jp/blog/improving- information-retrieval-elastic-stack-hybrid https://arxiv.org/abs/2210.11934 https://fintan.jp/page/10301/ BM25解説 RRF論文 マイクロソフトによるRAG調査 ハイブリット検索 加重合計スコア FOR ハイブリット検索 RAGの精度改善をするための８つの戦略 参考文献