RAGにベクトルDBは必要ない！ DBすら不要で運用の楽な RAG Chatbot を作った話 1 株式会社ラクーンホールディングス 技術戦略部 羽山純

自己紹介 ● 名前 ○ 羽山 純（Jun Hayama） ○ 　　@forrep ● 所属 ○ 株式会社ラクーンホールディングス ● 技術領域 ○ バックエンド・インフラ ○ パフォーマンス改善 ■ MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと ○ AI（企業審査AI） ● 個人活動 ○ アプリ開発 2

はじめに 本日伝えたいことはたったの一つ RAG にベクトルDBは必要ない！ それだけです 3

やりたかったこと 社内の知見を持つチャットボットがほしい （工数を掛けずに簡単に） 4

できたもの 5

できたもの 6 (1) 社内の知見を持っている (2) 詳しい人にパスしてくれる (3) 参考情報を引用してくれる

実現方法 社内の知見を蓄えたチャットボットの実現には以下が候補です ● RAG（Retrieval-Augmented Generation） ● ファインチューニング ● RAG + ファインチューニング 今回は RAG を利用します 7

LLM + RAG の標準的な構成 8 LLM 社内情報 ベクトルDB 先月発生したインシデントを教えて インシデント 以下は先月発生したインシデントのいくつかです。 1. ○○システム全体の動作不安定 (2024-07-22) • 発生期間: 2024/7/22 6:44~ • 詳細: ○○チェックAPIで扱うテーブルのデータが膨大になりDBのリソースをひっ迫して いることが原因でした。 • リンク: 詳細はこちら 2. sitemap.xmlが表示されない件 (2024-07-18) • 発生期間: 2024-7-16 14:00 ~ • 詳細: クローラーが見に行くsitemap.xmlがNginxの設定不足で表示されませんでした。 • リンク: 詳細はこちら その他のインシデント情報もありますので、詳細が必要であればお知らせください。

ベクトルDB が必要 RAG にはベクトルDBが必要らしい・・・ 9

ベクトルDB とは ベクトルDBは意味の 近いワードを検索できて、 RAG に最適です 10 社内情報ベクトルDB 「インシデント」で検索 問題 インシデント 事故 incident report 障害 不具合 トラブル システム障害 システムトラブル エラー issue ログ 異常 対立 不調 争い 妨害 支障 欠陥 短所 アクシデント 異変 problem

ベクトルDBはめんどくさい ベクトルDBを用意して、必要な情報を精査して、 常に最新情報を同期するのが・・・ めんどくさい データも膨大で無理 できればベクトルDBを使いたくない 11

たいていの情報は Slack にある Slack って社内情報の宝庫では？ しかし Slack API の検索機能は単純な全文検索 12

検索ワードを ベクトルライクな方法で多 重化して、 何度か検索すれば、 Slack API の貧弱な検索で もベクトルDBと同等の結 果を得られます 逆ベクトル検索（仮）を採用 13 Slack ワークスペース 問題 インシデント 事故 incident report 不具合 システム障害 エラー issue ログ システムトラブル トラブル 障害 対立 不調 異常 争い 妨害 支障 欠陥 アクシデント 異変 短所 problem

検索ワードの多重化は LLM にやってもらう 14 先月発生したインシデントを教えて ユーザーの質問に答えるため、私が Slack を検索して調べます 私の代わりに検索ワードをたくさん考えてください 幅広い結果を得るために、似た意味のワードも出力してください after:yyyy-mm-dd before:yyyy-mm-dd で日付絞り込みできます ● インシデント after:2024-07-01 before:2024-08-01 ● システム 障害 after:2024-07-01 before:2024-08-01 ● インシデントレポート after:2024-07-01 before:2024-08-01 ● 障害報告 after:2024-07-01 before:2024-08-01 ● 不具合 after:2024-07-01 before:2024-08-01 ● 障害 after:2024-07-01 before:2024-08-01 システムプロンプト LLM ユーザープロンプト ※ Function Calling を利用せず、手動で RAG を実施してます 　 （理由は時間の関係で省略）

LLM に回答を生成してもらう LLM が生成してくれたワードを Slack API で検索して、 その結果を再度 LLM に入力して回答を生成します 15

そうすると、これくらいの精度で回答できる 16

まとめ RAG にベクトルDBは必要ない！ それだけです 今回紹介した Chatbot は以下の TechBlog 記事で詳しく紹介しています 社内用AIアシスタント「おっさんずナビ」を作った話、そして人間らしく振る舞う重要性を認識した話 https://techblog.raccoon.ne.jp/archives/1719796918.html 17