RAGにベクトルDBは必要ない！DBも不要で運用めちゃ楽な RAG Chatbot を作った話

RAGにベクトルDBは必要ない！ DBすら不要で運用の楽な RAG Chatbot を作った話 1 株式会社ラクーンホールディングス技術戦略部羽山純

自己紹介 • 名前 ◦ 羽山純（Jun Hayama） ◦ 　　@forrep •
所属 ◦ 株式会社ラクーンホールディングス • 技術領域 ◦ バックエンド・インフラ ◦ パフォーマンス改善 ▪ MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと ◦ AI（企業審査AI） • 個人活動 ◦ アプリ開発 2

はじめに本日伝えたいことはたったの一つ RAG にベクトルDBは必要ない！それだけです 3

やりたかったこと社内の知見を持つチャットボットがほしい（工数を掛けずに簡単に） 4

できたもの 5

できたもの 6 (1) 社内の知見を持っている (2) 詳しい人にパスしてくれる (3) 参考情報を引用してくれる

実現方法社内の知見を蓄えたチャットボットの実現には以下が候補です • RAG（Retrieval-Augmented Generation） • ファインチューニング • RAG +
ファインチューニング今回は RAG を利用します 7

LLM + RAG の標準的な構成 8 LLM 社内情報ベクトルDB 先月発生したインシデントを教えてインシデント
以下は先月発生したインシデントのいくつかです。 1. ◦◦システム全体の動作不安定 (2024-07-22) • 発生期間: 2024/7/22 6:44~ • 詳細: ◦◦チェックAPIで扱うテーブルのデータが膨大になりDBのリソースをひっ迫していることが原因でした。 • リンク: 詳細はこちら 2. sitemap.xmlが表示されない件 (2024-07-18) • 発生期間: 2024-7-16 14:00 ~ • 詳細: クローラーが見に行くsitemap.xmlがNginxの設定不足で表示されませんでした。 • リンク: 詳細はこちらその他のインシデント情報もありますので、詳細が必要であればお知らせください。

ベクトルDB が必要 RAG にはベクトルDBが必要らしい・・・ 9

ベクトルDB とはベクトルDBは意味の近いワードを検索できて、 RAG に最適です 10 社内情報ベクトルDB 「インシデント」で検索問題
インシデント事故 incident report 障害不具合トラブルシステム障害システムトラブルエラー issue ログ異常対立不調争い妨害支障欠陥短所アクシデント異変 problem

ベクトルDBはめんどくさいベクトルDBを用意して、必要な情報を精査して、常に最新情報を同期するのが・・・めんどくさいデータも膨大で無理できればベクトルDBを使いたくない 11

たいていの情報は Slack にある Slack って社内情報の宝庫では？しかし Slack API の検索機能は単純な全文検索 12

検索ワードをベクトルライクな方法で多重化して、何度か検索すれば、 Slack API の貧弱な検索でもベクトルDBと同等の結果を得られます逆ベクトル検索（仮）を採用
13 Slack ワークスペース問題インシデント事故 incident report 不具合システム障害エラー issue ログシステムトラブルトラブル障害対立不調異常争い妨害支障欠陥アクシデント異変短所 problem

検索ワードの多重化は LLM にやってもらう 14 先月発生したインシデントを教えてユーザーの質問に答えるため、私が Slack を検索して調べます私の代わりに検索ワードをたくさん考えてください幅広い結果を得るために、似た意味のワードも出力してください
after:yyyy-mm-dd before:yyyy-mm-dd で日付絞り込みできます • インシデント after:2024-07-01 before:2024-08-01 • システム障害 after:2024-07-01 before:2024-08-01 • インシデントレポート after:2024-07-01 before:2024-08-01 • 障害報告 after:2024-07-01 before:2024-08-01 • 不具合 after:2024-07-01 before:2024-08-01 • 障害 after:2024-07-01 before:2024-08-01 システムプロンプト LLM ユーザープロンプト ※ Function Calling を利用せず、手動で RAG を実施してます　（理由は時間の関係で省略）

LLM に回答を生成してもらう LLM が生成してくれたワードを Slack API で検索して、その結果を再度 LLM に入力して回答を生成します
15

そうすると、これくらいの精度で回答できる 16

まとめ RAG にベクトルDBは必要ない！それだけです今回紹介した Chatbot は以下の TechBlog 記事で詳しく紹介しています社内用AIアシスタント「おっさんずナビ」を作った話、そして人間らしく振る舞う重要性を認識した話
https://techblog.raccoon.ne.jp/archives/1719796918.html 17

RAGにベクトルDBは必要ない！DBも不要で運用めちゃ楽な RAG Chatbot を作った話

RAGにベクトルDBは必要ない！DBも不要で運用めちゃ楽な RAG Chatbot を作った話

forrep

More Decks by forrep

Other Decks in Programming

Featured

Transcript

RAGにベクトルDBは必要ない！ DBすら不要で運用の楽な RAG Chatbot を作った話 1 株式会社ラクーンホールディングス技術戦略部羽山純

自己紹介 • 名前 ◦ 羽山純（Jun Hayama） ◦ 　　@forrep •

はじめに本日伝えたいことはたったの一つ RAG にベクトルDBは必要ない！それだけです 3

やりたかったこと社内の知見を持つチャットボットがほしい（工数を掛けずに簡単に） 4

できたもの 5

できたもの 6 (1) 社内の知見を持っている (2) 詳しい人にパスしてくれる (3) 参考情報を引用してくれる

実現方法社内の知見を蓄えたチャットボットの実現には以下が候補です • RAG（Retrieval-Augmented Generation） • ファインチューニング • RAG +

LLM + RAG の標準的な構成 8 LLM 社内情報ベクトルDB 先月発生したインシデントを教えてインシデント

ベクトルDB が必要 RAG にはベクトルDBが必要らしい・・・ 9

ベクトルDB とはベクトルDBは意味の近いワードを検索できて、 RAG に最適です 10 社内情報ベクトルDB 「インシデント」で検索問題

ベクトルDBはめんどくさいベクトルDBを用意して、必要な情報を精査して、常に最新情報を同期するのが・・・めんどくさいデータも膨大で無理できればベクトルDBを使いたくない 11

たいていの情報は Slack にある Slack って社内情報の宝庫では？しかし Slack API の検索機能は単純な全文検索 12

検索ワードをベクトルライクな方法で多重化して、何度か検索すれば、 Slack API の貧弱な検索でもベクトルDBと同等の結果を得られます逆ベクトル検索（仮）を採用

LLM に回答を生成してもらう LLM が生成してくれたワードを Slack API で検索して、その結果を再度 LLM に入力して回答を生成します

そうすると、これくらいの精度で回答できる 16

まとめ RAG にベクトルDBは必要ない！それだけです今回紹介した Chatbot は以下の TechBlog 記事で詳しく紹介しています社内用AIアシスタント「おっさんずナビ」を作った話、そして人間らしく振る舞う重要性を認識した話