Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

RAGにベクトルDBは必要ない!DBも不要で運用めちゃ楽な RAG Chatbot を作った話

forrep
August 20, 2024

RAGにベクトルDBは必要ない!DBも不要で運用めちゃ楽な RAG Chatbot を作った話

forrep

August 20, 2024
Tweet

More Decks by forrep

Other Decks in Programming

Transcript

  1. 自己紹介 • 名前 ◦ 羽山 純(Jun Hayama) ◦   @forrep •

    所属 ◦ 株式会社ラクーンホールディングス • 技術領域 ◦ バックエンド・インフラ ◦ パフォーマンス改善 ▪ MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと ◦ AI(企業審査AI) • 個人活動 ◦ アプリ開発 2
  2. LLM + RAG の標準的な構成 8 LLM 社内情報 ベクトルDB 先月発生したインシデントを教えて インシデント

    以下は先月発生したインシデントのいくつかです。 1. ◦◦システム全体の動作不安定 (2024-07-22) • 発生期間: 2024/7/22 6:44~ • 詳細: ◦◦チェックAPIで扱うテーブルのデータが膨大になりDBのリソースをひっ迫して いることが原因でした。 • リンク: 詳細はこちら 2. sitemap.xmlが表示されない件 (2024-07-18) • 発生期間: 2024-7-16 14:00 ~ • 詳細: クローラーが見に行くsitemap.xmlがNginxの設定不足で表示されませんでした。 • リンク: 詳細はこちら その他のインシデント情報もありますので、詳細が必要であればお知らせください。
  3. ベクトルDB とは ベクトルDBは意味の 近いワードを検索できて、 RAG に最適です 10 社内情報ベクトルDB 「インシデント」で検索 問題

    インシデント 事故 incident report 障害 不具合 トラブル システム障害 システムトラブル エラー issue ログ 異常 対立 不調 争い 妨害 支障 欠陥 短所 アクシデント 異変 problem
  4. 検索ワードを ベクトルライクな方法で多 重化して、 何度か検索すれば、 Slack API の貧弱な検索で もベクトルDBと同等の結 果を得られます 逆ベクトル検索(仮)を採用

    13 Slack ワークスペース 問題 インシデント 事故 incident report 不具合 システム障害 エラー issue ログ システムトラブル トラブル 障害 対立 不調 異常 争い 妨害 支障 欠陥 アクシデント 異変 短所 problem
  5. 検索ワードの多重化は LLM にやってもらう 14 先月発生したインシデントを教えて ユーザーの質問に答えるため、私が Slack を検索して調べます 私の代わりに検索ワードをたくさん考えてください 幅広い結果を得るために、似た意味のワードも出力してください

    after:yyyy-mm-dd before:yyyy-mm-dd で日付絞り込みできます • インシデント after:2024-07-01 before:2024-08-01 • システム 障害 after:2024-07-01 before:2024-08-01 • インシデントレポート after:2024-07-01 before:2024-08-01 • 障害報告 after:2024-07-01 before:2024-08-01 • 不具合 after:2024-07-01 before:2024-08-01 • 障害 after:2024-07-01 before:2024-08-01 システムプロンプト LLM ユーザープロンプト ※ Function Calling を利用せず、手動で RAG を実施してます   (理由は時間の関係で省略)