Slackbot × RAG で実現する社内情報検索の最適化

Slide 1

Slide 1 text

Slackbot × RAG で実現する社内情報検索の最適化 STORES 株式会社中野達也 1

Slide 2

Slide 2 text

自己紹介 STORES 株式会社 IT本部シニアマネージャー中野達也@howdy39 SIerやフリーランスでソフトウェアエンジニア →（STORES）フロントエンドエンジニア →（STORES）情シス 2 2

Slide 3

Slide 3 text

どんな Slackbot をつくってるの？どのような仕組み？ RAGのノウハウを紹介目次 3

Slide 4

Slide 4 text

どんな Slackbot をつくってるの？ 4

Slide 5

Slide 5 text

Slackで質問を投げかけると社内のドキュメントを読み込んで回答してくれるBOTを作成 5 5

Slide 6

Slide 6 text

BOTがあることで、ドキュメントを探すコストを下げられる 6 6 BOTがあることで、ドキュメントを探すコストを下げられるヘルプデスク工数のコスト

Slide 7

Slide 7 text

どのような仕組み？ 7

Slide 8

Slide 8 text

RAGで実現 8 8 ベクトル情報を登録・更新・削除 Embedding (ベクトル化） Webhookで記事情報を送信質問する実行ベクトルで記事を検索 Embedding (ベクトル化）記事内容を入れて質問回答結果を返す記事を作成・更新・削除

Slide 9

Slide 9 text

RAGはフローが大きく2つにわかれるのでどこの話をしているかのイメージが大事 9 9 ベクトル情報を登録・更新・削除 Embedding (ベクトル化） Webhookで記事情報を送信質問する実行ベクトルで記事を検索 Embedding (ベクトル化）記事内容を入れて質問回答結果を返す記事を作成・更新・削除ベクトルDBへ格納ベクトルDBから検索

Slide 10

Slide 10 text

「ベクトルDBへ格納」の詳細 10 10

Slide 11

Slide 11 text

「ベクトルDBから検索」の詳細 11 11

Slide 12

Slide 12 text

RAGのノウハウを紹介 12

Slide 13

Slide 13 text

ノウハウその1「初期データの反映」と「差分データの反映」の設計が大事 13 13 差分データの反映初期データの反映インポートするだけなので簡単難しい Webhookがあればいいがない場合にどうするかの設計が大事

Slide 14

Slide 14 text

ノウハウその2 マークダウンから無駄なデータを削ぎ落として登録 14 14 ここ！

Slide 15

Slide 15 text

ノウハウその2 マークダウンから無駄なデータを削ぎ落として登録 | コード例 15 15 imgタグを除去 brタグを削る 4つ以上の罫線の ”-”, “=”, “〜” を3つに減らす太字 “**” を除去 2つ以上のスペースを1つに減らす複数の改行を1つに減らす

Slide 16

Slide 16 text

記事の内容にもよるが適当な記事をピックアップしたところ文字数が 39,219→20,025 に削減ノウハウその2 マークダウンから無駄なデータを削ぎ落として登録 | 削減効果 16 16 500文字ずつチャンクしたとしたら分割数が80→40まで削減できた

Slide 17

Slide 17 text

ノウハウその3 データを収集するのが大事 17 17 ここ

Slide 18

Slide 18 text

ノウハウその3 データを収集するのが大事 | 例 18 18 これ

Slide 19

Slide 19 text

ノウハウその3 データを収集するのが大事 | 可視化 19 19 フィードバックメッセージを返却（ランダム）フィードバック結果のログをスプレッドシートに残す利用状況とフィードバックをLooker Studioで可視化

Slide 20

Slide 20 text

ノウハウその4 Rerankを必ず入れる 20 20 ここ

Slide 21

Slide 21 text

ノウハウその4 Rerankを必ず入れる | チャンクを多く取ってRerankで絞る 21 21 100チャンクを Rerankして上位10 チャンクを取得 ※ 類似度：高 topN=100 のチャンクを取得 ※ 類似度：低

Slide 22

Slide 22 text

Slackbot x RAG 環境を作り従業員の業務効率を向上させよう（ついでに情シスのヘルプデスク工数を削減する） RAGの全体像（登録フロー, 検索フロー）イメージしながら設計・実装・改善をしていくとよいまとめ 22 22

Slide 23

Slide 23 text

ご清聴ありがとうございました！ 23