RAGの仕組みとよくある課題

by SATOH Kiyoshi

Slide 1

Slide 1 text

RAGの仕組みとよくある課題 NSEG #109 2024/6/22 さとうきよし @stealthinu

Slide 2

Slide 2 text

ここ1年近くやってたこと LLM(ChatGPT等)を使って社内文書などに対する回答する → 最近雨後の筍のように出ている LLM+RAG のシステム 2

Slide 3

Slide 3 text

RAGとは？ RAG = Retrieval-Augmented Generation LLMに知識を外挿する手法 → LLMは「ステートレス人間」で毎回「新しい人」になる外部知識や暗黙の知識を毎回与えないと、ずっと初出勤したバイトと同じ 3

Slide 4

Slide 4 text

LLMに知識を外挿する法の比較 RAG ファインチューニング超ロングコンテキスト 4

Slide 5

Slide 5 text

RAG 方法：外部知識ベースから情報を検索しプロンプトへ埋め込む特徴：精度が高い工夫で精度を上げやすい → 最終的にプロンプトへ埋め込むデータの精度によるのでドメイン依存、システムの制約依存で工夫可能だから 5

Slide 6

Slide 6 text

ファインチューニング方法：モデルを知識ベースのデータで追加学習特徴：スタイルを変更するなどに向く新規情報はあまり学習してくれない →ファインチューニングは追加で学習出来るというより元からあるものを「彫り出す」イメージに近い 6

Slide 7

Slide 7 text

超ロングコンテキストモデル方法：知識ベース全体をプロンプトへ埋め込んでしまう特徴：想像以上にちゃんと見つける文脈理解力が高い計算コスト大 → 現状では遅くてコスト高 7

Slide 8

Slide 8 text

現在はRAGが一番おすすめファインチューニングは物覚えが悪い → 論文での比較でもだいたいRAGのほうがよいとなる超ロングコンテキストはすごいけど遅い → 思いのほか情報を見つけられるが現状だとすごく遅い Geminiがキャッシュを開始したのでこれで活用が進む？ 8

Slide 9

Slide 9 text

RAGの基本的な仕組み知識外挿方法文書の分割内容を意味ベクトル化ベクトルデータベース問い合わせの検索 9

Slide 10

Slide 10 text

知識外挿方法関連情報をプロンプトに埋め込み LLMの文脈理解能力を利用する → 「以下の"---"で区切られた情報を参照して答えてください」で情報を貼り付けて参照させるだけ 10

Slide 11

Slide 11 text

文書の分割大きな文書を小さな断片（チャンク）に分割語句の全文検索ではなく意味検索したいので断片に分ける必要があるチャンク分けの仕方でも性能がかわる 11

Slide 12

Slide 12 text

内容を意味ベクトル化チャンクごとに意味をベクトルに変換 Transformerのエンコーダーを使ったembeddingエンジンが使われるベクトルは固定長（単語の表現ベクトルと同サイズ）になる 12

Slide 13

Slide 13 text

ベクトルデータベースチャンク化された文書チャンク毎の意味ベクトルメタ情報（元ファイル名、ページ番号など） 13

Slide 14

Slide 14 text

問い合わせの検索問い合わせ内容をベクトル化ベクトルの近さ（コサイン類似度）で検索コサイン類似度 → 高校で習ったベクトルの内積を使う 14

Slide 15

Slide 15 text

現在のRAGの主要な課題テキスト化の問題テキストデータの構造化問題非テキストデータのテキスト化問題ベクトル化（文章の意味理解）の問題検索時の問題 15

Slide 16

Slide 16 text

テキストデータの構造化問題そもそもテキストを正しく取得できない TextBoxで任意の位置に文書を置く画像を上から貼り付けて修正… PDFやDoc文書はたいてい構造化されていないタイトルは大きな文字で太字になってる見た目での構造化 16

Slide 17

Slide 17 text

非テキストデータのテキスト化問題画像、表、グラフの意味抽出レイアウト情報の損失 OCRでの読み取りしても意味化の限界 17

Slide 18

Slide 18 text

ベクトル化の問題チャンク化の失敗で文脈理解が不足するバックグラウンド知識が必要業界用語資料の前提条件文章の意味理解の失敗 → 実はこの問題は少なくてそれ以前の問題が多い 18

Slide 19

Slide 19 text

検索時の問題資料のベクトルと質問のベクトルでは本質的にベクトルが違う意味的類似が遠いため単語が入っていても検索されない検索失敗したハズレのノイズによる回答品質低下 19

Slide 20

Slide 20 text

テキスト化の問題解決人間にとって「見た目」で理解しやすいデータになってること「画像」からテキスト化マルチモーダルモデルで直接意味理解「人間」という超高性能LLMを利用 20

Slide 21

Slide 21 text

ベクトル化の問題解決チャンク分けが意味を考慮してない構造を意識したチャンク分け → そもそも構造化が必要ツリー上に全体を理解させた中から検索など → 多種多様な〇〇RAGが考案されては発表されてる 21

Slide 22

Slide 22 text

検索時の問題解決想定質問でのベクトル化ベクトルと語句のハイブリッド検索検索後のリランキング 22

Slide 23

Slide 23 text

RAGは意外と本質的な技術最初、すごく取って付けた感がある手法に感じたでもRAGでやってることって、実は人間も同じ手法では？「あの資料のあたりにこんなこと書いてあったような…」 → 資料を探してそれを参照しながら正確な答えを書く RAG使うと通常のLLMではできない問題も解決出来るのでさわってみよう！ 23