Share
Embed
ACL読み会2025@名大:RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework
Kojima Ryo
September 22, 2025
Transcript
24 slides
-
課題|専門分野でのRAGの評価 • 専門分野の多様なシナリオでのデータセット作成は困難 • 専門分野では様々な場面とそれに応じた文書形式が存在 • 例(法律分野の場合):判決文,法律相談の記録書や契約書 • 専門家による文書の選定や注釈付けは高コスト 5
目的 • RAG評価データセットの自動作成 • 自動化により,低コストで専門分野の多様なシナリオのデータを作成 -
RAGEval • RAGの性能評価データセットを自動生成するフレームワーク • 専門的なシナリオを反映した文書とそれに基づいたQAをLLMにより生成 6 1. スキーマ要約 2. 設定生成
3. 文書生成 4-1. QRA生成 4-2. キーポイント抽出 -
RAGEval|1. スキーマ要約 • シード文書からLLMを用いてスキーマを作成 • シード文書:専門分野のシナリオが反映されている文書 • シード文書は人間が選定 8 例:財務報告スキーマの一部
"Report Type":, "Report Time":, "Company Information": { "Name": "Establishment Date": "Main Business": "Registration Location": "Listing Status": "Industry": }, "Report Content": [ 専門分野の用語や概念 となる要素を抽出 -
RAGEval|2. 設定生成 • LLMにより,スキーマの各要素に具体的な値を代入 • 1つのスキーマから複数の設定を生成 10 { "Report Type":
"Corporate Governance Report", "Report Time": "2017", "Company Information": { "Name": "Banana Consumer Goods Co.", "Establishment Date": "June 1, 2000", "Main Business": "Manufacturer and distributor of personal care and household goods", "Registration Location": "New York, United States", "Listing Status": "Publicly traded on NYSE", "Industry": "Consumer Goods" 例:財務報告の設定の一部 具体的な値(架空)が 代入される -
RAGEval|3. 文書生成 • LLMにより,設定に従った文書を生成 • 設定に基づき文書を生成することで一貫性を確保 12 In February 2017,
Evergreen Consumer Goods Co. expanded its operations into three new international markets: Europe, Asia, and South America. By establishing partnerships with local distributors and investing heavily in marketing campaigns, the company aimed to increase its market reach and generate higher revenue. This expansion into new markets had a positive impact on the company's financial performance. 例:財務報告の生成文書の一部 設定に基づき,架空の 会社の財務報告文書が 生成される -
実験準備|DragonBallデータセット • RAGEvalによってDragonBallデータセットを構築 • 6,711問 • 金融,法律,医療 • 英語(EN),中国語(CN) 18
Diverse RAG Omni-Benchmark for All scenarios 各質問タイプの内訳 -
実験設定 1. 生成文書の品質評価 • 本フレームワーク,ゼロ・ワンショットで生成された文書に順位付け • 安全性,明確さ,準拠性,豊富さの観点で評価 2. 生成モデルの性能評価 •
検索モデルをBGE-M3モデルに固定し,検索結果をプロンプトに連結 • 本論文の評価指標と従来の評価指標を比較 3. 検索モデルの性能評価 • 生成モデルをLlama3-8B-Instructに固定 • 文単位の再現率(Recall)と単語単位の有効情報の割合(EIR)での評価 19 -
実験結果3|検索モデルの性能評価 • 検索評価指標と下流の生成品質に強い相関 →RAGの生成における検索の重要性を示す 22 *備考 Recall:正解参照を検索できた文の数 / 正解参照の文の総数 Effective
Information Rate; EIR:検索文書中の有用な情報の単語数 / 全検索文書の単語数 -
所感 • RAGベンチマークをLLMによって自動生成できる • 一度スキーマを作成すれば,大量かつ低コストにデータが生成可能 • RAGEvalの出発点である,人間によるシード文書の選定の難しさ • 論文では具体的な選定基準は不明 •
ドメイン知識のある人間がドメインの特徴を表した文書を選ぶ必要がある 24