ACL読み会2025@名大：RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework

Transcript

1. @名大ACL読み会 読み手：小島亮 （豊田工業大学 知識データ研究室B4） ※図表は論文より引用
2. まとめ • RAGEvalフレームワークの提案 • RAGの専門分野での性能評価を行うデータセットを自動生成 • 専門的なシナリオを反映した文書とそれに基づいたQAをLLMにより生成 • 自動化によりデータセットの作成コストを削減 2
3. 背景｜RAG（検索拡張生成） • 外部知識からの検索情報をLLMに与える手法 • 以下のような情報をLLMが参照し，考慮した回答が可能 • 専門的な情報（例：医療） • 低頻度な情報（例：法律） • 時間変化する情報（例：金融） 3
4. 課題｜専門分野でのRAGの評価 • 専門分野の多様なシナリオでのデータセット作成は困難 • 専門分野では様々な場面とそれに応じた文書形式が存在 • 例（法律分野の場合）：判決文，法律相談の記録書や契約書 • 専門家による文書の選定や注釈付けは高コスト 4
5. 課題｜専門分野でのRAGの評価 • 専門分野の多様なシナリオでのデータセット作成は困難 • 専門分野では様々な場面とそれに応じた文書形式が存在 • 例（法律分野の場合）：判決文，法律相談の記録書や契約書 • 専門家による文書の選定や注釈付けは高コスト 5 目的 • RAG評価データセットの自動作成 • 自動化により，低コストで専門分野の多様なシナリオのデータを作成
6. RAGEval • RAGの性能評価データセットを自動生成するフレームワーク • 専門的なシナリオを反映した文書とそれに基づいたQAをLLMにより生成 6 1. スキーマ要約 2. 設定生成 3. 文書生成 4-1. QRA生成 4-2. キーポイント抽出
7. RAGEval ｜1. スキーマ要約 7 1. スキーマ要約
8. RAGEval｜1. スキーマ要約 • シード文書からLLMを用いてスキーマを作成 • シード文書：専門分野のシナリオが反映されている文書 • シード文書は人間が選定 8 例：財務報告スキーマの一部 "Report Type":, "Report Time":, "Company Information": { "Name": "Establishment Date": "Main Business": "Registration Location": "Listing Status": "Industry": }, "Report Content": [ 専門分野の用語や概念 となる要素を抽出
9. RAGEval ｜2. 設定生成 9 2. 設定生成
10. RAGEval｜2. 設定生成 • LLMにより，スキーマの各要素に具体的な値を代入 • １つのスキーマから複数の設定を生成 10 { "Report Type": "Corporate Governance Report", "Report Time": "2017", "Company Information": { "Name": "Banana Consumer Goods Co.", "Establishment Date": "June 1, 2000", "Main Business": "Manufacturer and distributor of personal care and household goods", "Registration Location": "New York, United States", "Listing Status": "Publicly traded on NYSE", "Industry": "Consumer Goods" 例：財務報告の設定の一部 具体的な値（架空）が 代入される
11. RAGEval ｜3. 文書生成 11 3. 文書生成
12. RAGEval｜3. 文書生成 • LLMにより，設定に従った文書を生成 • 設定に基づき文書を生成することで一貫性を確保 12 In February 2017, Evergreen Consumer Goods Co. expanded its operations into three new international markets: Europe, Asia, and South America. By establishing partnerships with local distributors and investing heavily in marketing campaigns, the company aimed to increase its market reach and generate higher revenue. This expansion into new markets had a positive impact on the company's financial performance. 例：財務報告の生成文書の一部 設定に基づき，架空の 会社の財務報告文書が 生成される
13. RAGEval ｜4-1. QRA生成 13 4-1. QRA生成
14. RAGEval｜4-1. QRA生成 • 設定と文書を用いて，質問・参照・回答（QRA）を生成 • 質問は7タイプから作成するようLLMに指示 • 参照はQAに基づき，文書から文を抜き出し • 回答と参照を比較して整合性を高める 14 QA生成 参照R生成
15. RAGEval ｜4-2. キーポイント抽出 15 4-2. キーポイント生成
16. RAGEval｜4-2. キーポイント抽出 • LLMにより，キーポイント（根拠となる事実要素）を短文で抽出 • 各質問で3~5個のキーポイントが抽出 • 参照Rと異なり，回答する際に重要な事実を抽出 16
17. RAGEval｜キーポイントを用いた評価指標 • 抽出したキーポイントを用いて回答の事実精度を評価 • Completeness，Hallucination，Irrelevancyの3つの判定 • Completeness：カバーされたキーポイントの割合 • Hallucination：矛盾するキーポイントの割合 • Irrelevancy：カバーも矛盾もしていないキーポイントの割合 17
18. 実験準備｜DragonBallデータセット • RAGEvalによってDragonBallデータセットを構築 • 6,711問 • 金融，法律，医療 • 英語（EN），中国語（CN） 18 Diverse RAG Omni-Benchmark for All scenarios 各質問タイプの内訳
19. 実験設定 1. 生成文書の品質評価 • 本フレームワーク，ゼロ・ワンショットで生成された文書に順位付け • 安全性，明確さ，準拠性，豊富さの観点で評価 2. 生成モデルの性能評価 • 検索モデルをBGE-M3モデルに固定し，検索結果をプロンプトに連結 • 本論文の評価指標と従来の評価指標を比較 3. 検索モデルの性能評価 • 生成モデルをLlama3-8B-Instructに固定 • 文単位の再現率（Recall）と単語単位の有効情報の割合（EIR）での評価 19
20. 実験結果1｜生成文書の品質評価 • RAGEvalによる生成文書が４つの観点で最も優れている 20 安全性 豊富さ 準拠性 明確さ
21. 実験結果2｜生成モデルの性能評価 • 従来の単語単位の評価指標（Rouge-L，BLEU）と傾向が異なる →キーポイント（短文）の評価で，文脈を考慮した評価が可能に 21 本提案指標 従来指標
22. 実験結果3｜検索モデルの性能評価 • 検索評価指標と下流の生成品質に強い相関 →RAGの生成における検索の重要性を示す 22 ＊備考 Recall：正解参照を検索できた文の数 / 正解参照の文の総数 Effective Information Rate; EIR：検索文書中の有用な情報の単語数 / 全検索文書の単語数
23. まとめ • RAGEvalフレームワークの提案 • RAGの専門分野での性能評価を行うデータセットを自動生成 • 専門的なシナリオを反映した文書とそれに基づいたQAをLLMにより生成 • 自動化によりデータセットの作成コストを削減 23
24. 所感 • RAGベンチマークをLLMによって自動生成できる • 一度スキーマを作成すれば，大量かつ低コストにデータが生成可能 • RAGEvalの出発点である，人間によるシード文書の選定の難しさ • 論文では具体的な選定基準は不明 • ドメイン知識のある人間がドメインの特徴を表した文書を選ぶ必要がある 24