ACL読み会2026@名大：AutoGraph-R1: End-to-End Reinforcement Learning for Knowledge Graph Construction

Transcript

1. ACL読み会2026@名大 AutoGraph-R1: End-to-End Reinforcement Learning for Knowledge Graph Construction Hong Ting Tsang, Jiaxin Bai, Haoyu Huang, Qiao Xiao, Tianshi Zheng, Baixuan Xu, Shujie Liu, Yangqiu Song 読み手：井田 龍希（豊田工業大学 知識データ工学研究室 D3） ※ 図表は論文・invited talk スライドより引用 2026/9/25 ACL読み会2026@名大 1/22
2. OVERVIEW 論文概要と選定理由 下流タスク特化のグラフ構築を初めて RL で最適化した論文 ⚫ 背景：「良い」グラフ ≠「使える」グラフ ⚫ 提案：グラフ構築を RL で下流タスクに直接最適化 ⚫ 結果：5つの QA で性能と事実の質を両立 選定理由 グラフ構築段階から LLM に「使える」ものを作るという発想の面白さ 「LLM 時代の KG のあり方」を考えるきっかけ 2026/9/25 ACL読み会2026@名大 2/22
3. INTRO なぜ LLM 時代に「グラフの作り方」なのか 限界を辿った先にある，「グラフの作り方」を考える必要性 ① LLM 単体では不十分 長文脈でも中央を見落とす・全文投入はコスト的に非現実 → 検索して入力に追加 ＝ RAG ② flat な RAG では不十分 ベクトル検索は「つながり」に弱く multi-hop QAが苦手 → 文書から自動抽出したグラフで「つながり」を持たせる ＝ グラフ拡張 RAG （HippoRAG 等） ③ 良い結果には良いグラフ 無い情報は検索で取り戻せない・上限は構築側 → 「どう作るか」が本質 ＝ AutoGraph-R1（本論文） 2026/9/25 ACL読み会2026@名大 3/22
4. MAP 研究の位置づけ 「どう作るか」に対する三つの問い ① Semantic Richness ② Autonomous Construction ③ Task-Aware Optimization 何を表現するか どう組織化するか どう最適化するか（本論文） ※ ①②③の枠組みは Bai, invited talk（2026）による整理 ② AutoSchemaKG（同著者・ACL 2026） LLM が人手のスキーマ定義なしに、大規模コーパスから自律的に KG を構築する手法 entity だけでなく event（何が起きたか）も抽出 → 元テキストの情報を多く保持 大規模コーパスに適用し巨大 KG を構築，品質指標どまりで有用性は未検証 2026/9/25 ACL読み会2026@名大 4/22
5. RELATED GraphRAG におけるグラフの2つの使われ方 グラフを「直接読む」Carrier 型と「索引に使う」Index 型 Knowledge Carrier 型 Knowledge Index 型 グラフ自体を推論材料に直接読む グラフを検索の手がかりに使い， 答えの根拠は元の文章のまま返す Think-on-Graph / SubgraphRAG HippoRAG / HippoRAG-2 StructRAG / KnowGPT GraphRAG / LightRAG ⚫ AutoGraph-R1 はこの両方に対応する統一フレームワーク 2026/9/25 ACL読み会2026@名大 5/22
6. RELATED 対比：どこに RL を効かせるか 既存グラフの「使い方」を鍛えるか，グラフの「作り方」を鍛えるか ① 既存グラフの「使い方」を最適化 ② グラフの「作り方」を最適化（本論文） グラフは固定，使い方を RL 学習 retriever は固定，作り方を RL 学習 Graph-R1 / CRF AutoGraph-R1 Search-R1 / s3 無い情報は検索でも取り戻せない 2026/9/25 ACL読み会2026@名大 6/22
7. MOTIVATION 課題：「良い」グラフ ≠「使える」グラフ タスクを意識しない抽出 ＝ 暗黙のつながりの欠落・ノイズによる希釈 2026/9/25 ACL読み会2026@名大 7/22
8. METHOD AutoGraph-R1 の全体像 微分不可なグラフ構築ループを RL で初めて閉じる3要素フレームワーク ⚫ 3要素：① 構築ポリシー ② 凍結 retriever ③ タスク特化 reward – 左：学習（クエリ単位・使い捨て）／右：推論（コーパス全体・静的） 2026/9/25 ACL読み会2026@名大 8/22
9. METHOD 学習時と評価時で，グラフのスコープが違う 学習は「クエリ単位の使い捨て」，評価は「コーパス全体で1つ」 学習時：使い捨てミニグラフ 評価・運用時：1つの静的グラフ 対象：1クエリ分の少数文書 対象：コーパス全体 グラフ：報酬計算だけに使い破棄 グラフ：全クエリで共有 目的：作り方の方策を鍛える 目的：実際に RAG として利用 2026/9/25 ACL読み会2026@名大 9/22
10. METHOD 2つのタスク特化の報酬 Carrier 型・Index 型，どちらの使い方でも検証 Knowledge Carrier 型 Knowledge Index 型 （グラフ自体が知識源） （グラフは索引） retriever：3-hop 部分グラフ retriever：HippoRAG-2 の PPR reward RC：正解が演繹可能かの二値 reward RI：正解文書の recall RC = 𝟙[ deducible(q, y | G) ] 2026/9/25 RI = |Top-k ∩ Dgold| / |Dgold| ACL読み会2026@名大 10/22
11. METHOD GRPO で構築ポリシーを更新 同一入力から複数グラフを生成 → 報酬の相対順位で学習 ⚫ 同じ入力から複数グラフを生成し相対順位で更新 – value model 不要・KL 省略で軽量 – 学習コスト 2×H100 で 2〜9 時間 2026/9/25 ACL読み会2026@名大 11/22
12. EXPERIMENTS データセット・モデル・比較対象 学習は multi-hop QA 2本・評価5本，比較は全てグラフ手法 ⚫ 学習：HotpotQA / Musique（multi-hop QA） ⚫ 評価：一般2本 ＋ multi-hop 3本 ＝ 計5本 ⚫ 構築 Qwen2.5-3B / 7B，回答 7B 固定 ⚫ 比較：5種の retriever ― 全てグラフベース – 素の RAG（非グラフ）とは未比較 2026/9/25 ACL読み会2026@名大 12/22
13. RESULTS ① Knowledge Carrier 型で一貫した向上 全条件で zero-shot 構築を上回る ⚫ 各行は retriever を固定し，KG 構築法のみ比較 評価用 retriever 3B 平均F1：Zero-shot → AutoGraph-R1 7B 平均F1：Zero-shot → AutoGraph-R1 Subgraph 33.6 → 35.6 (+2.0) 34.9 → 37.2 (+2.3) Triples 34.6 → 39.0 (+4.4) 38.0 → 39.4 (+1.4) ToG 37.0 → 40.6 (+3.6) 38.3 → 41.3 (+3.0) ※ 平均は 5 ベンチマーク（NQ*・PopQA*・HotpotQA・2Wiki・Musique）の F1 平均． 学習時は 3-hop 部分グラフ retriever のみ使用 ― 評価用 3 種いずれでも改善 → 構築器は retriever を跨いで汎化 2026/9/25 ACL読み会2026@名大 13/22
14. RESULTS ② Knowledge Index 型で recall が大きく向上 F1 の伸びは控えめ，だが Recall@5 は 3B/7B ともに改善 ⚫ F1 の伸びが小さいのは LLM が生テキストで検索のズレを補うため ⚫ triple 抽出の質（F1）も全条件で向上 （4データ平均：3B 87.5 → 95.1，7B 94.2 → 96.1） 評価用 retriever 3B 平均F1 3B 平均R@5 7B 平均F1 7B 平均R@5 HippoRAG 46.3 → 47.9 (+1.6) 71.5 → 75.8 (+4.3) 47.5 → 48.9 (+1.4) 75.2 → 77.2 (+2.0) HippoRAG-2 46.2 → 48.3 (+2.1) 73.0 → 77.2 (+4.2) 48.3 → 49.8 (+1.5) 76.7 → 78.6 (+1.9) ※ 各セルは Zero-shot 構築 → AutoGraph-R1（5 ベンチマーク平均）． 学習時は HippoRAG-2（PPR）retriever のみ使用 ― HippoRAG でも改善 → 構築器は retriever を跨いで汎化 2026/9/25 ACL読み会2026@名大 14/22
15. ABLATION なぜタスク特化の報酬が必要か 最終 F1 を直接報酬にすると不安定 ⚫ F1 を直接報酬は言い回しのブレに敏感 → ノイジー Zero-shot F1 reward Task-specific (AutoGraphR1) 39.4 (+1.4) 49.8 (+1.5) 38.0 48.3 46.8 (-1.5) 35.7 (-2.3) Triples (Avg F1) HippoRAG-2 (Avg F1) ※ 差を見やすくするため縦軸は 0 始まりではありません 2026/9/25 ACL読み会2026@名大 15/22
16. CASE STUDY RL で何が変わったか 必要な「事実」と「2ホップの接続」を構築段階で拾えるように ⚫ RL の訓練で「何を拾い，どう繋ぐか」そのものを学習 ① 比較推論（没年月日の比較） ② 2ホップ推論（作品 →監督 → 子） 2作品の監督，どちらが先に死んだか ある監督の子供は誰か zero-shot：日付が無く比較不能 zero-shot：子への接続が欠落 AutoGraph-R1：日付まで抽出し正解 AutoGraph-R1：父→子を接続し正解 2026/9/25 ACL読み会2026@名大 16/22
17. SUMMARY まとめ 「良い」グラフから「使える」グラフへ ⚫ グラフ構築を初めて RL で下流性能に直結 ⚫ Carrier / Index どちらにも効く2つの reward ⚫ 実利用に最適化しても事実の質は落ちない intrinsically “good” なグラフ → demonstrably “useful” なグラフ 2026/9/25 ACL読み会2026@名大 18/22
18. 所感 ① この論文はなぜ面白いか 非微分可能タスクへの素直な RL 適用と，研究の流れの中での必然性 ⚫ 非微分可能タスクに RL で素直に風穴 ⚫ 「無い情報は検索で取り戻せない」→ 構築側に投資 ⚫ 3部作の必然的な到達点（良い→使える） 2026/9/25 ACL読み会2026@名大 19/22
19. 所感 気になった点 QA という枠組みとグラフ手法内に閉じた評価 ⚫ QA 依存：報酬が「query＋正解」前提 ⚫ 評価が閉じる：素の RAG・エージェント検索と未比較（→ 隠し） ⚫ Carrier / Index で嬉しさが非対称 ⚫ 表記揺れ・triple 圧縮は未対応（→ 隠し） 2026/9/25 ACL読み会2026@名大 20/22
20. REFERENCES ① 対象論文・著者の関連研究 本発表の主対象と、同著者による前後の研究 AutoGraph-R1（対象論文） Intention Knowledge Graph / IGC-RC Tsang, Bai, ... , Song. ACL 2026. aclanthology.org/2026.acl-long.1070 Bai et al. EACL 2026. arXiv:2412.11500 AutoSchemaKG / ATLAS invited talk（Jiaxin Bai, Home Depot, 2026-04-30） Bai et al. ACL 2026. arXiv:2505.23628 bjx.fun/p/invited-talk-at-home-depot-on-knowledge-graphconstruction/ 2026/9/25 ACL読み会2026@名大 21/22
21. REFERENCES ② 同分野の他研究 グラフの2つの使われ方（Carrier / Index）と、RL でアクセスを最適化する系統 Think-on-Graph HippoRAG / HippoRAG-2 ICLR 2024. arXiv:2307.07697 arXiv:2405.14831 ／ 2502.14802 SubgraphRAG GraphRAG / LightRAG ICLR 2025. arXiv:2410.20724 arXiv:2404.16130 ／ 2410.05779 StructRAG / KnowGPT Graph-R1 / CRF / Search-R1 arXiv:2410.08815 ／ 2312.06185 arXiv:2507.21892 ／ 2025.coling-main.712 ／ 2503.09516 2026/9/25 ACL読み会2026@名大 22/22
22. REFERENCES ③ イントロで参照した外部文献 「なぜ LLM 時代に KG か」の裏付けに用いた論文 Lost in the Middle RAG vs GraphRAG の実証的すみわけ Liu et al. TACL 2024. arXiv:2307.03172 2025. arXiv:2502.11371 Lost in the Middle, and In-Between Do We Still Need GraphRAG? 2024. arXiv:2412.10079（multi-hop はこちら） Fan et al. 2026-04. arXiv:2604.09666（懐疑的立場） 2026/9/25 ACL読み会2026@名大 23/22