State-Aware RAGをAmazon Bedrock とAmazon S3 Vectorsで再現してみた

Transcript

1. ©Fusic Co., Ltd. 0 State-Aware RAGをAmazon Bedrock と Amazon S3 Vectorsで再現してみた 2026.06.20 佐藤 礼央奈 X: @xthixsl_ml JAWS-UG福岡 #26 JAWS DAYS2026 re:Cap!!
2. ©Fusic Co., Ltd. 1 自己紹介 はじめに 佐藤 礼央奈 R E O N A S AT O 株式会社Fusic エンジニア 東京の大学を卒業。在学中にエンジニアとして3社で約2年半の長期イン ターンを経験。機械学習や生成AIの研究開発に携わる中で、MLモデルの 本番運用に興味を持ちMLOpsに関心を深める。生成AIも取り入れた開発 や、AWSパートナー企業での経験から、同領域に強みを持つFusicに魅力 を感じ、2025年に新卒入社。
3. ©Fusic Co., Ltd. 2 1. State-Aware RAGとは 2. Claudeで代替するアプローチ 3. 検証してみた 4. まとめ
4. ©Fusic Co., Ltd. 3 State-Aware RAGとは 1
5. ©Fusic Co., Ltd. 4 State-Aware RAGとは AWSから発表 Reasoning with memory: Adaptive information management for retrieval-augmented generationより Before 素のRAG 検索を繰り返すたびに無関係な文書が混ざり、答え の精度が落ちる After State-Aware RAG ワーキングメモリに必要な情報だけを残しながら推 論を進める いつもの通りブログ書いてます
6. ©Fusic Co., Ltd. 5 State-Aware RAGとは Before After
7. ©Fusic Co., Ltd. 6 State-Aware RAGとは 3つのモジュール Retriever (検索役) 質問に近そうな文書を Bedrock KB から検索 Generator (回答役) サブ質問・中間回答・最終回答を 生成 Extractor (整理役) 「捨てる／まとめる／追記」で ワーキングメモリを管理 5つの推論アクション（A1〜A5） A1 Decompose & Answer 分解→検索→中間回答 A2 Consolidate メモリだけで結論 A3 Refine 中間回答を直す A4 Redirect 聞き方を変える A5 Conclude 最終回答 学習が必要なのは Extractor だけ → Claude へのプロンプトで代替（AWS マネージドで再現） 3つのモジュールが下記5アクションを使い分けて推論を進める G + R + E E E G + R G R = Retriever ／ G = Generator ／ E = Extractor
8. ©Fusic Co., Ltd. 7 Claudeで代替するアプローチ 2
9. ©Fusic Co., Ltd. 8 Claudeで代替するアプローチ Step 1 Generator サブ質問を生成 Step 2 Retriever Bedrock KB で検索 Step 3 Extractor Consolidation (関連情報を抽出) Step 4 Generator 中間回答を生成 Step 5 Extractor Memory Update Step 1〜5 を反復 → 答えられる状態になったら A5 Conclude で最終回答
10. ©Fusic Co., Ltd. 9 Claudeで代替するアプローチ 役割 論文の実装 今回（AWS） Generator（回答役） Qwen3-8B Claude Sonnet 4.5 Extractor（整理役） 学習済み Qwen3-4B Claude Sonnet 4.5（学習なし・プロンプトのみ） Retriever（検索役） Qwen3-Embedding ＋ FAISS Amazon Bedrock Knowledge Bases （S3 Vectors ＋ Titan v2）
11. ©Fusic Co., Ltd. 10 検証してみた 3
12. ©Fusic Co., Ltd. 11 検証してみた Q Move (1970) と Mediterranee (1963) の監督は同じ国の出身か？ なぜこの質問？ 1 論文 Figure 1 の例 原論文に載っている検証ケースをそ のまま採用。挙動を論文と直接比べ やすい 2 典型的なマルチホップ 1回の検索では絶対に答えられない。 2人の監督 → それぞれの国 → 比較 が必要 Step 0 サブ質問 Q. Move (1970) の監督は誰？ ↓ A. Stuart Rosenberg 監督名のみ取得。国の情報はメモに入ら ず Step 1 サブ質問 Q. Mediterranee (1963) の監督は 誰？ ↓ A. Jean-Daniel Pollet（フラン ス） 経歴チャンクが同時ヒット → 国も一緒 に取得 Step 2 ギャップ補完 Q. Stuart Rosenberg の出身国は？ ↓ A. アメリカ Step 0 で抜けた国を補う
13. ©Fusic Co., Ltd. 12 検証してみた ✓ 整理されたワーキングメモリを確認 • Move (1970) は米国の喜劇映画／監督 Stuart Rosenberg • Stuart Rosenberg は米国の映画・TV監督 • Mediterranee (1963) は仏国の実験映画／監督 Jean-Daniel Pollet • Jean-Daniel Pollet は La Madeleine（仏国）生 まれの監督 ✕ Extractor が除外したダミーを確認 • エッフェル塔（観光地の解説） • 光合成（生物学の解説） → Extractor が not_relevant 判定 → ワーキングメモリに残らない → Generator にノイズが渡らない 事前にデータセットに混ぜておいた無関係な文書 A No. 監督の出身国は異なる 「検索結果をそのまま積む」のではなく「整理しながら推論する」
14. ©Fusic Co., Ltd. 13 まとめ 4
15. ©Fusic Co., Ltd. 14 まとめ Claude を Extractor に代替し、学習なしで State-Aware RAG を再現できた 実際にログからState-Aware RAGの動作確認ができた Amazon Bedrock＋S3 Vectors のマネージド構成で「整理して推論」を実現 Point.01 Point.02 Point.03
16. ©Fusic Co., Ltd. 15 Thank You We are Hiring! https://recruit.fusic.co.jp/ ご清聴いただきありがとうございました