【日本語版】Filter What the LLM Reads: RAG Governance with AgentCore Gateway

AWS Community Day Hong Kong 2026（2026年10月24日）で英語で発表した資料の日本語版です。
イベントURL：https://awscommunity.hk/

英語版: https://speakerdeck.com/yakumo/filter-what-the-llm-reads-rag-governance-with-agentcore-gateway
コード: https://github.com/shinnosukeyakumo/filter-what-the-llm-reads

Transcript

1. Filter What the LLM Reads RAG Governance with AgentCore Gateway Shinnosuke Yakumo AWS Community Builder (AI Engineering), AWS User Group Leader
2. Who am I Shinnosuke Yakumo @yakumo_09 AWS Community Builder (AI Engineering) 2025 Japan AWS Jr. Champions JAWS-UG NIIGATA Company: CRESCO LTD. Work: R&D, FDE Digital business card my.prairie.cards/u/yakumo_0905
3. Agenda 題材は、ひとつのナレッジベースを、権限の違うロールが引く構成です。 5つの章で話し、最後に、持ち帰るルールを1つにまとめます。 1. 認可を通っても、ロール外の文書は届く 2. どこで、何から決めるか 3. なぜ他の4箇所ではないのか 4. 本番投入前に確かめる4つの観点 5. この構成が効かない範囲
4. ナレッジベースをどう作るか 置き方は大きく2通り。AWS はこれを Silo と Pool と呼んでいます。 Pool は読み手の違う文書が1つに混ざり、Silo はロールごとに分けるので 5ロール × 10チームで 50 個になります。
5. 本日の構成と Gateway の位置 本日扱うのは、ひとつにまとめたナレッジベースを参照する構成です。 エージェントが呼ぶのはナレッジベースではなく Gateway です。 Gateway は MCP サーバーとして受け、ターゲットへ渡します。
6. filter が付かない検索 ユーザーが質問し、エージェントがナレッジベースを検索します。 引数に filter は付かず、ロール外のドキュメントがそのまま返ります。
7. 認可を通っても届く文書 Cedar が判定できるのは、ツールを利用してよいかまでです。 出し分けは、認可とは別に用意しなければなりません。
8. 絞り込みを差し込める5箇所 ロールごとの出し分けを差し込める場所は、この構成に5箇所あります。 本日は、REQUEST interceptor に置く構成をご紹介します。
9. 要件1：検証済み JWT ロールは、検証済み JWT から導出する。 LLM のような確率的な場所からは取りません。
10. 要件2：検索の前 filter は、検索を呼ぶ前に組み立てる。 取得の後では、ロール外の文書が先に上位の枠を取ってしまいます。
11. 検証済み JWT が届く場所 REQUEST interceptor は、受け取ったリクエストを ターゲットへ渡す前に書き換えられます。 JWT は Gateway が検証したあとの状態で、interceptor に届きます。
12. interceptor の実装 検証済み JWT からロールを読み、対応表を引いて filter を上書きします。 role = verified_role(request) # 検証済みの JWT から読む clearance = ALLOWED[role] # 対応表を引く search["filter"] = { "in": {"key": "clearance", "value": clearance}, } モデルが書いた値は、ここに一切入りません。
13. 検証ではなく上書きという選択 検査する方式は演算子13種類の列挙が要り、1つ漏れれば通ります。 上書きなら、申告値（CLAIMED）を読まずに、 こちらの値（INJECTED）で置き換えます。
14. Policy：ツール呼び出しの制御 Cedar で書いたルールが、ツールを呼び出すときに評価されます。 アプリケーションに if 文を書く必要はありません。
15. Policy：判定が行われる位置 Policy が立つのは、ツールを呼び出すリクエストの時点です。 判定するのは「呼んでよいか」で、「何が返るか」ではありません。
16. モデル：指示なしで埋まる引数 指示していなくても、モデルは値を埋めます。 赤く示した行です。攻撃も注入もしていません。
17. モデル：10回とも誤った値 正しいロールが入ったのは0回でした。 ツール定義 モデルが書いた user_role 引数を定義する employee 8回 ／ 日本語のロール名 2回 引数を定義しない 13回とも書かない 狭い権限のロールで、普通の質問を投げた結果です。 定義内のロールを書いた回は、一度もありません。
18. モデル：生成される userContext userContext は Tool Schema に公開され、Agent が生成できます。 誤生成でも詐称でも、ロール外の文書が検索対象に入ります。
19. モデル：生成させてよい引数 すべての引数が同じではありません。 引数 誤生成したとき 生成させる query（検索クエリ） 関連度が落ちる よい numberOfResults（件数） 取りこぼしが増える よい 認可を担う値（userContext 等） 権限が変わる いけない 境界は、誤生成したときに権限が変わるかどうかです。
20. 選択肢を渡す方法の限界 選ばれた値が JWT から来たという保証はありません。 確かめるには JWT が要ります。 それなら、最初からモデルは要りません。
21. 取得の前：固定値での絞り込み 先ほどの interceptor の実装から、JWT を読む2行を落とした形です。 モデルは触れません。誰が呼んでも、同じ値になります。
22. 固定値が読まないもの JWT は Gateway まで届いていますが、誰も読みません。 広い権限のロールも狭い権限のロールも、同じ filter になります。
23. 取得の後：取得してから捨てる方法 応答が返ってから捨てる方法です。 ロール外の文書が、top-k の枠を先に取ります。 k を 1・3・5 のいずれにしても、残ったのは 0件でした（文書30本）。
24. アプリ：自分のコードでの組み立て アプリ側で組み立てる方法は、 すべての呼び出しがアプリを通るなら正しく動きます。
25. ですが Gateway は MCP サーバー 有効なトークンがあれば、どこからでもリクエストを送れます。 別チームのエージェントも、手元の curl も。
26. 絞り込みを差し込める5箇所（再掲） 4つを順に見てきました。外した理由は、どれも別々です。 残る1箇所が、先ほどお見せした REQUEST interceptor です。
27. 本番投入前に確かめる4つの観点 取得の前に filter を上書きする。 出し分けを担うのは、この1箇所だけです。 本番に投入する前に、確かめておきたいことが4つあります。 ① 遅くないか ② 失敗したら漏洩するか ③ 攻撃で破れるか ④ そもそも通さなければ
28. ① 許容できる追加レイテンシ レイテンシを理由に、この構成を避ける必要はありません。 interceptor の追加分は、Gateway 自体の半分以下でした。
29. ② 漏洩を伴わない異常終了 出し分けを担っているのは interceptor だけです。 ここが失敗して素通しすれば、全文書が返ります。 失敗のさせ方 結果 例外を投げる HTTP 500 不正な形を返す HTTP 500 タイムアウトする HTTP 500 空を返す HTTP 500 4通りとも fail-closed で、漏洩はゼロでした。
30. ③ 上書き方式の攻撃耐性 4通りの攻撃すべてで、ロール外の文書は0件でした。 パターン interceptor 無し 有り 通常質問 / ロールプレイ / 間接注入 各 3/3 漏洩 各 0/3 直接的な権限昇格の指示 0/3 漏洩 0/3 4パターンを3回ずつ、interceptor の有無で比べました。 モデルは Sonnet 4.6 です。 文書を30本に増やしても、漏洩はゼロのままでした。
31. ④ Gateway を通らない経路 bedrock:Retrieve を持つ principal は、 ナレッジベースを直接呼べます。 ここまでの制御は、この経路には届きません。
32. ④ リソースポリシーによる制限 実行ロール以外を Deny する1枚で、Gateway 経由だけが動き続けます。 ただし Agentic 検索も同じアクションを使うため、一緒に止まります。 { "Effect": "Deny", "Principal": "*", "Action": "bedrock:Retrieve", "Condition": {"ArnNotEquals":{"aws:PrincipalArn":"..."}} }
33. この構成が効かない範囲 ここまでの4つは、いずれも漏洩0件でした。 ですが、効く範囲には限りがあります。 気づけない失敗、反映の遅れ、そして成り立つ前提。
34. 失敗1：分岐を書いたツールだけ 上書きが効くのは、ツール名で分岐した2つだけです。 if tool.endswith("___kb_search"): arguments["user_role"] = role # 上書きする elif tool.endswith("___Retrieve"): search["filter"] = {...} # 上書きする else: pass # そのまま先へ渡す Gateway にツールを足すなら、分岐も一緒に足す必要があります。
35. どの分岐にも当たらない呼び出し Agentic 検索（___AgenticRetrieveStream）は 名前が Retrieve で終わらないため、else を通りました。 interceptor のログ ROLE 出ている CLAIMED / INJECTED どちらも出ない 動かなかったのではなく、どの分岐にも当たらなかっただけです。
36. 失敗2：ツールが消える Cedar の permit を1本外しました。 設定を厳しくする方向の、ごく普通の変更です。 ツールは tools/list から消えます。ここまでは想定どおりです。 呼び出し側から見えるもの 外す前 ツールが一覧にあり、interceptor が絞り込む 外した後 ツールが一覧に無い
37. 応答まで自分で書いたモデル <tool_call> {"name": "Retrieve", ...} </tool_call> <tool_response> No results found. </tool_response> 申し訳ありませんが、情報が見つかりませんでした。 ツールは呼ばれていません。そして判定ログに DENY は出ません。 ツールがそもそも提示されていないからです。
38. 失敗3：例外を握りつぶす 普通のアプリなら正しい書き方が、ここでは穴になります。 try: ...filter を注入... except Exception as e: print(f"WARN: {e}") # ログは出す return _passthrough(body) # そのまま先へ進む 握りつぶすと、200 で4件返り、うち2件はロール外です。
39. 例外を外へ出す1行の修正 直し方は1行です。 握りつぶさず、Gateway まで届けます。 except Exception as e: print(f"WARN: {e}") raise # ← この1行 4通りに壊して、どれも HTTP 500・文書0件 で止まりました。 Gateway は代わりに止めてくれます。 ただし、例外が Gateway まで届いたときだけです。
40. 3つの失敗の共通点 ① 分岐の無いツール ② 消えたツール ③ 握りつぶした例外 「壊れれば気づく」は成り立ちません。
41. 権限を外しても古いトークン Gateway が確かめるのは、署名と有効期限だけです。 Cognito には二度と問い合わせません。
42. 3通りに外しても読める文書 やったこと 同じトークンで返ったもの グループから外す ロール外の文書 5件 グローバルサインアウト ロール外の文書 5件 アカウントを無効化 ロール外の文書 5件 失敗したのは、トークンを取り直したときだけでした。
43. 反映までの最大60分 新しいロールになるのは、トークンを取り直したときです。 このユーザープールでは、有効期間が 60分 でした。
44. 不具合ではなく仕様 JWT は状態を持ちません。 サーバー側に取り消す対象がありません。 ステートレスなトークンの仕組みです。 AgentCore の不具合ではありません。 短くできる場所 Cognito のユーザープール アクセストークンの有効期間 interceptor できることは無い
45. 成り立つ前提：JWT であること interceptor が絞り込めるのは、誰が呼んでいるかを知っているからです。 そこが崩れれば、ここまでの話は成り立ちません。
46. IAM 経由で消える身元 どこで 届くもの Runtime の時点 2つのロールはまだ区別できる Gateway（IAM 経由） role = unknown 違うロールが、同じに見えて届きます。
47. まとめ 認可を担う値は、検証済みの身元から導出する。 モデルに生成させない。
48. Thank you @yakumo_09 I appreciate your feedback Code