Amazon Bedrock Knowledge Bases × メタデータ活用で実現する検証可能な RAG 設計

近年、生成AIを活用したチャットボットやAIエージェントにおいて、ユーザーの問い合わせに対して文書を参照しながら回答する RAG の需要が高まっています。しかし、RAGの検索結果はブラックボックス化しやすく、ユーザーが生成された回答を鵜呑みにしてしまうリスクもあります。本セッションでは、Amazon Bedrock Knowledge Bases を用いて、検索結果に「元のリンク」を紐づけ、信頼できる情報源を提示する仕組みを紹介します。 Knowledge Basesではデフォルトで参照元ドキュメントの S3 ロケーション情報を取得できますが、ユーザーが直接アクセスできるリンクまでは特定できない課題があります。本セッションでは、この制約をどのように解消し、“元リンク付き”で回答を返せるようにしたかを、社内チャットボットの実例を交えて解説します。RAGをより信頼性が高く透明性のある仕組みとして設計するための実践的ヒントをお届けします。

Transcript

1. Amazon Bedrock Knowledge Bases × メタデータ活用で実現する 検証可能な RAG 設計 2025/12/20 JAWS-UG Presents - AI Builders Day 株式会社 LayerX Tomoaki Kitaoka
2. Tomoaki Kitaoka 自己紹介 LayerX(2019-08 ~ ) バクラク事業部 ソフトウェアエンジニア AI-BPO チーム 機械学習チーム 趣味はクロスフィット 最近は土曜朝に同僚と代々木公園を走っています re:Invent 2025 行ってきました © LayerX Inc. 2
3. © LayerX Inc. 3
4. © LayerX Inc. 4
5. RAG を構築していますか？
6. LayerX での RAG の活用事例 社内チャットボット 社内事例その1: slackチャットボット 乱立していたチャットボットを 1 つに統合し、 開発・メンテナンスのリソースを一箇所に集約 Notion, Google Drive, Zendesk などあらゆるデ ータソースを定期的に同期する RAG の構築によ り検索性能は向上し、かつスケーラブルに 週約 2,000 回使わている（2025 年 11 月時点） 特に入社歴の浅いメンバーから重宝されている © LayerX Inc. 6
7. 検索結果は完璧ではない ユーザーへのリスク © LayerX Inc. RAG の課題 検索で取得した情報が必ずしも正確とは限らない 生成 AI は"賢い"ため、不適切な情報源でもそれらしい回答を生成できる 情報源が全くない場合は「わからない」と正直に答える傾向にはある しかし、少し近いけど全然違うトピックがヒットすると誤った回答を生成してしまう傾向がある 間違った回答でも、正解と信じてしまう可能性がある 特に初心者はリスクが高い 社内チャットボットの利用者の多くは新メンバー 7
8. 情報源の検証可能性が重要 実現方法 解決策 出力に参照元のリンクを提示する ことで、ユーザー自身が元のドキュメ ントを確認できる仕組みを構築し、信 頼できる結果を生成可能にする © LayerX Inc. 8
9. Amazon Bedrock Knowledge Bases とは 今回は S3 バケットにデータソースを置く前提でお話しします © LayerX Inc. Amazon Bedrock Knowledge Bases AWS が提供するマネージド RAG サービス データの前処理から検索まで一貫してサポート S3 バケットにデータソースを置くだけで、簡単にベクトルデータベース構築が可能 Web Crawler, Confluence, Salesforce, Sharepoint もデータソースとして指定可能（Preview） S3 Vectors により、コスト効率的なベクトルデータベース構築が可能 OpenSearch なども指定可能 マルチモーダル検索にも対応 9
10. retrieve 実行時のレスポンス構造 © LayerX Inc. Knowledge Bases のレスポンス 10
11. 課題 S3 パスは取得できるが、エンドユーザーが直接アクセスできる元の URL は取得できない © LayerX Inc. Knowledge Bases の課題 11
12. 困った
13. Knowledge Bases のメタデータ機能 出典: Amazon Web Services ブログ Knowledge Bases for Amazon Bedrock がメタデータフィルタリングをサポートし検索精度向上 © LayerX Inc. メタデータフィルタリング機能 回答精度の向上： 文脈の異なるドキュメントなど、無関係なチャンクを事前に排除 例：Good quality movies packed with actionsでスポーツ映画がヒットしてしまうのを防ぐ 検索効率の最適化： 検索対象のチャンクを減らすことで、レイテンシ改善とコスト削減 13
14. Knowledge Bases のメタデータ設定方法 ソースファイルと同名 + .metadata.json サフィックスのファイルを同じ階層に配置 以上。簡単ですね。 © LayerX Inc. メタデータフィルタリング機能 14
15. メタデータスキーマ例 © LayerX Inc. メタデータの構造 最大 10 キー システム自動生成メタデータが 3 つある なので実質ユーザーが設定できるのは最大 7 個（8個以上登録したエラーになった） 15
16. URL をメタデータとして付与 メタデータファイルの例 S3バケット登録時に、各ドキュメントに対応する .metadata.json に元の URL を記載する © LayerX Inc. 実装方法 16
17. retrieve コマンド実行してみる レスポンス（メタデータ部分） © LayerX Inc. 実装デモ 17
18. 信頼性の高い出力の生成 出力生成 RAGを呼び出すAgentのプロンプトに参照した ドキュメントの元のURL結果を必ず出力に含め るように指示する Scoreなどを利用して自信度もセットで回答を することで参照元を見た方がいいか判断しやす くなります さらにMetadata本来の？用途であるフィルタリ ングを利用することで関係ないドキュメントは 事前にフィルターするように指示しています © LayerX Inc. 18
19. まとめ © LayerX Inc. まとめ RAG は検索が完全ではなく、誤った情報源でもそれらしい回答を生成してしまう Knowledge Bases のメタデータ機能を利用することで、retrieve 時にメタデータとして ドキュメントの元のURL とセットで取得することが可能 RAGを呼び出すAgent のプロンプトで、出力にURLを含めることを指示することで、ユ ーザーが情報源を検証可能な、信頼性の高い RAG システム/アプリケーションを実現 19
20. ご清聴ありがとうございました LayerX では 圧倒的に使いやすいプロダクトでワクワクする働き方を届けたい人を大募集しています 採用情報: https://jobs.layerx.co.jp/