RAGの基礎から実践運用まで：AWS BedrockとLangfuseで実現する構築・監視・評価

©Fusic Co., Ltd. 1 CONFIDENTIAL RAGの基礎から実践運用まで AWS BedrockとLangfuseで実現する構築・監視・評価（前編） 2025.3.24
苑田朝彰 @sonoda_mj CDLE福岡

©Fusic Co., Ltd. 2 苑田朝彰 Sonoda Tomotada - X:
sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定（初級）/ スパルタンコメント最近後輩が捌いたぶりを食べました。自己紹介はじめに株式会社Fusic

©Fusic Co., Ltd. 3 CONTENTS 目次 1. 検索拡張生成（RAG）とは 2. RAGを簡単にAWSで作成する
3. RAGをもっとチューニングする 4. Langfuseで監視する 5. Langfuse で評価を管理する

©Fusic Co., Ltd. 4 CONTENTS 目次 1. 検索拡張生成（RAG）とは 2. RAGを簡単にAWSで作成する
3. RAGをもっとチューニングする 4. Langfuseで監視する 5. Langfuse で評価を管理する

©Fusic Co., Ltd. 5 検索拡張生成（RAG）とは 1

©Fusic Co., Ltd. 6 Retrieval Augmented Generationの略。生成AIに外部メモリをつけるコンセプトのことを言う。検索拡張生成(RAG)とは生成AI RAG
User 生成AI 生成AI User データベース苑田って誰ですか？ちょっとわからないです・・・苑田って誰ですか？緑のタイツを着ています緑のタイツ忍者スパルタン

©Fusic Co., Ltd. 7 Fusicの公開情報から構成されるRAG Fusic-RAG メンバー紹介ニュース開発事例その他

©Fusic Co., Ltd. 8 RAGの仕組み Documents 前処理チャンク分割 Embedding Vector
Database Embedding Model ユーザーの問い合わせドキュメント検索回答をもとにプロンプト作成応答 Embedding Embedding Model テキスト生成 Text Model データ処理データ登録ランタイム

©Fusic Co., Ltd. 10 チャンク分割チャンク分割とは、大量の文書を小さな意味のあるかたまり（チャンク）に分ける作業です。これにより、AIは質問に関連する部分だけを見つけて回答できるようになります。ドキュメントかたまりに分ける
# 製品仕様書 # 部品リスト（製品A向け）メインフレーム 1個、コネクタ 4個、制御基板 1枚... # 組立手順 1. メインフレームに制御基板を取り付ける 2. コネクタを指定の順序で接続... # 品質検査ポイント接続部の緩みがないか確認します。電源投入テストで動作確認します。外観の傷・汚れを検査します… # 部品リスト（製品A向け）メインフレーム 1個、コネクタ 4個、制御基板 1枚... # 組立手順 1. メインフレームに制御基板を取り付ける 2. コネクタを指定の順序で接続... # 品質検査ポイント接続部の緩みがないか確認します。電源投入テストで動作確認します。外観の傷・汚れを検査します… チャンク

©Fusic Co., Ltd. 11 単語や文章、画像、音声などのデータをコンピュータが理解しやすい数値ベクトルに変換する手法です。 Embedding（埋め込み）りんご [0.21, 0.54, ….]
車 [0.42, 0.13, …]

©Fusic Co., Ltd. 14 ランタイム 1. 製品Aの部品を教えてデータベース User 2.
製品Aの部品を DBから検索 6. 製品Aにはポンプが3つあります。アプリケーション 4. 検索結果と質問を LLMに渡す 5. 回答を返す 3. 検索結果を返す

製品Aの部品を DBから検索 6. 製品Aにはポンプが3つあります。アプリケーション 4. 検索結果と質問を LLMに渡す 5. 回答を返す 3. 検索結果を返す • ポンプ3個 • ネジ20個

製品Aの部品を DBから検索 6. 製品Aにはポンプが3つあります。アプリケーション 4. 検索結果と質問を LLMに渡す 5. 回答を返す 3. 検索結果を返すあなたは製品情報に関する社内アシスタントです。ユーザーの質問に対して、提供された検索結果の情報のみを使用して回答してください。 # 質問製品Aの部品を教えて # 検索結果・ポンプ3個・ネジ20個

©Fusic Co., Ltd. 23 RAGを簡単にAWSで作成する２

©Fusic Co., Ltd. 24 AI21 Labs、Anthropic、Cohere、Meta、Stability AI、Amazon などの大手 AI 企業が提供する高性能な基盤モデル
(FM) を単一の API で選択できるフルマネージド型サービスです。 Amazon Bedrock 引用： https://aws.amazon.com/jp/bedrock/

©Fusic Co., Ltd. 25 Amazon Bedrock 内から基盤モデルをデータソースに接続して、検索拡張生成 (RAG) を簡単に作成することができます。 Amazon
Bedrock Knowledge Bases Bedrock LLM Bedrock Embedding Model Vector DB Data Source or or or S3 様々なデータを入れる .txt, .md, .html, .doc/docx .csv, .xls/.xlsx, .pdf OpenSearch Serverless Aurora

Database Embedding Model ユーザーの問い合わせドキュメント検索回答をもとにプロンプト作成応答 Embedding Embedding Model テキスト生成 Text Model データ処理データ登録ランタイムデータソースの種類 • S3 • Web Crawler • Confluence • Salesforce • SharePoint • Custom 解析戦略 • default • foundation models • Data Automation チャンキング戦略 • default • 固定サイズ • Hierarchical • セマンティック • カスタム（Lambda）埋め込みモデル • Amazon Titan • Cohere データ取り込み • IngestionJob API • IngestKnowledgeBaseDocuments ストアの種類 • OpenSearch Serverless • Aurora Serverless • MongoDB Atlas • Pinecone • Redis Enterprise Cloud • Amazon Neptune Analytics • Amazon Redshift • Amazon Kendra GenAI Index 検索タイプ • ハイブリット検索 • セマンティック検索高度なデータ操作 • メタデータフィルタリング（手動・自動） • クエリ拡張 • クエリ分解 • Reranking 生成モデル • Amazon Titan • Anthropic Claude • その他 • Amazon Nova その他 • ガードレール • 評価 • ストリーミング応答

©Fusic Co., Ltd. 28 S3に読み込ませたいドキュメントをアップロードし、KBを同期するだけでRAGを使用できます。 KBを使用する（データ登録） AWS Cloud Amazon Bedrock
Knowledge Bases Amazon OpenSearch Serverless S3 Documents User 同期

©Fusic Co., Ltd. 29 作成したKBはコードで簡単に呼び出すことができます。 KBを使用する（ランタイム） Amazon Bedrock Knowledge Bases
User AWS Lambda AWS Cloud 構成図 KBを呼び出すコード

©Fusic Co., Ltd. 30 RAGをもっとチューニングする 3

©Fusic Co., Ltd. 31 チューニングしたくなるタイミング • ドキュメント量を増やすと、精度が悪くなった気がする • 特定のファイルに対する回答がおかしい気がする •
抽象的な質問にも対応してほしいなどなど

Database Embedding Model ユーザーの問い合わせドキュメント検索回答をもとにプロンプト作成応答 Embedding Embedding Model テキスト生成 Text Model データ処理データ登録ランタイムデータソースの種類 • S3 • Web Crawler • Confluence • Salesforce • SharePoint • Custom 解析戦略 • default • foundation models • Data Automation チャンキング戦略 • default • 固定サイズ • Hierarchical • セマンティック • カスタム（Lambda）埋め込みモデル • Amazon Titan • Cohere データ取り込み • IngestionJob API • IngestKnowledgeBaseDocuments ストアの種類 • OpenSearch Serverless • Aurora Serverless • MongoDB Atlas • Pinecone • Redis Enterprise Cloud • Amazon Neptune Analytics • Amazon Redshift • Amazon Kendra GenAI Index 検索タイプ • ハイブリット検索 • セマンティック検索高度なデータ操作 • メタデータフィルタリング（手動・自動） • クエリ拡張 • クエリ分解 • Reranking 生成モデル • Amazon Titan • Anthropic Claude • その他 • Amazon Nova その他 • ガードレール • 評価 - new • ストリーミング応答

©Fusic Co., Ltd. 34 チャンク分割（再掲）チャンク分割とは、大量の文書を小さな意味のあるかたまり（チャンク）に分ける作業です。これにより、AIは質問に関連する部分だけを見つけて回答できるようになります。ドキュメントかたまりに分けてデータベースに格納
データベース # 製品仕様書 # 部品リスト（製品A向け）メインフレーム 1個、コネクタ 4個、制御基板 1枚... # 組立手順 1. メインフレームに制御基板を取り付ける 2. コネクタを指定の順序で接続... # 品質検査ポイント接続部の緩みがないか確認します。電源投入テストで動作確認します。外観の傷・汚れを検査します…

©Fusic Co., Ltd. 35 チャンク分割の調整チャンク分割の調整は、精度向上する上で必要な工程です。１チャンクあたりが大きいと検索にヒットせず、小さすぎると生成されるテキストがぶつ切りになるため、適度なチューニングが必要です。 # 製品仕様書 #
部品リスト（製品A向け）メインフレーム 1個、コネクタ 4個、制御基板 1枚... # 組立手順 1. メインフレームに制御基板を取り付ける 2. コネクタを指定の順序で接続... # 品質検査ポイント接続部の緩みがないか確認します電源投入テストで動作確認します外観の傷・汚れを検査します… # 製品仕様書 # 部品リスト（製品A向け）メインフレーム 1個、コネクタ 4個、制御基板 1枚... # 組立手順 1. メインフレームに制御基板を取り付ける 2. コネクタを指定の順序で接続... # 品質検査ポイント接続部の緩みがないか確認します電源投入テストで動作確認します外観の傷・汚れを検査します… 検索がヒットしない生成されるテキストがぶつ切りになるチャンクが大きい場合チャンクが小さい場合

©Fusic Co., Ltd. 36 1. チャンク分割の内容を重複させるチャンク分割を行う際に、内容を一部重複させてかたまりを作成します。そうすることで、文脈の連続性が保たれ、情報の断絶を防ぐことができます。ドキュメントかたまりに分けて
データベースに格納データベース # 製品仕様書 # 部品リスト（製品A向け）メインフレーム 1個、コネクタ 4個、制御基板 1枚... # 組立手順 1. メインフレームに制御基板を取り付ける 2. コネクタを指定の順序で接続... # 品質検査ポイント接続部の緩みがないか確認します電源投入テストで動作確認します外観の傷・汚れを検査します…

©Fusic Co., Ltd. 37 2. 階層構造で分割するデータを階層構造で整理することで、内部の関連性に基づいた詳細かつ効率的な情報取得が可能になります。この方法は技術マニュアルや法律文書、学術論文といった構造的な文章に特に効果的で、LLMに渡す情報量が多いのため、精度が向上する可能性があります。親チャンク
子チャンク① 子チャンク② 子チャンク③ # 製品仕様書 # 部品リスト（製品A向け）メインフレーム 1個、コネクタ 4個、制御基板 1枚... # 組立手順 1. メインフレームに制御基板を取り付ける 2. コネクタを指定の順序で接続... # 品質検査ポイント接続部の緩みがないか確認します電源投入テストで動作確認します外観の傷・汚れを検査します… # 製品仕様書 # 部品リスト（製品A向け）メインフレーム 1個、コネクタ 4個、制御基板 1枚... # 組立手順 1. メインフレームに制御基板を取り付ける 2. コネクタを指定の順序で接続... # 品質検査ポイント接続部の緩みがないか確認します電源投入テストで動作確認します外観の傷・汚れを検査します…

©Fusic Co., Ltd. 38 2. 階層構造で分割するデータを階層構造で整理することで、内部の関連性に基づいた詳細かつ効率的な情報取得が可能になります。この方法は技術マニュアルや法律文書、学術論文といった構造的な文章に特に効果的で、LLMに渡す情報量が多いのため、精度が向上する可能性があります。親チャンク
子チャンク① 子チャンク② 子チャンク③ # 製品仕様書 # 部品リスト（製品A向け）メインフレーム 1個、コネクタ 4個、制御基板 1枚... # 組立手順 1. メインフレームに制御基板を取り付ける 2. コネクタを指定の順序で接続... # 品質検査ポイント接続部の緩みがないか確認します電源投入テストで動作確認します外観の傷・汚れを検査します… # 製品仕様書 # 部品リスト（製品A向け）メインフレーム 1個、コネクタ 4個、制御基板 1枚... # 組立手順 1. メインフレームに制御基板を取り付ける 2. コネクタを指定の順序で接続... # 品質検査ポイント接続部の緩みがないか確認します電源投入テストで動作確認します外観の傷・汚れを検査します… 子チャンクに対してデータベースから検索を行う

©Fusic Co., Ltd. 39 # 製品仕様書 # 部品リスト（製品A向け）メインフレーム
1個、コネクタ 4個、制御基板 1枚... # 組立手順 1. メインフレームに制御基板を取り付ける 2. コネクタを指定の順序で接続... # 品質検査ポイント接続部の緩みがないか確認します電源投入テストで動作確認します外観の傷・汚れを検査します… 2. 階層構造で分割するデータを階層構造で整理することで、内部の関連性に基づいた詳細かつ効率的な情報取得が可能になります。この方法は技術マニュアルや法律文書、学術論文といった構造的な文章に特に効果的で、LLMに渡す情報量が多いのため、精度が向上する可能性があります。親チャンク子チャンク① 子チャンク② 子チャンク③ # 製品仕様書 # 部品リスト（製品A向け）メインフレーム 1個、コネクタ 4個、制御基板 1枚... # 組立手順 1. メインフレームに制御基板を取り付ける 2. コネクタを指定の順序で接続... # 品質検査ポイント接続部の緩みがないか確認します電源投入テストで動作確認します外観の傷・汚れを検査します… ヒットした子チャンクの親チャンクをLLMに返す

©Fusic Co., Ltd. 40 階層構造の例マニュアルが多かったので、階層構造で分割しました。各章の情報を集約した親チャンクをLLMに渡すことで、より精度の高い回答が可能になりました。第1章: 製品開発プロセス概要本マニュアルは、GENNIE株式会社における製品開発の標準プロセスを定義したものです。すべての製品開発プロ
ジェクトは、本マニュアルに記載されたプロセスに従って実施されます。各プロジェクトの特性に応じて、プロジェクトマネージャーの判断により一部のプロセスをテーラリングすることができますが、品質確保のために重要なゲートレビューは省略できません。 1.1 開発フェーズ定義製品開発プロセスは、明確に定義された5つのフェーズで構成されています。各フェーズの終了時には、次のフェーズへの移行可否を判断するためのゲートレビューを実施します。これにより、品質問題の早期発見と対策が可能となり、開発の手戻りを最小限に抑えることができます。開発フェーズは「企画フェーズ(G0)」「設計フェーズ(G1)」「試作フェーズ(G2)」「評価フェーズ(G3)」「量産準備フェーズ(G4)」の5段階で構成されます。企画フェーズでは市場調査とコンセプト策定を行い、成果物として製品企画書と事業性評価を作成します。設計フェーズでは基本設計と詳細設計を行い、設計仕様書と部品表を作成します。試作フェーズでは試作品製作と初期評価を行い、試作品と初期評価結果をまとめます。評価フェーズでは信頼性評価と認証取得を行い、評価報告書と認証書類を作成します。量産準備フェーズでは生産準備と初期流動管理を行い、量産移行計画と検査基準を確立します。 •企画フェーズ：市場調査、コンセプト策定（G0） •設計フェーズ：基本設計、詳細設計（G1） •試作フェーズ：試作品製作、初期評価（G2） •評価フェーズ：信頼性評価、認証取得（G3） •量産準備フェーズ：生産準備、初期流動管理（G4） 1.2 開発体制 •プロジェクトマネージャー（PM） •テクニカルリーダー（TL） •設計担当者 •品質管理担当者 •製造技術担当者 1.3 開発スケジュール管理プロジェクト管理システム「G-Project」を使用してスケジュール管理を行います。各フェーズの完了基準は「開発ゲート評価表」に従います。第2章: 設計プロセス 2.1 基本設計基本設計フェーズは製品開発の方向性を決定する重要なプロセスです。このフェーズでは、顧客要求を製品仕様に変換し、技術的な実現性を検証します。システムアーキテクチャや主要技術の選定も行われ、詳細設計のベースとなる基本設計書が作成されます。 2.1.1 仕様検討仕様検討では、顧客要求仕様書（CRS）を基に技術要求仕様書（TRS）を作成します。CRSからTRSへの変換は、マーケティング部門と技術部門が協力して行います。要求仕様の曖昧さを排除し、測定可能な指標に変換することが重要です。注意事項: すべての要求仕様は、SMART原則（Specific, Measurable, Achievable, Relevant, Time-bound）に基づいて定義してください。曖昧な表現や測定できない要求は避けるべきです。 •顧客要求仕様書（CRS）の分析 •技術要求仕様書（TRS）の作成 •機能ブロック図の作成第1章: 製品開発プロセス概要本マニュアルは、GENNIE株式会社における製品開発の標準プロセスを定義したものです。すべての製品開発プロジェクトは、本マニュアルに記載されたプロセスに従って実施されます。各プロジェクトの特性に応じて、プロジェクトマネージャーの判断により一部のプロセスをテーラリングすることができますが、品質確保のために重要なゲートレビューは省略できません。 1.1 開発フェーズ定義製品開発プロセスは、明確に定義された5つのフェーズで構成されています。各フェーズの終了時には、次のフェーズへの移行可否を判断するためのゲートレビューを実施します。これにより、品質問題の早期発見と対策が可能となり、開発の手戻りを最小限に抑えることができます。開発フェーズは「企画フェーズ(G0)」「設計フェーズ(G1)」「試作フェーズ(G2)」「評価フェーズ(G3)」「量産準備フェーズ(G4)」の5段階で構成されます。企画フェーズでは市場調査とコンセプト策定を行い、成果物として製品企画書と事業性評価を作成します。設計フェーズでは基本設計と詳細設計を行い、設計仕様書と部品表を作成します。試作フェーズでは試作品製作と初期評価を行い、試作品と初期評価結果をまとめます。評価フェーズでは信頼性評価と認証取得を行い、評価報告書と認証書類を作成します。量産準備フェーズでは生産準備と初期流動管理を行い、量産移行計画と検査基準を確立します。 •企画フェーズ：市場調査、コンセプト策定（G0） •設計フェーズ：基本設計、詳細設計（G1） •試作フェーズ：試作品製作、初期評価（G2） •評価フェーズ：信頼性評価、認証取得（G3） •量産準備フェーズ：生産準備、初期流動管理（G4） 1.2 開発体制 •プロジェクトマネージャー（PM） •テクニカルリーダー（TL） •設計担当者 •品質管理担当者 •製造技術担当者 1.3 開発スケジュール管理プロジェクト管理システム「G-Project」を使用してスケジュール管理を行います。各フェーズの完了基準は「開発ゲート評価表」に従います。第2章: 設計プロセス 2.1 基本設計基本設計フェーズは製品開発の方向性を決定する重要なプロセスです。このフェーズでは、顧客要求を製品仕様に変換し、技術的な実現性を検証します。システムアーキテクチャや主要技術の選定も行われ、詳細設計のベースとなる基本設計書が作成されます。 2.1.1 仕様検討仕様検討では、顧客要求仕様書（CRS）を基に技術要求仕様書（TRS）を作成します。CRSからTRSへの変換は、マーケティング部門と技術部門が協力して行います。要求仕様の曖昧さを排除し、測定可能な指標に変換することが重要です。注意事項: すべての要求仕様は、SMART原則（Specific, Measurable, Achievable, Relevant, Time-bound）に基づいて定義してください。曖昧な表現や測定できない要求は避けるべきです。 •顧客要求仕様書（CRS）の分析 •技術要求仕様書（TRS）の作成 •機能ブロック図の作成開発フェーズとは？開発体制とは？基本設計とは？子チャンク親チャンク

©Fusic Co., Ltd. 43 3. 前処理を頑張ってみる不要なタグやフォーマットを除去することで、LLMが本質的な内容に集中できるようになり、検索精度が向上する。想定質問に対応したデータを補完することで、検索
漏れを防ぎ回答精度を向上させる。テーブルや表など構造化データ LLMがデータを正確に理解できるようになり、検索精度と回答品質が大幅に向上する。 ① PDFからテキストやマークダウンに変換する ③ LLMで複雑な構造のデータから重要情報を抽出・整形する変換 ② 少量の場合、自分でデータを作成する User データの追加

©Fusic Co., Ltd. 44 3. 前処理を頑張ってみる不要なタグやフォーマットを除去することで、LLMが本質的な内容に集中できるようになり、検索精度が向上する。想定質問に対応したデータを補完することで、検索
漏れを防ぎ回答精度を向上させる。テーブルや表など構造化データ LLMがデータを正確に理解できるようになり、検索精度と回答品質が大幅に向上する。 ① PDFからテキストやマークダウンに変換する ③ LLMで複雑な構造のデータから重要情報を抽出・整形する変換 ② 少量の場合、自分でデータを作成する User データの追加

©Fusic Co., Ltd. 45 LLMで複雑な構造のデータから重要情報を抽出・整形する LLMによる前処理で構造化テキストに変換することで、情報抽出の精度が向上し、より的確な回答が可能になりました。不具合報告書(サンプル) # 製品不具合報告書 **文書番号:
DFT-2025-0142** **社外秘** ## 1. 基本情報 | 項目 | 内容 | |------|------| | 製品名 | 産業用制御盤 MCB-5000 | | 製造ロット | LOT-20250213-A4 | | 発生日 | 2025年2月20日 | | 報告者 | 品質管理部山田太郎 | | 不具合検出工程 | 最終検査工程 | ## 2. 不具合内容電源投入後に制御基板のトランジスタT24周辺が異常発熱（85℃超）。 5台中2台で発生。樹脂部品変形の兆候あり。システム診断で「温度センサーエラー(E-405)」表示。 ## 3. 調査結果 ### 初期調査 - トランジスタT24周辺の目視検査で異常なし - コレクタ-エミッタ間電圧が規定値(3.3V±0.1V)を超え4.2V - X線検査で基板内部に異常なし ### 根本原因分析 **材料要因 (70%)** トランジスタT24のロット検査を実施。5%の確率で特性値が仕様外(許容範囲: 0.4A〜0.6A、検出値: 最大0.8A) **設計要因 (20%)** 回路シミュレーションの結果、特定条件下でトランジスタT24に過大電流が流れる可能性を確認 **製造要因 (10%)** 2月13日のはんだ付け工程で使用された新ロットのフラックスが原因で、はんだ接合部の信頼性低下 ## 4. 対策 ### 緊急対応 | 対応項目 | 状況 | |---------|------| | 該当ロットの出荷停止 | 完了 (2/20) | テキスト抽出した後のデータ LLMによる前処理

©Fusic Co., Ltd. 48 KBではデータソースを５つまで設定できるので、１つのKBでさまざまなチューニングを行うことができます。 KBでのDataSourceの選択方法 Webクローリング階層型チャンキング LLM前処理 Data
Automation Confluence

©Fusic Co., Ltd. 49 まとめ RAGの仕組みについて説明しました。 Point 01 Amazon Bedrock
Knowledge Basesを使用すると簡単にRAGを構築することができます。 Point 02 RAGのチューニングは意外と泥臭い作業が必要です。 Point 03

RAGの基礎から実践運用まで：AWS BedrockとLangfuseで実現する構築・監視・評価

RAGの基礎から実践運用まで：AWS BedrockとLangfuseで実現する構築・監視・評価

More Decks by そのだ

Other Decks in Technology

Featured

Transcript