Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Bedrock Knowledge basesにLangfuse導入してみた
Search
そのだ
March 10, 2025
Technology
2
770
Amazon Bedrock Knowledge basesにLangfuse導入してみた
【connpass】
Bedrock Night オンライン 〜AWSで生成AIアプリ開発! 最新ナレッジ共有〜
https://jawsug.connpass.com/event/345497/
そのだ
March 10, 2025
Tweet
Share
More Decks by そのだ
See All by そのだ
RAGの基礎から実践運用まで:AWS BedrockとLangfuseで実現する構築・監視・評価
sonoda_mj
0
780
Amazon Bedrock Knowledge Basesに Data Autometionを導入してみた
sonoda_mj
1
70
AIエージェントに脈アリかどうかを分析させてみた
sonoda_mj
2
230
Amazon Bedrock Knowledge Basesのアップデート紹介
sonoda_mj
2
460
Snowflake未経験の人がSnowflakeに挑戦してみた
sonoda_mj
1
130
生成AIアプリのアップデートと配布の課題をCDK Pipelinesで解決してみた
sonoda_mj
0
440
AWSでRAGを作る方法
sonoda_mj
1
550
緑一色アーキテクチャ
sonoda_mj
2
280
RAG構築におけるKendraとPineconeの使い分け
sonoda_mj
2
940
Other Decks in Technology
See All in Technology
Delta airlines®️ USA Contact Numbers: Complete 2025 Support Guide
airtravelguide
0
350
Getting to Know Your Legacy (System) with AI-Driven Software Archeology (WeAreDevelopers World Congress 2025)
feststelltaste
1
170
2025-07-06 QGIS初級ハンズオン「はじめてのQGIS」
kou_kita
0
180
成長し続けるアプリのためのテストと設計の関係、そして意思決定の記録。
sansantech
PRO
0
130
開発生産性を測る前にやるべきこと - 組織改善の実践 / Before Measuring Dev Productivity
kaonavi
14
7.8k
公開初日に Gemini CLI を試した話や FFmpeg と組み合わせてみた話など / Gemini CLI 初学者勉強会(#AI道場)
you
PRO
0
520
面倒な作業はAIにおまかせ。Flutter開発をスマートに効率化
ruideengineer
0
440
マネジメントって難しい、けどおもしろい / Management is tough, but fun! #em_findy
ar_tama
7
1.2k
【あのMCPって、どんな処理してるの?】 AWS CDKでの開発で便利なAWS MCP Servers特集
yoshimi0227
6
550
FOSS4G 2025 KANSAI QGISで点群データをいろいろしてみた
kou_kita
0
420
AWS CDK 開発を成功に導くトラブルシューティングガイド
wandora58
3
140
第4回Snowflake 金融ユーザー会 Snowflake summit recap
tamaoki
1
320
Featured
See All Featured
A Modern Web Designer's Workflow
chriscoyier
695
190k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Testing 201, or: Great Expectations
jmmastey
43
7.6k
The Invisible Side of Design
smashingmag
301
51k
Designing Experiences People Love
moore
142
24k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
A Tale of Four Properties
chriscoyier
160
23k
Music & Morning Musume
bryan
46
6.6k
The Language of Interfaces
destraynor
158
25k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Docker and Python
trallard
44
3.5k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Transcript
©Fusic Co., Ltd. 1 CONFIDENTIAL Amazon Bedrock Knowledge basesに Langfuse導入してみた
2025.3.10 苑田 朝彰 @sonoda_mj Bedrock Night オンライン
©Fusic Co., Ltd. 2 苑田 朝彰 Sonoda Tomotada - X:
sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定(初級)/ スパルタン コメント 最近後輩が捌いたぶりを食べました。 自己紹介 はじめに 株式会社Fusic
©Fusic Co., Ltd. 3 CONTENTS 目次 1. 背景 2. Amazon
Bedrock Knowledge Bases(KB)にLangfuseを導入して みた 3. まとめ
©Fusic Co., Ltd. 4 背景 1
©Fusic Co., Ltd. 5 KBで監視を行うには、CloudWatch Logsやメトリクスを見にいく必要があり、少々めんどくさい。 KBの監視が少々めんどくさい CloudWatch Logs CloudWatch
メトリクス
©Fusic Co., Ltd. 6 KBで監視を行うには、CloudWatch Logsやメトリクスを見にいく必要があり、少々めんどくさい。 KBの監視が少々めんどくさい CloudWatch Logs CloudWatch
メトリクス Langfuseを使って、一括で管理したい!
©Fusic Co., Ltd. 7 KBにLangfuseを導入してみた 2
©Fusic Co., Ltd. 8 LLMアプリケーションのために設計されたオープンソースの観測・分析プラットフォーム。 トレースやメトリクスを取得し、可視化できる。 Langfuseとは 引用:https://langfuse.com/jp トレース メトリクス
©Fusic Co., Ltd. 9 @observeで対象の関数をデコレートする。 Langfuseを導入する方法 引用:https://langfuse.com/docs/sdk/python/decorators
©Fusic Co., Ltd. 10 KBにLangfuseを導入する Amazon Bedrock Knowledge Bases (retrieve用)
Amazon Bedrock (generate用) User Amazon DynamoDB (会話履歴用) AWS Lambda AWS Cloud retrieve APIを使用する場合 Amazon Bedrock Knowledge Bases (retrieve and generate) User AWS Lambda AWS Cloud retrieve_and_generate APIを使用する場合
©Fusic Co., Ltd. 11 KBにLangfuseを導入する Amazon Bedrock Knowledge Bases (retrieve用)
Amazon Bedrock (generate用) User Amazon DynamoDB (会話履歴用) AWS Lambda AWS Cloud retrieve APIを使用する場合 Amazon Bedrock Knowledge Bases (retrieve and generate) User AWS Lambda AWS Cloud retrieve_and_generate APIを使用する場合
©Fusic Co., Ltd. 12 retrieve_and_generate APIにLangfuseを導入する
©Fusic Co., Ltd. 13 retrieve_and_generate APIにLangfuseを導入する retrieve_and_generate API Langfuseの細かい調整
©Fusic Co., Ltd. 14 retrieve_and_generate APIにLangfuseを導入した結果
©Fusic Co., Ltd. 15 retrieve_and_generate APIにLangfuseを導入した結果 一連の処理 選択した処理の 入出力
©Fusic Co., Ltd. 16 retrieve_and_generate APIのOutputだけだと、Langfuseに表示できる項目が少ないため、メリットを受けにくい。 Langfuseのメリットを受けにくい 1. Token情報の不足 2.
RetrieveとGenerateの処理時間が一緒のため、どこに時間がかかってるかわからない
©Fusic Co., Ltd. 17 KBにLangfuseを導入する Amazon Bedrock Knowledge Bases (retrieve用)
Amazon Bedrock (generate用) User Amazon DynamoDB (会話履歴用) AWS Lambda AWS Cloud retrieve APIを使用する場合 Amazon Bedrock Knowledge Bases (retrieve and generate) User AWS Lambda AWS Cloud retrieve_and_generate APIを使用する場合
©Fusic Co., Ltd. 18 retrieve APIにLangfuseを導入する
©Fusic Co., Ltd. 19 retrieve APIにLangfuseを導入する Langfuseの細かい調整 KBからの検索 会話履歴の取得 プロンプトの生成
テキスト生成
©Fusic Co., Ltd. 20 retrieve APIにLangfuseを導入する Langfuseの細かい調整 KBからの検索 会話履歴の取得 プロンプトの生成
テキスト生成 @observe @observe @observe @observe
©Fusic Co., Ltd. 21 retrieve APIにLangfuseを導入した結果
©Fusic Co., Ltd. 22 retrieve APIにLangfuseを導入した結果 一連の処理 選択した処理の 入出力
©Fusic Co., Ltd. 23 retrieve APIにLangfuseを導入した結果 Converse APIを使用することで、KBでは取得 できなかったパラメータを表記
©Fusic Co., Ltd. 24 各処理時間がどの程度かかったのかが瞬時にわかる。 retrieve APIにLangfuseを導入した結果
©Fusic Co., Ltd. 25 各APIへのLangfuse導入難易度の比較 APIの種類 導入の容易さ 監視機能の充実度 retrieve_and_generate API
• 導入が簡単 • 実装が非常にシンプル • 取得できない情報がある • 処理の内訳に対する分析がで きない。 • 詳細な監視が困難 retrieve API • 実装がやや複雑 • 複数の処理をデコレートする必 要がある • 詳細な情報が取得可能 • 各処理にかかった時間を確認 可能
©Fusic Co., Ltd. 26 まとめ 3
©Fusic Co., Ltd. 27 まとめ KBでも簡単にLangfuseを導入することが出来た。 Point 01 retrieve_and_generate APIとretrieve
APIは一長一短あるので、各プロジェクトごとに調整する必要がある。 Point 02 KB画面から確認できるようになってほしい。 Point 03
©Fusic Co., Ltd. 28 Thank You We are Hiring! https://recruit.fusic.co.jp/
ご清聴ありがとうございました!