Slide 1

Slide 1 text

©Fusic Co., Ltd. 1 CONFIDENTIAL Amazon Bedrock Knowledge basesに Langfuse導入してみた 2025.3.10 苑田 朝彰 @sonoda_mj Bedrock Night オンライン

Slide 2

Slide 2 text

©Fusic Co., Ltd. 2 苑田 朝彰 Sonoda Tomotada - X: sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定(初級)/ スパルタン コメント 最近後輩が捌いたぶりを食べました。 自己紹介 はじめに 株式会社Fusic

Slide 3

Slide 3 text

©Fusic Co., Ltd. 3 CONTENTS 目次 1. 背景 2. Amazon Bedrock Knowledge Bases(KB)にLangfuseを導入して みた 3. まとめ

Slide 4

Slide 4 text

©Fusic Co., Ltd. 4 背景 1

Slide 5

Slide 5 text

©Fusic Co., Ltd. 5 KBで監視を行うには、CloudWatch Logsやメトリクスを見にいく必要があり、少々めんどくさい。 KBの監視が少々めんどくさい CloudWatch Logs CloudWatch メトリクス

Slide 6

Slide 6 text

©Fusic Co., Ltd. 6 KBで監視を行うには、CloudWatch Logsやメトリクスを見にいく必要があり、少々めんどくさい。 KBの監視が少々めんどくさい CloudWatch Logs CloudWatch メトリクス Langfuseを使って、一括で管理したい!

Slide 7

Slide 7 text

©Fusic Co., Ltd. 7 KBにLangfuseを導入してみた 2

Slide 8

Slide 8 text

©Fusic Co., Ltd. 8 LLMアプリケーションのために設計されたオープンソースの観測・分析プラットフォーム。 トレースやメトリクスを取得し、可視化できる。 Langfuseとは 引用:https://langfuse.com/jp トレース メトリクス

Slide 9

Slide 9 text

©Fusic Co., Ltd. 9 @observeで対象の関数をデコレートする。 Langfuseを導入する方法 引用:https://langfuse.com/docs/sdk/python/decorators

Slide 10

Slide 10 text

©Fusic Co., Ltd. 10 KBにLangfuseを導入する Amazon Bedrock Knowledge Bases (retrieve用) Amazon Bedrock (generate用) User Amazon DynamoDB (会話履歴用) AWS Lambda AWS Cloud retrieve APIを使用する場合 Amazon Bedrock Knowledge Bases (retrieve and generate) User AWS Lambda AWS Cloud retrieve_and_generate APIを使用する場合

Slide 11

Slide 11 text

©Fusic Co., Ltd. 11 KBにLangfuseを導入する Amazon Bedrock Knowledge Bases (retrieve用) Amazon Bedrock (generate用) User Amazon DynamoDB (会話履歴用) AWS Lambda AWS Cloud retrieve APIを使用する場合 Amazon Bedrock Knowledge Bases (retrieve and generate) User AWS Lambda AWS Cloud retrieve_and_generate APIを使用する場合

Slide 12

Slide 12 text

©Fusic Co., Ltd. 12 retrieve_and_generate APIにLangfuseを導入する

Slide 13

Slide 13 text

©Fusic Co., Ltd. 13 retrieve_and_generate APIにLangfuseを導入する retrieve_and_generate API Langfuseの細かい調整

Slide 14

Slide 14 text

©Fusic Co., Ltd. 14 retrieve_and_generate APIにLangfuseを導入した結果

Slide 15

Slide 15 text

©Fusic Co., Ltd. 15 retrieve_and_generate APIにLangfuseを導入した結果 一連の処理 選択した処理の 入出力

Slide 16

Slide 16 text

©Fusic Co., Ltd. 16 retrieve_and_generate APIのOutputだけだと、Langfuseに表示できる項目が少ないため、メリットを受けにくい。 Langfuseのメリットを受けにくい 1. Token情報の不足 2. RetrieveとGenerateの処理時間が一緒のため、どこに時間がかかってるかわからない

Slide 17

Slide 17 text

©Fusic Co., Ltd. 17 KBにLangfuseを導入する Amazon Bedrock Knowledge Bases (retrieve用) Amazon Bedrock (generate用) User Amazon DynamoDB (会話履歴用) AWS Lambda AWS Cloud retrieve APIを使用する場合 Amazon Bedrock Knowledge Bases (retrieve and generate) User AWS Lambda AWS Cloud retrieve_and_generate APIを使用する場合

Slide 18

Slide 18 text

©Fusic Co., Ltd. 18 retrieve APIにLangfuseを導入する

Slide 19

Slide 19 text

©Fusic Co., Ltd. 19 retrieve APIにLangfuseを導入する Langfuseの細かい調整 KBからの検索 会話履歴の取得 プロンプトの生成 テキスト生成

Slide 20

Slide 20 text

©Fusic Co., Ltd. 20 retrieve APIにLangfuseを導入する Langfuseの細かい調整 KBからの検索 会話履歴の取得 プロンプトの生成 テキスト生成 @observe @observe @observe @observe

Slide 21

Slide 21 text

©Fusic Co., Ltd. 21 retrieve APIにLangfuseを導入した結果

Slide 22

Slide 22 text

©Fusic Co., Ltd. 22 retrieve APIにLangfuseを導入した結果 一連の処理 選択した処理の 入出力

Slide 23

Slide 23 text

©Fusic Co., Ltd. 23 retrieve APIにLangfuseを導入した結果 Converse APIを使用することで、KBでは取得 できなかったパラメータを表記

Slide 24

Slide 24 text

©Fusic Co., Ltd. 24 各処理時間がどの程度かかったのかが瞬時にわかる。 retrieve APIにLangfuseを導入した結果

Slide 25

Slide 25 text

©Fusic Co., Ltd. 25 各APIへのLangfuse導入難易度の比較 APIの種類 導入の容易さ 監視機能の充実度 retrieve_and_generate API • 導入が簡単 • 実装が非常にシンプル • 取得できない情報がある • 処理の内訳に対する分析がで きない。 • 詳細な監視が困難 retrieve API • 実装がやや複雑 • 複数の処理をデコレートする必 要がある • 詳細な情報が取得可能 • 各処理にかかった時間を確認 可能

Slide 26

Slide 26 text

©Fusic Co., Ltd. 26 まとめ 3

Slide 27

Slide 27 text

©Fusic Co., Ltd. 27 まとめ KBでも簡単にLangfuseを導入することが出来た。 Point 01 retrieve_and_generate APIとretrieve APIは一長一短あるので、各プロジェクトごとに調整する必要がある。 Point 02 KB画面から確認できるようになってほしい。 Point 03

Slide 28

Slide 28 text

©Fusic Co., Ltd. 28 Thank You We are Hiring! https://recruit.fusic.co.jp/ ご清聴ありがとうございました!