Langsmith入門トレーシングとプロンプト管理を試す

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

©BLUEISH 2025. All rights reserved. 主な機能 ❏ トレーシング LLMのプロンプト、出力、実行ステップ、エラーなどリクエストの詳細を追跡 ❏ モニタリング応答時間、エラー率、リクエスト数などシステム全体の健康状態を監視 ❏ 監視トレーシング・モニタリングからシステムの内部状態を可視化し異常の特定を支援 ❏ 自動評価　　事前に設定した評価指標とモデルの出力を自動で比較して評価 ❏ キューの注釈人間のフィードバックを収集し、モデルの出力品質を評価・改善 ❏ プロンプト管理プロンプトのバージョン管理や A/B テストを通じてプロンプトの品質を最適化

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

©BLUEISH 2025. All rights reserved. LangSmithとLangfuseの簡単な比較引用: LangChainから使用する LangSmithとLangfuseの詳細比(https://zenn.dev/aidemy/articles/13ceca39b0ea6c) ※ Enterpriseプラン (最上位プラン )に加入することでセルフホストも可能どちらもLLMアプリケーションの開発・運用・改善を支援するツール

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text