Langsmith入門 トレーシングとプロンプト管理を試す

【AWS活用 AI/ML/LLM #4】機械学習/大規模言語モデルのモニタリング、保守、セキュリティ
https://blueish.connpass.com/event/346463/

Transcript

1. LangSmith入門 トレーシング・プロンプト管理を試す 立野 祐太 2025.02.27 ©BLUEISH 2025. All rights reserved.
2. 立野 祐太 Yuta Tateno 普段はGo、GCPを用いたWEB開発をしています。 バックエンドエンジニア 自己紹介 ©BLUEISH 2024. All rights reserved.
3. ©BLUEISH 2025. All rights reserved. 目的 LangSmithの機能・導入のイメージを掴んでもらう
4. ©BLUEISH 2025. All rights reserved. 対象者 ❏ LLMアプリ開発の初心者の方 ❏ LangSmithや類似ツールを使ったことがない人
5. ©BLUEISH 2025. All rights reserved. 目次 1. LangSmithについて a. 主な機能 b. なぜ必要なのか c. その他特徴 d. プラン比較 e. Langfuseとの比較 2. LangSmithを試してみる a. トレース b. プロンプト管理 3. まとめ
6. ©BLUEISH 2025. All rights reserved. LLMアプリケーション開発での課題 LLMでは以下の特性があります ❏ 非決定性である ❏ 同じ入力でも毎回異なる出力を返すことがある ❏ 出力の正確性、自然さ、一貫性 が保証されない ❏ ハルシネーションを起こす 一貫した応答を求められるアプリケーションでは、これらは問題となります 👉 LangSmithで改善しよう
7. ©BLUEISH 2025. All rights reserved. 🦜⚒LangSmithとは LLMアプリケーションの開発・運用・改善を支援するツール
8. ©BLUEISH 2025. All rights reserved. 主な機能 ❏ トレーシング LLMのプロンプト、出力、実行ステップ、エラーなどリクエストの詳細を追跡 ❏ モニタリング 応答時間、エラー率、リクエスト数 などシステム全体の健康状態を監視 ❏ 監視 トレーシング・モニタリングからシステムの内部状態を可視化し異常の特定を支援 ❏ 自動評価 　　事前に設定した 評価指標とモデルの出力を自動で比較して評価 ❏ キューの注釈 人間のフィードバックを収集し、モデルの出力品質を評価・改善 ❏ プロンプト管理 プロンプトのバージョン管理や A/B テストを通じてプロンプトの品質を最適化
9. 非決定性の課題を改善 1. トレーシングによって入力と出力を追跡し、特定の出力が生成された理由を分析 2. 評価によって非決定的な応答を 「許容範囲内」か「問題あり」かを判断 3. フィードバックからモデルやプロンプトを継続的に改善し、出力の非決定性を最 小化 👉 モデル、プロンプトの継続的な改善で出力の品質を安定させる ©BLUEISH 2025. All rights reserved.
10. ©BLUEISH 2025. All rights reserved. その他特徴 ❏ フルマネージド・セルフホストどちらも対応 ❏ 個人利用であれば十分な無料枠がある ❏ LangChainと併用すると効率的に開発できる （LangChainを使用していなくても利用可能）
11. ©BLUEISH 2025. All rights reserved. プラン比較
12. ©BLUEISH 2025. All rights reserved. LangSmithとLangfuseの簡単な比較 引用: LangChainから使用する LangSmithとLangfuseの詳細比(https://zenn.dev/aidemy/articles/13ceca39b0ea6c) ※ Enterpriseプラン (最上位プラン )に加入することでセルフホストも可能 どちらもLLMアプリケーションの開発・運用・改善を支援するツール
13. ©BLUEISH 2025. All rights reserved. LangSmithを試してみる Amazon Bedrockを用いてチャット機能を構築し、LangSmithを導入 トレーシングとプロンプト管理を試します ※PythonとLangChainで記述しています（LangChainを利用していなくても導入できます）
14. ©BLUEISH 2025. All rights reserved. LangSmithを試してみる Amazon Bedrockに対応したLangChainのライブラリをインストール
15. ©BLUEISH 2025. All rights reserved. LangSmithを試してみる 簡易的なチャット機能を構築
16. ©BLUEISH 2025. All rights reserved. LangSmithを試してみる LangSmithを導入。 HPにアクセスしサインアップ
17. ©BLUEISH 2025. All rights reserved. LangSmithを試してみる APIキーを発行
18. ©BLUEISH 2025. All rights reserved. LangSmithを試してみる 環境変数をアプリケーションに設定
19. ©BLUEISH 2025. All rights reserved. LangSmithを試してみる 以上、環境変数を設定するだけでLangSmithが使えるようになる
20. ©BLUEISH 2025. All rights reserved. トレース チャットでやり取りをして、トレースされているか確認する
21. ©BLUEISH 2025. All rights reserved. トレース 環境変数で設定したプロジェクト単位で監視
22. ©BLUEISH 2025. All rights reserved. トレース 個々のやり取りのトレースが記録
23. ©BLUEISH 2025. All rights reserved. トレース 入力プロンプトと生成された出力、メタデータ
24. ©BLUEISH 2025. All rights reserved. トレース アプリ全体としてモニタリング
25. ©BLUEISH 2025. All rights reserved. トレース 可視化して確認できる
26. ©BLUEISH 2025. All rights reserved. プロンプト管理 プロンプト管理を使ってみる
27. ©BLUEISH 2025. All rights reserved. プロンプト管理 プロンプトを作成。想定する変数、モデルを指定してプロンプトの出力をテスト
28. ©BLUEISH 2025. All rights reserved. プロンプト管理 プロンプトテンプレートを保存。LangSmith上で管理できる。
29. プロンプトの変更をコミットとしてバージョン管理 ©BLUEISH 2025. All rights reserved. プロンプト管理
30. ©BLUEISH 2025. All rights reserved. プロンプト管理 保存したプロンプトはアプリケーションに簡単に呼び出せる
31. ©BLUEISH 2025. All rights reserved. まとめ LangSmithはLLMアプリケーションの開発・運用・改善を支援し、簡単に導入できること がわかった