LangSmith入門―トレース／評価／プロンプト管理などを担うLLMアプリ開発プラットフォーム

大規模言語モデル（LLM）を活用したアプリケーション開発への取り組みが活発になり、最近ではプロダクショングレードなLLMアプリの開発で生じる様々な課題が議論されるようになってきました。

プロダクショングレードなLLMアプリ開発のためのプラットフォームの1つが「LangSmith」です。

LangSmithは、LLMアプリ開発のフレームワーク「LangChain」の開発元が提供しており、LangChainと非常に簡単に統合してトレースを収集できることで有名です。

しかし実は、LangSmithの機能はさらに多岐に渡っており、データセットの管理やアノテーションキューといった評価のための機能、プロンプトの管理・共有のための機能など、LLMアプリ開発の様々な場面で活用することができます。

この勉強会では、LangSmithの入門としてTracing / Evaluation / Prompt HubといったLangSmithの各種機能を解説していきます。

---

イベントページ：https://studyco.connpass.com/event/315393/

ソースコード：https://github.com/os1ma/langsmith-demo

Transcript