LangSmith×Webhook連携で実現するプロンプトドリブンCI/CD

本資料ではLangSmithの新機能であるWebhook機能[1]について紹介しています。

この機能を使えばLangSmithでプロンプトドリブンなCI/CDを構築できます。

詳しくは資料をご覧ください。

また本資料はLangChain Meetup #6[2]の発表で用いた資料となります。

[1]: https://changelog.langchain.com/announcements/integrate-langsmith-prompts-with-your-sldc
[2]: https://langchain.connpass.com/event/358275/

- 著者情報
Algomatic AX AIエンジニア @sergicalsix

Transcript

1. sergicalsix　 AI Transformation(AX) AIエンジニア LangSmith×Webhook連携で 実現するプロンプトドリブンCI/CD
2. © 2025 Algomatic Inc. 今回話す内容は以下です。 SDLC: Software Development Life Cycle、ソフトウェア開発ライフサイクル）: ソフトウェア開発の計画から設計、実装、テスト、リリース、保守までの全⼯程 https://changelog.langchain.com/announcements/integrate-langsmith-prompts-with-your-sldc
3. © 2025 Algomatic Inc. LangSmithとは LangSmithとは、LLMの実⾏モニタリング、ログの収集、実⾏及び評価機能を持つLLMOpsツールの ⼀つである。 https://www.langchain.com/langsmith
4. © 2025 Algomatic Inc. 課題: LangSmithにおけるプロンプト管理 今までLangSmith上で新規作成/変更したプロンプトをGit管理するためには、 プロンプトを①⼿動コピー or ダウンロード②SDKを使って取得する必要があった。 ①コピー or ダウンロード ②プロンプトを SDKで取得(プル)
5. © 2025 Algomatic Inc. LangSmithのWebhook連携 LangSmithでプロンプトを作成‧変更すると、プロンプト情報とコミットハッシュを含むペイロー ドがWebhook経由でAPIに送信できるようになった。 https://docs.smith.langchain.com/prompt_engineering/tutorials/prompt_commit?_gl=1*1crpp8m*_gcl_au*MTkyNjU4MDkyNS4xNzUwODUxNjkz*_ga*MjEyOTU2MzMwMC4xNzM4MzE2ODg1*_ga_47WX3HKKY2*czE3NTE0NjQ4 DckbzE5JGcxJHQxNzUxNDY0OTA3JGo2MCRsMCRoMA.. 不要
6. © 2025 Algomatic Inc. 実践1: API実装と公開、Webhookの登録 WebhookエンドポイントをLangSmith連携⽤に⽤意し、GitHubへの⾃動プッシュ機能を実装。 APIを公開してLangSmithのWebhookに登録する [1]:https://docs.smith.langchain.com/prompt_engineering/tutorials/prompt_commit?_gl=1*wwfwgg*_gcl_au*MTkyNjU4MDkyNS4xNzUwODUxNjkz*_ga*MjEyOTU2MzMwMC4xNzM4MzE2ODg1* a_47WX3HKKY2*czE3NTE0NzA3MjAkbzIwJGcxJHQxNzUxNDczNjAyJGo2MCRsMCRoMA.. AWS、GCP、Render、Fly.io、ngrokなどで APIを公開
7. © 2025 Algomatic Inc. 実践2: LangSmith上でのプロンプトのコミット LangSmithのGUIでプロンプトを編集してCommitする
8. © 2025 Algomatic Inc. 実践3: 結果の確認 Webhookが起動し、プロンプトがWebhook経由でpushされる。
9. © 2025 Algomatic Inc. - LangSmithでプロンプトを作成‧変更すると、プロンプト情報とコミット ハッシュを含むペイロードがWebhook経由でAPIに送信できるようになった → LangSmith&GitHubのプロンプト管理が容易となり、プロンプトドリブ ンなCI/CDが構築できるになった サマリと所感 プロンプトエンジニアリングも、従来のソフトウェアエンジニアリングのベストプラク ティスを踏襲する⽅向に進化していく可能性が⾼い https://docs.smith.langchain.com/prompt_engineering/tutorials/prompt_commit?_gl=1*1crpp8m*_gcl_au*MTkyNjU4MDkyNS4xNzUwODUxNjkz*_ga*MjEyOTU2MzMwMC4xNz M4MzE2ODg1*_ga_47WX3HKKY2*czE3NTE0NjQ4NDckbzE5JGcxJHQxNzUxNDY0OTA3JGo2MCRsMCRoMA..