Agentの「今、何してる？」がわかる！ AgentOpsのはじめ方

Agent作るときにあると嬉しいOps周りのはなし

Transcript

1. Agentの「今、何してる？」がわかる！ AgentOpsのはじめ方
2. はじめに 得られること - Agentってなんなの？の基礎知識 - 最近のAgentの使われ方とそれに伴う課題 - AgentOpsってどうやるの？langfuseを例にした説明 対象者 - Agentに興味がある人 - Agent作ってみたけどいまいちうまくいかない人 - AgentOpsについて興味を持ち始めた人
3. こんなことありませんか、、、、、、？？？ Agentに仕事任せたら、いつの間にか変なことしてた あとよろしくー 働けや！！ でも、なんでAgentがラリったのかわからないな、、、 どこの処理が異常なのかわからないのが問題
4. そもそもAgentってなに？ Agentは抽象的な課題でも自分で試行錯誤して解決できる、シゴできくん ユーザの指示に従い出力を返す LLM：脳みそだけ 自律的に試行錯誤を繰り返し 目的を達成する Agent：脳みそ＋自律 議事録をサマリして できません or 妄想で書きました (ハルシネーション) 議事録をサマリして できました 議事録どこ？ いつのやつ？ わからんなぁ 議事録どこ？ いつのやつ？ 自分で探そ 聞き返そ わかった！
5. そもそもAgentってなに？ Agentを武器(tool)で強化したりチームを組ませたりできる チーム・組織を組ませる (Agent同士で連携) 武器で強化 (MCPなどで接続) slack Github Google Slides などなど ボスAgent サブAgent
6. Agentの活用：ロープレ評価Agent ロープレ評価Agent ロープレAI 定性的な評価はAgent、定量的な評価はツールを用いて処理 ロープレの 会話履歴 [AIに与えられている情報] 役割、ロープレ手順、深掘りポイント 役割の評価Agent 計算ツール まとめAgent 会話の流れ評価Agent
7. Agent開発での課題 異常が発生した時にどこを直せばいいのかわからない 調整・変更 役割の評価Agent 計算ツール まとめAgent 会話の流れ評価Agent 出力 入力 会話ログ 評価結果 実装1: 3点/100点 実装2: 95点/100点 実装3: 54点/100点 プロンプトチューニング、処理ロジック変更など 結果が めっちゃブレる
8. Agent開発での課題 異常が発生した時にどこを直せばいいのかわからない 役割評価Agent 計算ツール まとめAgent 会話の流れ評価Agent 出力 入力 会話ログ 評価結果 実装1: 3点/100点 実装2: 95点/100点 実装3: 54点/100点 【課題】 Agentの挙動が ブラックボックス どこが異常かわからない ↓ 直したくても直せない 調整・変更 プロンプトチューニング、処理ロジック変更など 結果が めっちゃブレる
9. Langfuseの登場 LangfuseはLLMやAgentの動きを可視化し、追跡できるようにするツール どんな情報が入力されたか どんな情報を取得したか どんなツールを使ったか？ などが見えるようになる OSSでセルフホスト可能 通常プランでもプレミアムと近い 機能が利用可能 更新が活発でほぼ毎週アップデートあり 今回はメインの3つの機能をザクっとご紹介！！
10. Langfuseの機能：トレース Agentが何しているか？を表示してくれる機能 Agentの呼び出し LLMの呼び出し トレースの名前 トレース画面
11. Langfuseの機能：プロンプト管理 Agentへの指示(プロンプト)を管理しやすくする機能 バージョン管理も可能 タグの付け替えで 簡単にプロンプト変更 プロンプトの変更も簡単
12. Langfuseの機能：評価(LLM as a judge) Agentのアウトプットを評価してくれる機能 アウトプット 1 アウトプット 2 アウトプット 3 評価項目 (LLM as a judge) 評価結果 0.5 1.0 0.8 管理・検知 Agent アウトプット ダッシュボード
13. Langfuseの活用 機能を組み合わせるとプロンプトの試行錯誤は Biz側で回せる(かも) トレース プロンプト管理 プロンプトを 変更する 何が起きて るかみる Good／Badを 評価する 評価 Agentを 動かす