MLflow 3で実現する OpenHandsの可観測性

MLflow3とOpenHands SDK/CLIを組み合わせると、会話の内容やツールの実行、トークンの使用量を記録したトレースを簡単に取ることができます。またトレースを元にスキルやツールの有効性を定量的に評価し、Coding Agentに自己改善ループを回すアプローチも紹介します。

Transcript

1. MLflow 3で実現する OpenHandsの可観測性 Yuki Watanabe Lead Software Engineer Databricks 2026年3月26日
2. トレーシングの有効化 1 MLflowをインストールしてサーバーを起動 uvx mlflow server —port 5000 2 環境変数を設定 export OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:5000 export OTEL_EXPORTER_OTLP_HEADERS=x-mlflow-experiment-id=123 export OTEL_EXPORTER_OTLP_TRACES_PROTOCOL=http/protobuf 3 OpenHands CLI/SDKを通常通り使用する openhands セルフホストすることで、 SaaSに データを送らずにローカルで完結する .
3. トレースに保存される内容 • 会話の内容 • セッション ID • 利用可能なツール • 実際のツール呼び出し • トークン使用量 • 各ステップのレイテンシ • 使用したモデル • …
4. Coding Agentsにトレースは必要？ 課題を解決するためには、 コンテキスト が最重要 コードレビュー デザイン E2Eテスト コンテンツ制作 トレーディング OpenHandsをコーディングだけに使っている場合、トレースは必要ないかもしれない Coding Agentsは今やコーディングのみではなく、 課題解決のツールとなりつつある トレーシングはコンテキストを可視化 して分析可能にする
5. 例: スキル (SKILL.md) スキルを作るのは簡単だが、実際に 役に立つかどうかは別 "作成したスキルをエージェントが拾ってくれない " "チームメイトが共有SKILLへの変更を提案しているんだけど、本当に改善するのか分からない " "便利そうなスキルを沢山インストールしたけど、実際効果はあるんだろうか？ " "エッジケースに関する指示、 SKILL.mdに直接書くのとreferenceのどちらが良いんだろう？ "
6. mlflow/skillsで実際に活用したスキル改善ループ 1. 成功基準（スキルの発見、タスクの解決）を 評価指標として定義 2. サンプルケースでCoding Agentを実行しMLflowにトレースを記録 3. 作成した評価指標をMLflowで実行 4. 全ての基準がパスするまで Coding Agent自身にループさせる Trace LLM Judge Feedback
7. まとめ • 環境変数を設定するだけで、 OpenHands SDK/CLIのトレースが可能 • 100％オープンソース & セルフホストによる透明性 • トレースには会話の内容やツール呼び出し、トークン使用量、レイテンシなどが記録 • 記録したトレースを MLflowで評価してスキルやツールの有効性を確認 • 定量的な基準があることで、 Coding Agentに自己改善ループさせることも可能 OpenHandsドキュメンテーション: https://docs.openhands.dev/sdk/guides/observability#mlflow-setup MLflowトレーシング: https://mlflow.org/docs/latest/genai/tracing/　 参考
8. 宣伝: MLflowのLLMOps本が出ます！ 翻訳ではありません！日本のメインテナー達が心を込めて書きました