AIエージェントの オブザーバビリティとガードレールの実装 - CNCJ: AIエージェントガバナンスおよびガードレールミートアップ

ガードレールも権限設計もプロンプト調整も、「こうすれば安全になるはず」という仮説です。それが効いているかは、観測しなければ確かめられません。

AIエージェントを外部SaaS、デスクトップアプリ、サーバーサイドアプリの3つに分け、それぞれどこを見られて、どこで止められるのかを整理しました。そのうえで、オブザーバビリティを先に、ガードレールをその次に置くという順番を、Splunk Agent ObservabilityとOSSのAgent Controlを例に紹介しています。

CNCJ AIエージェントガバナンス＆ガードレール Meetup（2026年10月5日）での発表資料です。
https://ocgroups.dev/cncf/group/qvf5zbg/event/mcd7rx7

Transcript

1. AI エージェントの オブザーバビリティとガードレールの実装 Implementing Observability and Guardrails for AI Agents 大谷 和紀 Senior Solutions Architect, Observability ／ Splunk Services Japan CNCJ AI エージェントガバナンス＆ガードレール Meetup ／ 2026.10.05
3. オブザーバビリティを先に、ガードレールはその次に 権限を絞ったつもりでも 個人情報が、ツールの結果や回答に混ざっていないか プロンプトを直したけれど 正しいツールを選べているか、エラーで止まっていないか ガードレールを入れたけれど 止めすぎて、タスクを完了できなくなっていないか
4. Splunk Agent Observability 深いインサイト 複雑なマルチエージェントのワークフローで、 エラーの根本原因を確認できる 正確な評価 すぐに使えるメトリクスとカスタムメトリクスで、 エージェント、出力、 RAG の品質を評価する ランタイムガードレール Luna SLM で、ハルシネーション、 プロンプトインジェクション、安全性違反をブロックする
5. Agent Observability のユースケース 観測 評価 ガードレール AI 環境全体を監視し、 障害とエラーを診断 トークンの使用量と コストを管理 エージェントを評価し、 挙動を改善 有害で不正確な 出力をブロック 依存関係を追跡してワークフ ローを分析し、遅延やエラー などの SLO を追跡する GPU とトークンの使われ方を 把握し、コストを最適化する ハルシネーション、バイアス、 関連性、安全性の観点でプロ ンプトと応答をテストする リアルタイムのガードレール で、不正確または有害な出力 を防ぐ
6. 適用条件 対象 自分たちで開発・運用するアプリに 組み込んだ AI エージェント 計装 Agent Observability SDK （ Python など） OpenTelemetry （ GenAI 規約）／ OpenInference フレームワーク LangChain ・ LangGraph 、 OpenAI Agents SDK 、 CrewAI 、 Google ADK 、 Strands Agents など 送り先 Splunk Observability Cloud 連携、 またはオンプレ・スタンドアロン 対象の例 サイトに組み込まれた AI アシスタント （ OpenTelemetry Docs AI ） 現時点では対象外 ChatGPT などのウェブサービス ／ Claude Code などの AI ツール ／ Dify などの AI ワークフロー基盤
7. AI エージェントとは LLM が目標に向かって自分で判断しながら ツールを繰り返し呼び出すシステム Anthropic Simon Willison Building effective agents LLM が処理の流れと ツールの使い方を 自分で動的に決めるもの OpenAI Agents SDK 目標を達成するために ツールをループで実行する LLM 指示とツールを持った LLM
13. オブザーバビリティとコントローラビリティはセット オブザーバビリティ コントローラビリティ 見えないものは 制御できない 制御の効果は 見えなければ確かめられない
14. 観測、評価、制御、検証を回す 観測 評価 制御 検証 何が起きているかを テレメトリでつかむ 良し悪しを判定する （評価器も調整する） ガードレール・権限・ プロンプトを入れる 効いているか、 止めすぎていないか
15. 01 実装例： Splunk Agent Observability
16. 観測、評価、ガードレールを一つの流れで エージェント OTel GenAI 計装 Agent Control のフック トレース プロンプト・応答・ ツール呼び出し 評価 回答の品質・安全性を 判定する 発動状況もトレースとして戻る Splunk Agent Observability 観測・評価・ガードレールの発動状況を、同じ画面で ガードレール ポリシーで observe → deny
17. DEMO 1 オブザーブ（トレース計装と評価）
18. 組み込みの例： OpenAI クライアントを差し替える from splunk_ao import splunk_ao_context 1 from splunk_ao.openai import openai 1 クライアントを差し替える 2 load_dotenv() 2 接続情報は環境変数 3 splunk_ao_context.init(project="kaotani-demo", 3 送り先を決める agent_stream="hello") client = openai.OpenAI() response = client.chat.completions.create( model=model_name, messages=[{"role": "system", "content": system_prompt}, {"role": "user", "content": user_prompt}], )
19. DEMO 2 コントロール
20. 組み込みの例：関数にデコレータを付ける import agent_control from agent_control import control, ControlViolationError 1 @control() 1 検査する関数に付ける 2 エージェントを登録 3 止められたときの処理 async def chat(message: str) -> str: ... 2 agent_control.init( agent_name="awesome_bot_3000", agent_description="My Chatbot", ) try: print(await chat("test")) 3 except ControlViolationError as e: print(f"Blocked: {e.control_name}")
21. ガードレールの定義：サーバー側のコントロール { "name": "block-ssn-output", "enabled": true, "scope": { 1 1 検査する場所 2 検査する中身 3 判定後の動き "step_types": ["tool"], "stages": ["post"] }, "condition": { 2 "selector": {"path": "output"}, "evaluator": { "name": "regex", "config": {"pattern": "\\b\\d{3}-\\d{2}-\\d{4}\\b"} } }, "action": {"decision": "deny"} 3 }
22. Agent Observability は Free Edition で試せます 観測・評価・ガードレールを、まず手元のエージェントで SDK か OpenTelemetry で計装して、送り先を向けるだけ Agent Control は OSS https://www.splunk.com/ja_jp/download/observability-cloud-free-edition.html
23. オブザーバビリティを先に、ガードレールはその次に 権限を絞ったつもりでも 個人情報が、ツールの結果や回答に混ざっていないか プロンプトを直したけれど 正しいツールを選べているか、エラーで止まっていないか ガードレールを入れたけれど 止めすぎて、タスクを完了できなくなっていないか