GuardrailからGovernanceへ～AIエージェント運用の次の課題～

Transcript

1. Copyright © Acroquest Technology Co., Ltd. All rights reserved. GuardrailからGovernanceへ ～AIエージェント運用の次の課題～ 2026/07/09(木) 吉岡 駿 Acroquest Technology Co., Ltd. 1 AWS Summit Japan 2026 振り返らNight！Online
2. 吉岡 駿 @sbspsy Acroquest Technology 株式会社 執筆 • 『AWS コンピュータービジョン開発の教科書』（翻訳） • 自社技術ブログ「Taste of Tech Topics」 開発 • 自社製品 AcroChatAI, DocCollector, DocLens開発 • その他、生成AIエージェントシステム開発 • 社内データサイエンスチーム「YAMALEX」メンバー 趣味 • 分割キーボード（KeyBall61） • TOEIC 990点 資格 • Japan AWS Top Engineers (AI/ML) 2025-2026 • AWS Certified Generative AI Developer - Professional
3. 目次 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3 1. AWS Summit Tokyo 2026 で見えた変化 2. AI Agent Governance とは何か 3. 例でみる Governance 4. まとめ
4. 1. AWS Summit Tokyo 2026 で見えた変化 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 4 AIエージェントは、 「チャット相手・秘書」から「タスクを遂行する作業者」へ。 会話 LLMの出力を人が読み、 人が外部システムを操作 指示 エージェントが自律的に判断し、 エージェントが 外部システムを操作
5. 1. AWS Summit Tokyo 2026 で見えた変化 AIの役割が変わると、制御対象も変わる Copyright © Acroquest Technology Co., Ltd. All rights reserved. 5 No 観点 チャット相手 作業者 1 主なリスク 不適切な応答・スコープ外の発言 誤った操作・権限逸脱・原因不明の失敗 2 制御対象 出力内容 ツール実行・権限・判断根拠・実行結果 3 主な仕組み Guardrail Identity / Policy / Logs / Observability / Evaluation 4 必要な状態 危険な発言を止める 後から説明・検証・改善できる 「作業者」になると、制御すべき対象は「発言」だけでは足りない エージェントの「行動」も含めて、制御する必要が出てきた
6. 2. AI Agent Governance とは何か Copyright © Acroquest Technology Co., Ltd. All rights reserved. 6 [AWS Blog] AgentOps: Operationalize agentic AI at scale with Amazon Bedrock AgentCore | Artificial Intelligence https://aws.amazon.com/jp/blogs/machine-learning/agentops-operationalize-agentic-ai-at-scale-with-amazon-bedrock-agentcore/ [AWS Prescriptive Guidance] Governing and architecting the diversity of agentic AI at scale https://docs.aws.amazon.com/prescriptive-guidance/latest/govern-architect-agentic-ai/introduction.html ユーザーとエージェント間のすべてのやり取りは厳密に制御される必要があります。 誰がエージェントにアクセスできるのか、エージェントがどのデータ・ツール・APIにアクセスできるの か、誰がその権限を承認できるのか、問題発生時にどのように対処するのかについて、厳格なガバナンス が必要です。 Agentic AI ガバナンスでは、エージェント／ツール／MCP レジストリの管理、LLM モデル管理、プラッ トフォーム標準、多層的なアクセス制御、および監査要件を含むガバナンスフレームワークを扱います。 組織がAgentic AIの導入を拡大するにつれて、エージェント、ツール、モデルのエコシステムが拡大し、 明確なガバナンス構造が求められます。
7. 2. AI Agent Governance とは何か Copyright © Acroquest Technology Co., Ltd. All rights reserved. 7 Guardrail = 危険な操作を「止める」仕組み Governance = エージェントを「説明・検証・改善できる状態」にする仕組み 自律エージェント運用にはGuardrailだけではなく、Governanceが不可欠 No 観点 Guardrail Governance 1 目的 危険な操作を止める 安全に運用し、 後から説明・改善できる 2 対象 入力・出力（発言） エージェントの行動全体 3 できること 入力・出力を制御する 実行者・判断・実行結果 を管理する 4 得られるもの 安全性 説明可能性・改善可能性 ※HarnessはGovernanceを実現するための実行基盤
8. 3. 例でみる Governance Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8 購入エージェント AWS Lambda Gateway 検索エージェント Gateway Identity Observability 出張の予定をカレンダーに入れておくと、自動で近くの宿を調べて予約しておいてくれる システムを考える ①6/25~27は幕張 ②幕張の宿は ここが良さそう ③部屋を取ります
9. 3. 例でみる Governance 成功しても、正しく動いたとは限らない Copyright © Acroquest Technology Co., Ltd. All rights reserved. 9 購入エージェント AWS Lambda Gateway 検索エージェント Gateway Identity Observability 予約処理は成功した。でも、開発者として確認したいのは「なぜそう動いたか」 ①6/25~27は幕張 ②幕張の宿は ここが良さそう ③部屋を取ります 誰の権限で予約した？ なぜその宿を選んだ？ 間違えて27夜まで予約し ていない？ 予約が取れてなかった。 なぜ？
10. 3. 例でみる Governance Governance を意識した設計 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 10 No 疑問 必要な機能 確認事項 1 間違えて27夜まで予約して いない？ 実行前の検証 (Guardrail) 事前に日付や宿泊数の解釈ルールを設計しておくことで、 チェックイン・チェックアウト・宿泊数を決定論的に検証す る。 日付や泊数が一致しなければ予約前に停止する。 2 誰の権限で取っている？ 実行者の証明 (Identity) 予約対象者、実行Identity、権限スコープ、承認有無を明確 にし、予約エージェントまで引き継ぐ。 3 なぜその宿を選んだ？ 判断根拠の記録 (Observability) 検索条件、候補一覧、スコア、除外理由、最終選定理由をト レースに残し、後から判断根拠を確認できるようにする。 4 予約が取れてなかった。 なぜ？ 実行履歴の追跡 (Logs＋ Observability) 予定ごとに一意なIDを払い出し、カレンダーから 予約完了までを同じIDで追えるようにする。 ログを横断的に検索し「どこで止まったか」を特定、 さらに、トレースから「何が起きたか」を深掘りする。 事前にGovernanceを意識した設計をしておくことで、 運用中に発生する疑問に回答できるシステムを構築できる。
11. まとめ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 11 AIエージェントは、 「チャット相手・秘書」から「タスクを遂行する作業者」へ。 エージェントを「安全に動かす」だけでなく、 「後から説明でき、継続的に改善できる」状態にすること 事前にGovernanceを意識した設計をしておくことで、 運用中に発生する疑問に回答できるシステムを構築できる。 Control 実行前に止める Explain 後から説明する Improve 継続的に良くする
12. 12 ご清聴ありがとうございました。 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
13. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13