ADK / BigQueryで実現する分析エージェントのガバナンス設計

Transcript

1. ｜　© 2025 Cloud Ace, Inc ADK / BigQueryで実現する分析エージェントのガバナンス設計 2025.11.26 Data & AI Summit ‘25 Fall クラウドエース株式会社 CTO室 伊藤 翼 / Tasuku Ito
2. 今日の内容 分析エージェントに対して必要なガバナンス ガバナンス対応の具体的な実装の話 エージェントの導入ハードルを低く感じてもらえると◯ 1 2 3
3. 背景：AI エージェントによるデータ分析の進化 データ分析エージェントの自律性と対話性によりデータ活用の障壁低下 自律的な計画とタスク遂行 抽象的な依頼から自律的に計画を立てて分析を実行してくれる 自然言語での対話 問い合わせを会話のように行い、分析結果を容易に引き出せる 3
4. 背景：分析エージェントでどう変わるか 4 データがどこにあるかわからない どう使えばいいかわからない 分析の都度、別部署に 依頼しなければならない SQL がわからない人でも自然言語に よるデータ分析ができる アナリストを介さなくても 結果を得られるお手軽さ
5. 5 リスク：エージェントに潜む具体的な課題 安全性とセキュリティ • 意図しない更新や削除によるデータ 破壊や改ざん • 非効率なクエリ実行による高額な利用料 金の発生 • 機密データへの不正アクセスによる 情報漏洩 信頼性と倫理性 • 判断プロセスの不透明さによる説明責任 の困難さ • 学習データに起因するバイアスや不公平 な結果
6. 課題：分析エージェントの組織活用のために 6 分析エージェントの活用を組織内でスケールさせるためには ガバナンスを確保しなければならない
7. IBM: https://www.youtube.com/watch?v=5hK7pQsvpy0 https://www.ibm.com/think/insights/ai-agent-governance?utm_medium=OSocial&utm_source=Youtu be&utm_content=WAIWW&utm_id=YT-201-Building-an-AI-Agent-Governance-Framework 7 AIエージェントのガバナンス コントロール 問題があれば、人間がすぐに止めたり制御できるようにする セキュリティ 不正な攻撃や脅威から保護し安全性を高める アライメント 悪いことをせず、定めたルールを守って動く 可視性 エージェントのやっていること、何故やっているかをチェックする 社会的統合 社会の法律やルールを守る
8. 8 分析エージェントのガバナンス エージェントの自律性を活かしつつ組織のデータ資産と信頼を守るための体系的な活動 コントロール セキュリティ アラインメント 可視性 社会的統合 戦略と方針 技術的制御 運用と継続的監視
9. データ分析エージェントのガバナンス 今日主に話す部分 9 コントロール セキュリティ アラインメント 可視性 社会的統合 戦略と方針 技術的制御 運用と継続的監視
10. 4つの領域で考える 10 アプリ エージェント データ 基盤
11. 具体的なアーキテクチャ例 11 アプリ エージェント データ 基盤 Cloud Run Agent Engine BigQuery
12. 技術的制御：アプリと基盤の保護 基本的な Web アプリケーションの対策 12 認証と認可 Identity Aware Proxy で 認可されたユーザーの みにアプリケーションア クセスを制限 外部攻撃対策 Cloud Armor で DDoS などの攻撃からシステム を防御 境界保護 VPC Service Controls でエージェントと BigQuery 間の通信を保 護された境界内に閉じ込 める
13. Cloud Run (Frontend / Backend) 技術的制御：アプリケーションからエージェントへのアクセス ユーザーによって使えるエージェントを制御 アライメントやセキュリティの向上 13 エージェント B エージェント A Agent Engineの場合、エージェントへのアクセスを細かく制御するには Backend などで認証認可を独自に実装する必要あり
14. 技術的制御：データ層での基本的な制御 14 最小権限の原則 エージェントのサービスアカウントにはタスク実行に必要最小限のロールのみ付与 ex) BigQuery Job User & Data Viewer クオータの上限設定 オンデマンドクエリの利用量に上限を設け高額課金を物理的に防止 1 日あたりの課金上限額を定める
15. Agent Engine BigQuery Tool Call & Data Access 技術的制御：エージェントから BigQueryへのアクセス 15 Agent Auth：サービスアカウント / Agent Identity (Preview) 全ユーザーに平等にアクセス User Auth：ユーザーアカウント (OAuth) 個別にきめ細やかなアクセス or
16. 技術的制御：データ層 (セキュリティとアクセス制御 ) BigQuery の機能を利用した細かい制御 セキュリティ、可視性に寄与 16 1 2 3 IAM で対象のデータセット・テーブルのみに権限を与える 行レベルと列レベルのアクセス制御 ポリシータグとデータマスキングルールの適用 4 監査ログの有効化
17. 今日の献立考えて Gemini などの LLM モデル ツールの実行 結果の返却 技術的制御：エージェント層 基本のおさらい 17 コンテキスト あなたは優秀な料理研究家です。 ユーザーの栄養を考慮して メニューを作成することができます。 プロンプト 今日の献立考えて
18. ※他のエージェント フレームワークでも 同様です 技術的制御： Agent Development Kit (ADK) の Callback ADK の Callback のライフサイクル（ https://google.github.io/adk-docs/callbacks/ ） 18 before_agent_callback Agent after_agent_callback Tools Model before_ model_ callback after_ model_ callback before_ tool_ callback after_ tool_ callback
19. 技術的制御： Callback によるガードレール（事前チェック） SQL の事前検証とコスト管理によるコントロール・セキュリティ・アライメントの確保 ガードレール = エージェントの制御機構 19 1 2 3 ツール実行前に禁止キーワードを検査し危険なクエリを検出する BigQuery の Dry Run を実行してスキャン量を事前に見積もる 高リスクや高コストなクエリをブロックし実行を中止する
20. 技術的制御： Callback 活用例デモ 20
21. 技術的制御： Callback によるガードレール（結果チェック） データの検出や 個人情報の保護によるセキュリティの確保 21 1 2 3 ツールや LLM モデルの結果を受け取り、ルールベースの処理 ルールベース / Sensitive Data Protection / 生成 AI などで機密情報の検出 必要に応じてマスキング処理 after_tool_callback / after_model_callbackを起動
22. 技術的制御：組込ツールと MCP 22 BigQueryToolset（組み込みツール） • Write Mode の設定 (書き込みはデフォルトで拒否 ) • クエリのスキャン上限バイト設定 • クエリ結果の最大行 (デフォルトで 50 行まで) 設定 MCP Toolbox for Databases • きめ細かな認証 • コネクションプールの活用 • OpenTelemetry のサポート
23. 技術的制御： Instruction による行動制約 自然言語の指示でペルソナと SQL 生成ルールを定義 アライメントの制御 23 ペルソナ定義 優秀なデータアナリスト などエージェントの役割 や振る舞いを明確に伝 える 目標と制約 達成すべき目的と守る べき制限事項を自然言 語で定義する SQL 生成ルール SELECT 句を中心に必要に 応じて LIMIT を必ず含める ことなどを指示する
24. 運用と継続的監視：オブザーバビリティ 24 リクエスト数やレイテンシなどの 指標を把握する 監視メトリクス エージェントの挙動を詳細に記録する ログとイベント 意思決定の軌跡と品質を可視化する トレースと評価
25. 運用と継続的監視： Langfuse の紹介 25 概要 • グローバルの多くの企業・開発者から圧 倒的な支持をもつ LLM Engineering Platform ( OSS LLM observability No1 のシェア) • 日本国内でも実績多数、コミュニティが 急成長中 • ガオ株式会社 が国内/APAC 唯一の再販 ・サポートを提供 主な機能 • LLMOps に必要な全ての機能をカバー ＋エンタープライズ向け管理機能 ◦ 簡単に LLM アプリケーションの処理 情報 (Trace) を取得と保存、可視化 や分析を実現 ◦ アプリケーションの利用に関する統計 を取得、ダッシュボードで確認 ◦ プロンプト管理、評価（人間およびモ デルベース）、データセット（テスト）な どを通して LLM アプリケーションを継 続的に改善
26. https://github.com/langfuse/langfuse 運用と継続的監視：継続的な評価と改善 26
27. 運用と継続的監視： Human In The Loop 人間の判断をエージェントに組み込み、エージェントをコントロール、アライメント 27 1 2 3 タスク実行 (ないしはツール実行) のための承認 エージェントの生成した結果が OK かの確認（組織的な責任） エージェントへの指示の追加
28. 運用と監視： Human In The Loop のデモ 28
29. 各領域でできること エージェントの自律性を活かしつつ、組織のデータ資産と信頼を守る 今までの活動が分析エージェント活用にも良い影響を与えられる 29 アプリケーション&基 盤 • アプリケーション保護 • IAM • 認証・認可 データ エージェント • 権限管理・アクセス制御 • クオータ制御 • ポリシータグ • マスキング • Callback • 組み込みツールの利用 • アカウント制御 • Langfuse • Human In The Loop
30. まとめ：自律性と信頼性を両立させるガバナンス 30 分析エージェントは強力だが組織レベルのスケールにはガバナンスが必要 アプリ / エージェント / データ / 基盤のレイヤで行えることがある エージェント以外のレイヤ (アプリ / データ / 基盤) のガバナンス活動 はエージェントの活用にも大きな影響を与える
31. AI Agent 活用の利用者ポータル Agent 改善と ROI 評価のためのダッシュボード ※画面は開発中のものです CloudAce Agent Enterprise の紹介 31 1 2 3 エンタープライズ要件を満たす堅牢な AI エージェントの管理基盤 AI エージェント /MCP Server の開発にお いて、権限制御・ HITL・ガードレール・可 観測性の担保といった「重要だが設計と 実装が大変な非機能要件」を基盤にお任 せ 全社的な業務効率化と AI エージェント と の新しい働き方を実現 A2A Agent CAE Proxy A2A Agent CAE Proxy MCP Server CAE Proxy MCP Server CAE Proxy MCP Server CAE Proxy 既存システム 既存システム 既存システム お客様はAIエージェントの ビジネス価値開発に集中 AI エージェントをビジネス価値へ エンタープライズ級 の統制 高度なマルチ エージェント連携 徹底的な 可視化と改善 権限制御・HITL・ガードレール等の機能を備えた後付け可能なリバースプ ロキシで、既存エージェントも安全に 複数エージェントが協調し、計画立案・実行結果からの計画見直しなどを 通じて、複雑な業務を自律的に実行 AI エージェントの継続的改善のための改善プラットフォームとエージェント の活用と ROI 評価のためのダッシュボード CLOUDACE AGENT ENTERPRISE
32. 課題：自律性とどう向き合うか エージェントの自律性はデータ民主化を加速させる強力なエンジン 32 SQL がわからない人でも自然言語に よるデータ分析ができる アナリストを介さなくても 結果を得られるお手軽さ 一方でエージェントの活用を組織内でスケールさせるためには、 ガバナンスを確保しなければならない
33. IBM: https://www.youtube.com/watch?v=5hK7pQsvpy0 https://www.ibm.com/think/insights/ai-agent-governance?utm_medium=OSocial&utm_source=Youtu be&utm_content=WAIWW&utm_id=YT-201-Building-an-AI-Agent-Governance-Framework 33 AIエージェントのガバナンス コントロール 行動範囲に明確な境界線を設け人間の承認などで安全性を確保 セキュリティ データとシステムを内外の脅威から保護し安全性を高める アラインメント エージェントの行動を組織の価値観やユーザーの意図と一致させる 可視性 意思決定プロセスを人間が観察し理解できるようにする 社会的統合 説明責任や公平性、法規制を考慮し社会的な信頼を得る
34. 今日の内容 1 エージェントをできるだけ安全に本番環境で使いたい 2 ガバナンス対応の具体的な実装の話 3 (分析)エージェントの導入ハードルを低く感じてもらえると◯ クラウドエース株式会社｜(C) Cloud Ace, Inc. 1 34
35. 背景：AI エージェントによるデータ分析の進化 データ分析エージェントの自律性と対話性によりデータ活用の障壁低下 自律的な計画とタスク遂行 高レベルな目標から自律的に計画を立ててタスクを実行するエージェントの能力 自然言語での対話 BigQuery への問い合わせを会話のように行い必要な洞察を迅速に引き出す体験 クラウドエース株式会社｜(C) Cloud Ace, Inc. 2 35
36. 課題：自律性とどう向き合うか • エージェントの自律性はデータ民主化を加速させる強力なエンジン ◦ SQL がわからない人でも自然言語によるデータ分析ができる ◦ アナリストを介さなくても結果を得られるお手軽さ 一方でエージェントの活用を組織内でスケールさせるためには、 ガバナンスを確保しなければならない クラウドエース株式会社｜(C) Cloud Ace, Inc. 3 36
37. リスク：エージェントに潜む具体的な課題 主要なリスク 安全性とセキュリティ • 意図しない更新や削除によるデータ破壊や改 ざん • 非効率なクエリ実行による高額な利用料金の 発生 • 機密データへの不正アクセスによる情報漏洩 信頼性と倫理性 • 判断プロセスの不透明さによる説明責任の困 難さ • 学習データに起因するバイアスや不公平な結 果 クラウドエース株式会社｜(C) Cloud Ace, Inc. 4 37
38. AIエージェントのガバナンス コントロール 行動範囲に明確な境界線を設け人間の承認などで安全性を確保 セキュリティ データとシステムを内外の脅威から保護し安全性を高める アラインメント エージェントの行動を組織の価値観やユーザーの意図と一致させる 可視性 意思決定プロセスを人間が観察し理解できるようにする 社会的統合 説明責任や公平性、法規制を考慮し社会的な信頼を得る クラウドエース株式会社｜(C) Cloud Ace, Inc. 5 IBM: https://www.youtube.com/watch?v=5hK7pQsvpy0 https://www.ibm.com/think/insights/ai-agent-governance?utm_medium=OSocial&utm_source=Youtube& utm_content=WAIWW&utm_id=YT-201-Building-an-AI-Agent-Governance-Framework 38
39. データ分析エージェントのガバナンス エージェントの自律性を活かしつつ、組織のデータ資産と信頼を守るための体系的な活動 クラウドエース株式会社｜(C) Cloud Ace, Inc. 6 コントロール セキュリティ アラインメント 可視性 社会的統合 戦略と方針 技術的制御 運用と継続的監視 39
40. データ分析エージェントのガバナンス 今日主に話す部分 クラウドエース株式会社｜(C) Cloud Ace, Inc. 6 コントロール セキュリティ アラインメント 可視性 社会的統合 戦略と方針 技術的制御 運用と継続的監視 40
41. 4つの領域で考える クラウドエース株式会社｜(C) Cloud Ace, Inc. 7 アプリ エージェント データ 基盤 41
42. アプリ エージェント データ 基盤 具体的なアーキテクチャ例 クラウドエース株式会社｜(C) Cloud Ace, Inc. 7 Cloud Run Agent Engine BigQuery 42
43. 技術的制御：アプリと基盤の保護 基本的な Web アプリケーションの対策 認証と認可 Identity Aware Proxy で認可さ れたユーザーのみにアプリ ケーションアクセスを制限 外部攻撃対策 Cloud Armor で DDoS などの 攻撃からシステムを防御 境界保護 VPC Service Controls でエー ジェントと BigQuery 間の通信 を保護された境界内に閉じ込 める クラウドエース株式会社｜(C) Cloud Ace, Inc. 843
44. 技術的制御：アプリケーションからエージェントへのアクセス ユーザーによって使えるエージェントを制御 8 エージェント A エージェント B Cloud Run (Frontend / Backend) 現状、Backend などで認証認可を独自に実装する必要あり 44
45. 技術的制御：データ層 IAM とクオータでデータ層を直接制御 最小権限の原則 エージェントのサービスアカウントにタスク遂行に必要最小限のロールのみ付与 ex) BigQuery Job User & Data Viewer クオータの上限設定 maximum_bytes_billed でオンデマンドクエリの利用量に上限を設け高額課金を物理的に防止 1 日あたりの課金上限額を定める クラウドエース株式会社｜(C) Cloud Ace, Inc. 945
46. 技術的制御：データ層 (セキュリティとアクセス制御 ) BigQuery の機能を利用した細かい制御 1 IAM で対象のデータセット・テーブルのみに権限を与える 2 行レベルと列レベルのアクセス制御 3 ポリシータグとデータマスキングループの適用 4 監査ログの有効化 クラウドエース株式会社｜(C) Cloud Ace, Inc. 10 Vertex AI Agent Engine のサービスアカウントか Agent Identity(preview)を利用 46
47. 技術的制御：データ層 (セキュリティとアクセス制御 ) クラウドエース株式会社｜(C) Cloud Ace, Inc. 10 Agent Engine BigQuery Tool Call & Data Access Agent Auth: サービスアカウント / Agent Identity (Preview) or Use Auth: ユーザーアカウント(OAuth) 全ユーザーに平等にアクセス 個別にきめ細やかなアクセス 47
48. 技術的制御：エージェント層 クラウドエース株式会社｜(C) Cloud Ace, Inc. 11 今日の献立考えて コンテキスト： あなたは優秀な料理研究家です。 ユーザーの栄養を考慮して メニューを作成することができます。 プロンプト： 今日の献立考えて 基本のおさらい Gemini などの LLM モデル ツールの実行 結果の返却 48
49. 技術的制御：エージェント層 ADKのCallbacks のライフサイクル(https://google.github.io/adk-docs/callbacks/) クラウドエース株式会社｜(C) Cloud Ace, Inc. 11 ※他のエージェントフレームワークでも同様です 49
50. 技術的制御： Callback 活用例(ガードレール ) SQL の事前検証とコスト管理 1 before_tool_callback で禁止キーワードを検査し危険なクエリを検出する 2 BigQuery の Dry Run を実行してスキャン量を事前に見積もる 3 高リスクや高コストなクエリをブロックし実行を中止する クラウドエース株式会社｜(C) Cloud Ace, Inc. 1250
51. 技術的制御： Callback 活用例デモ クラウドエース株式会社｜(C) Cloud Ace, Inc. 1351
52. 技術的制御： Callback 活用例(結果の検査 ) データの検出や PII 保護 クラウドエース株式会社｜(C) Cloud Ace, Inc. 13 1 ツールや LLM モデルの結果を受け取り、ルールベースの処理 2 ルールベース / Sensitive Data Protection / 生成 AI などで機密情報の検出 3 必要に応じてマスキング処理 after_tool_callback/after_model_callbackを起動 52
53. 技術的制御：組込ツールと MCP BigQueryToolset(組み込みツール) • Write Mode の設定(書き込みはデフォルトで Block) • クエリのスキャン上限バイト • クエリ結果の最大行(デフォルトで 50 行まで) MCP Toolbox for Databases • きめ細かな認証 • コネクションプールの活用 • OpenTelemetry のサポート クラウドエース株式会社｜(C) Cloud Ace, Inc. 1453
54. 技術的制御： Instruction による行動制約 自然言語の指示でペルソナと SQL 生成ルールを定義 ペルソナ定義 優秀なデータアナリストなど エージェントの役割や振る舞い を明確に伝える 目標と制約 達成すべき目的と守るべき制 限事項を自然言語で定義する SQL 生成ルール 選択系を中心に SELECT を 使い必要に応じて LIMIT を必 ず含めることなどを指示する クラウドエース株式会社｜(C) Cloud Ace, Inc. 1554
55. 監視メトリクス リクエスト数やレイテンシなど の指標を把握する 運用と監視：オブザーバビリティ ログとイベント エージェントの挙動を詳細に 記録する トレースと評価 意思決定の軌跡と品質を可視 化する クラウドエース株式会社｜(C) Cloud Ace, Inc. 1655
56. 運用と監視： Langfuse の紹介 クラウドエース株式会社｜(C) Cloud Ace, Inc. 16 [概要] • グローバルの多くの企業・開発者から圧倒的な支持をもつ LLM Engineering Platform ( OSS LLM observability No1 のシェア) • 日本国内でも実績多数、コミュニティが急成長中 • ガオ株式会社 が国内/APAC 唯一の再販・サポートを提供 [主な機能 ] • LLMOps に必要な全ての機能をカバー＋エンタープライズ向け管理機能 ◦ 簡単に LLM アプリケーションの処理情報 (Trace) を取得と保存、可視化や分析を実現 ◦ アプリケーションの利用に関する統計を取得、ダッシュボードで確認 ◦ プロンプト管理、評価（人間およびモデルベース）、データセット（テスト）などを 通して LLM アプリケーションを継続的に改善 56
57. 運用と監視：継続的な評価と改善 クラウドエース株式会社｜(C) Cloud Ace, Inc. 18 https://github.com/langfuse/langfuse 57
58. 運用と監視： Human In The Loop 人間の判断をエージェントに組み込む 1 タスク実行のための承認(組織的な責任) 2 エージェントの生成した結果が OK かの確認 3 エージェントへのコンテキストの追加 クラウドエース株式会社｜(C) Cloud Ace, Inc. 1758
59. 運用と監視： Human In The Loop のデモ クラウドエース株式会社｜(C) Cloud Ace, Inc. 17 動画挿入 59
60. エージェントの自律性を活かしつつ、組織のデータ資産と信頼を守る 各領域でできること クラウドエース株式会社｜(C) Cloud Ace, Inc. 19 アプリケーション&基盤 データ エージェント • アプリケーション保護 • IAM • 認証・認可 • 権限管理 • クオータ制御 • ポリシータグ • マスキング • Callback • サービスアカウント • 組み込みツールの利用 • Instruction の改善 • Langfuse 60
61. まとめ：自律性と信頼性を両立させる設計 • AI エージェントの自律性は強力だが多層的なガバナンスが必要 • それぞれのエージェントのガバナンスを確保するのは難しい • データ層の整備やインフラの整備から始めるのは吉 クラウドエース株式会社｜(C) Cloud Ace, Inc. 2161
62. CloudAce Agent Enterprise の紹介 クラウドエース株式会社｜(C) Cloud Ace, Inc. 17 CLOUDACE AGENT ENTERPRISE A2A Agent AI エージェント /MCP Server の開発にお いて、権限制御・ HITL・ガードレール・可 観測性の担保といった「重要だが設計と 実装が大変な非機能要件」を基盤にお任 せ MCP Server 全社的な業務効率化と AI エージェ ント との新しい働き方を実現 A2A Agent MCP Server MCP Server 既存システム 既存システム 既存システム エンタープライズ要件を満たす堅 牢な AI エージェントの管理基盤 エンタープライズ級の統制 高度なマルチエージェント連携 徹底的な可視化と改善 複数エージェントが協調し、計画立案・実行結果からの計画見直しなどを 通じて、複雑な業務を自律的に実行 権限制御・HITL・ガードレール等の機能を備えた後付け可能なリバースプ ロキシで、既存エージェントも安全に AI エージェントの継続的改善のための改善プラットフォームとエージェント の活用と ROI 評価のためのダッシュボード AI エージェントをビジネス価値へ お客様は AI エージェントの ビジネス価値開発に集中 AI Agent 活用の利用者ポータル Agent 改善と ROI 評価のためのダッシュボード CAE Proxy CAE Proxy CAE Proxy CAE Proxy CAE Proxy 1 2 3 ※画面は開発中のものです 62