Security in the AI Agent era

OWASP top 10 for Agentic AI などをメインとしたコンテンツ。
一部、for Google Cloud。

Transcript

2. Who am I • 氏名：廣山　豊 • 所属：アイレット株式会社 クラウドインテグレーション事業部副事業部長 兼 内部統制推進室 室長 • 役割：情報セキュリティ管理責任者 兼 AI管理責任者 兼 品質管理責任 者 • Google Cloud Partner Top Engineer - 2021 ~ <初回から継続中> Google Developer Expert (cloud) - 2022~ Jagu’e’r Commitee member AWS Top Engineers - 2019 ~ <初回から継続中> • AWS, Google Cloud, Azure, 情報処理安全確保支援士、 その他多数の認定資格を保有
3. クラウドの設計、構築からシステム開発、デザイン設計 運用保守までトータルサポート アイレットについて
4. レガシーシステムの刷 新 4 企業の生成 AI 導入・活用における包括的な課題をワンストップで解決 gaipack の提供価値 進行例（AI モダナイゼーション） １ 既存システムの資産や 技術的負債を可視化 2 AI による再設計と 移行ロードマップ策定 3 言語変換、テスト、 CI/CD 構築などを実施 4 継続的な改善と コスト削減の効果測定 　 AIモダナーゼーション 運用費削減 AI が既存資産（仕様書・ソースコード）を解析し、最 新技術へ自動変換。保守性・拡張性を向上させつ つコストを削減 　 AI新規開発 開発期間短縮 初期見積もりを従来ベンダーより 30% オフで提供。 コストを抑えつつ高品質なシステム開発を実現 　 AI内製化支援 AI開発の自走化支援 アイレット独自の AI 開発フレームワークを提供。 PoC レベルから実践まで 誰でも簡単に AI を活用した開発を実施可能に 　 AIコンサルティング 投資対効果明確化 AI 導入の全体戦略から業務分析・開発・教育まで包 括的に支援。 AI を経営・業務に自然に溶け込ませ ます 多様な AI ソリューション群 AI 導入を加速させるためのソリューション群を提供します 現状システム分析 移行計画策定 段階的移行実行 運用最適化 AIモダナイゼーショ ン AI新規開発 システム開発スピード の向上 AI内製化支援 開発の自走支援 AIコンサルティング 戦略立案 AIインダストリー 業界特化AIモデルの 提供 AI請求代行 請求書払い対応 AI副業 AI人材確保 AIデスクトップサー ビス セキュアな仮想環境で の生成AI活用 AIリスキリング AI人材育成 AIテストサービス テスト工数削減 AI MCP 構築 課金・サブスク機能の 追加 AI RAG 構築 検索時間削減 AIセキュリティ コンサルティング 安全なAI活用体制の 確立 AI BPO 人に依存しない 業務体制の構築 AI運用保守 運用コスト削減 AI BIツール レポート作成時間 削減 AI 要件定義 属人化解消 レガシーシステ ムの刷新
8. AI Agent = ⾃律的な社員 ⽬的志向 (Goal-Oriented) 「売上分析をして」のような抽象的なゴールを与えれば、 必要な⼿順を⾃分で考えます。 道具の使⽤ (Tool Use) 必要ならWeb検索をし、計算機を使い、APIを叩いて情報を 取得します。 試⾏錯誤 (Feedback Loop) エラーが出たら、⾃分で修正して再トライします。
9. 従来の AI サービスアーキテクチャ 線形パイプライン (Linear Pipeline) 従来のAIシステムは、基本的にステートレスなパイプライン処 理です。 ※ RAG (検索拡張) を加えても、基本的には「検索→回答」の⼀直線の フローである点に変わりはありません。 Input: ユーザーからのクエリ Processing: 事前学習モデルによる推論 Output: 確率的なトークン⽣成 • • •
10. AI Agent のアーキテクチャ ⾃律ループ (The Agentic Loop) Agentは「認識‧思考‧⾏動」のループを持ちます。 このループにより、⼀度の指⽰で複数のタスクを連鎖的に処理 し、エラーリカバリーを⾏うことが可能です。
11. AI ガバナンス プロンプトエンジニアリング
13. AI セキュリティはガードレール 利便性と安全性のバランスをとって、暴走を防ぎつつ、 爆速で走れるような道を作るのがAI時代のセキュリティ。
15. OWASP Top 10 For Agentic Applications ASI01: Agent Goal Hijack ASI02: Tool Misuse & Exploitation ASI03: Identity & Privilege Abuse ASI04: Agentic Supply Chain Vulnerabilities ASI05: Unexpected Code Execution (RCE) ASI06: Memory & Context Poisoning ASI07: Insecure Inter-Agent Communication ASI08: Cascading Failures ASI09: Human-Agent Trust Exploitation ASI10: Rogue Agents
29. ID 緩和策名 (Mitigation) AI Userの対応 (利用・運用・ ポリシー ) AI Service提供者の対応 (開発・実 装・インフラ ) 概要・目的 AML.M0000 Limit Public Release of Information △ ポリシー自社の AI活用/構 成情報を公開しない。 ◎ ポリシー技術詳細を公開しない。 攻撃者にヒントを与えないよう、組織情 報、物理的位置、使用モデル等の公開 を制限する。 AML.M0001 Limit Model/Artifact Release - ◎ ポリシーモデルの内部構造を非 公開にする。 アルゴリズム、データ、成果物の詳細を 公開せず、ホワイトボックス攻撃のリス クを減らす。 AML.M0002 Passive ML Output Obfuscation - ◎ 実装出力詳細度を下げる。 モデル出力の忠実度（確率スコア等）を 意図的に下げ、モデル抽出攻撃を防ぐ。 AML.M0003 Model Hardening - ◎ 実装堅牢なモデルを開発する。 アドバサリアル（敵対的）トレーニング等 を行い、悪意ある入力への耐性を高め る。