Agent の「自由」と「安全」〜未来に向けて今できること〜

Transcript

1. 1 ©CyberAgent, Inc. All Rights Reserved Agent の「自由」と「安全」 2026.05.09｜YJC Connect Night 未来に向けて今できること
2. 2 ©CyberAgent, Inc. All Rights Reserved 自己紹介 かたやん 24新卒 バックエンドエンジニア Golang / Google Cloud / Kubernetes 動画広告配信システムの開発してます 大阪出身 株式会社AJA KATAYAN
3. 3 ©CyberAgent, Inc. All Rights Reserved はじめに 00
4. 4 ©CyberAgent, Inc. All Rights Reserved 00 はじめに これまでのAI ▪ 人間が指示し、AI がコーディング ── 主語は人間 ▪ コーディングが AI によって自動化された 現在のAI（Agent） ▪ 自律的に判断して動く ── 主語がAIに変わった ▪ ファイルを読み書きし、コマンドを叩き、API を呼ぶ 「自動化」から「自律化」へ
5. 5 ©CyberAgent, Inc. All Rights Reserved 00 はじめに 󰢃 Agentは決められたルールに従うプログラムではない 󰢏 実行時に自ら意図決定をする、いわば1人のユーザー ▪ 同じ入力でも違う行動を選ぶ ── 決定論的に守れない ▪ 外部の文字列を「指示」と解釈する ── 信頼境界が曖昧 ▪ タスク完遂のために制約を回避する ── 悪意なしでも暴走する → 従来のセキュリティモデルが前提を失う Agent = 確率的なユーザー
6. 6 ©CyberAgent, Inc. All Rights Reserved リスクを知る 01
7. 7 ©CyberAgent, Inc. All Rights Reserved 2025.12 OWASP が Agentic Application のセキュリティリスクを公開 01 何が起きる ▪ Agentは「資料」と「命令」 を区別できず実行 ▪ 外部データ(Web/PR/Issue) に命令を仕込む 02 なぜ最重要か ▪ LLMの根本構造に起因 ▪ 全エージェント共通の 基盤リスク ▪ 下流の権限暴走に直結 03 現在の防御は ▪ 入力フィルタ・HITL承認 ▪ 適応的攻撃に対し85%超で 突破 ▪ 「銀の弾丸」は無い 01 リスクを知る OWASP Top 10 for Agentic Applications https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/
8. 8 ©CyberAgent, Inc. All Rights Reserved 01 リスクを知る プロンプトインジェクション Agent は外部のテキストを 「正当な指示」として読み込む。 外部入力 = 信頼できない命令 READMEやWebページに 悪意のある指示を仕込む Agent が自動で読み込む 「正当な指示」として実行
9. 9 ©CyberAgent, Inc. All Rights Reserved 01 リスクを知る 目標のハイジャック 与えたはずの目標が、いつのまにか 別の指示にすり替わる。 「指示を厳密に書く」 だけでは防げない。 外部データに紛れた命令で本来の目的が上書きされ Agentは攻撃者のゴールに沿って動き出す。 1 本来の指示「議事録を要約して」 2 議事録に紛れた命令で目標を上書き 3 機密ファイルを「要約の一環」で外部 送信
10. 10 ©CyberAgent, Inc. All Rights Reserved 01 リスクを知る 過剰な権限 Agent に強い権限を 渡しっぱなしにしてませんか？ 攻撃が成功した瞬間、 被害は爆発的に広がる。 本番DBへのフルアクセスAPIキー 永続 期限なしのクラウド認証情報 無期限 Read / Write / Delete 全許可 全権
11. 11 ©CyberAgent, Inc. All Rights Reserved 対策 02
12. 12 ©CyberAgent, Inc. All Rights Reserved 02 対策 一般的なアプローチ Agent の暴走を抑え込む、一般的なアプローチ。 サンドボックス化 実行環境をネットワーク／FSから隔離し、 被害範囲を限定 Human-in-the-Loop リスクの高い操作の前に必ず人間の 承認を求める 権限ガチガチで自由がない 人間の確認が多くて自律してない But But
13. 13 ©CyberAgent, Inc. All Rights Reserved ジレンマ 03
14. 14 ©CyberAgent, Inc. All Rights Reserved 03 ジレンマ Capability vs Security 万能な Agent は、攻撃対象領域も同時に広げてしまう。 Capability 機能を上げる ファイル・コマンド・API への 自由なアクセス ⇄ Security 攻撃面が広がる 攻撃対象領域の拡大 セキュリティを高めるほど、Agent の自由は奪われる。
15. 15 ©CyberAgent, Inc. All Rights Reserved 変化に適応する 04
16. 16 ©CyberAgent, Inc. All Rights Reserved Agent を包むインフラを制御する Agent の脳ではなく、Agent を包むインフラを制御する。 Harness 見守って事故を防ぐ Agent が自由に考えても、致命的な事故が 起きないインフラで包む 技術の力で、Agent の自由と安全を両立させていく 04 変化に適応する Just In Timeアクセス 必要十分な権限 永続的な権限ではなく 短命な権限を動的に発行 での取り組みをご紹介
17. 17 ©CyberAgent, Inc. All Rights Reserved Just In Timeアクセス 04 変化に適応する https://christina04.hatenablog.com/entry/google-cloud-pam
18. 18 ©CyberAgent, Inc. All Rights Reserved 04 変化に適応する https://developers.cyberagent.co.jp/blog/archives/60598/
19. 19 ©CyberAgent, Inc. All Rights Reserved 04 変化に適応する 自由と安全を両立する設計力 4つの確実なルール + 1つのAI判定 ルール AI判定 PR検知 ① Bot発 GitHub Bot ② 依存のみ lockfile変更 ③ 重要pkg外 コア依存除外 ④ 差分種別 patch/minor ⑤ AI判定 Claude総合 自動マージ 人間レビュー YES NO AIが得意な領域と苦手な領域を分けて境界設計
20. 20 ©CyberAgent, Inc. All Rights Reserved 今できること 05
21. 21 ©CyberAgent, Inc. All Rights Reserved 何から始めるか Agentで一時的なパッチを当てることは爽快かもしれない。 目先のパッチで止血する Agentに丸投げ／動けばOK 解けると気持ちいい。 でもジャンクフードかも。 本質を理解し、積み上げる 技術を深く理解し、小さな改善を重ね、 ゴールへ導く力 ベストプラクティスの積み重ねが Agentにとって自由で安全な環境を創る。 エンジニアに求められるものは、これまでと大きく変わらない。 むしろ変化が加速するなかで、これまで以上に変化適応力が求められる。 05 今できること
22. 22 ©CyberAgent, Inc. All Rights Reserved 何から始めるか コーディング速度は飛躍的に伸びてますが... 05 今できること そのコード、説明できますか？ ビジネス的な価値も飛躍的に伸びてますか？ 新たなボトルネックが生まれてませんか？ ぜひ懇親会でお話してみてください🍻