AI時代のリスク管理は どうあるべきか考えてみる

CCoE実践者コミュニティ関西 #9
https://ccoekansai.connpass.com/event/396837/

Transcript

1. AI時代のリスク管理は どうあるべきか考えてみる 2026年 7⽉ 16⽇ 荒平 祐次 @eiraces
2. about me 2 荒平 祐次 (Arahira Yuji) @eiraces クラスメソッド株式会社 クラウド事業統括本部 プロフェッショナルサービス事業本部 ソリューションアーキテクト 2025 Japan AWS Top Engineer AWS Community Builder (Serverless) VMware vExpert 2021-2026
3. AI乱世のCCoE
4. CCoE / AI CoEに求められていること（⼀部） 4 ツール選定‧申請の管理 ガードレールやガイドラインの整備 シャドーAIの防⽌ 教育 … AIで な ん か や れ 安 全 に AI 使 え る 環 境 欲 し い 偉い⼈ CCoE / AI CoE ユーザー部⾨
5. 本⽇の話は… 5 「リスクとどう向き合うのか」について、それぞれの問題と共に低減策を⼀緒 に考えてみましょう • ここで扱うリスク ◦ 主に情報漏洩、機密情報の学習、ブランド毀損などのインシデントの 発⽣可能性を始めとした AIを利⽤した‧利⽤させたことによるリスク ◦ 仕組み上防げるものもあれば、教育が必要不可⽋なものもある ◦ 初期導⼊が終わり、ある程度のガードレール‧ガイドラインがある前提 • 組織⾵⼟は様々なので、取り⼊れられそうな部分があれば、参考にしても らえると嬉しいです
6. 組織内で発⽣しうるリスク
7. AIの全社展開による弊害 7 • Agentic AI / Coding AI を展開したことで「作れる⼈」が⼀気に増えた （これ⾃体は成功） • しかしながら‧‧‧ 似たようなbotが 部署ごとに散在 誰も把握していない 処理‧データの流れ オーナー 不明/不在のツール
8. AIの利⽤状況 8 • Agentic AI / Coding AI を展開したはいいが計測する仕組みがない • 組織内で使われている AI がどの程度効果を⽣み出しているか分からない • 安全に使われているかが分からない ◦ 例) 機密情報‧個⼈情報の流出、野良MCPへのデータ献上 AIの投資対効果が 不明 ガードレールが適切か どうか分からない どこに何のデータを 送っているか不明
9. 成果物の⼀貫性 9 • AIは⾮決定性を持ち、個⼈や部署ごとに品質がバラバラになってしまう • AIモデルが変わったとしても⼀貫して成果物を出せる仕組みが必要 ◦ 例) Webサイトのチャットボットの回答品質が落ちた ◦ 例) 担当者ごとに⾔っていることが全然違う ⾔語モデルの進化を 鵜呑み ブランドイメージの 毀損
10. AI産アプリケーションの運⽤ 10 • Vibe Codingにより、作るのは⼀瞬。では管理はどうするのか • Agentic AI / Coding AI ツールが⼀般化することで、指数関数的にアプリ数 が増える可能性がある（野良Excelマクロで通った道） メリットのみ先⾏し、 運⽤コストが 検討されていない 管理者不在の 無法地帯へ
11. リスクマネジメントのための NIST AI RMF
12. NIST AI RMFとは 12 • NIST（⽶国国⽴標準技術研究所）が公表しているガイダンス • 正式名は Artificial Intelligence Risk Management Framework (AI RMF 1.0) • 初版は2023年1⽉
13. • AIのリスク管理に関する⽂化‧⽅針‧役割分担‧説明責任を組織として 整える項⽬ ◦ GOVERN 1 ▪ AIリスクのマッピング、測定、管理に関する組織横断的なポリ シー、プロセス、⼿順、および慣⾏が整備されており、それらは透 明性が確保され、かつ効果的に実施されています。 ◦ GOVERN 4 ▪ 組織のチームは、AIのリスクを考慮し、それを共有する⽂化の醸成 に取り組んでいます。 GOVERN（統治） 13 今⽇話したようなリスクが社内で透明性を持って共有され、 組織に⽂化として根付くことが望ましい
14. • 対象のAIシステムについて、⽂脈とリスクを洗い出すのがMAP ◦ 何のために使うのか（想定⽤途） ◦ 誰が関わるのか（ステークホルダー） ◦ ライフサイクルのどの段階か などを整理し⽂章化 • そして関係者間でそのリスクを正しく認知することが⼤切 MAP（マッピング） 14
15. • MAPで⾒えてきたリスクを、定量‧定性の両⾯で分析して追跡する • AIの性能や影響を測り、信頼特性がどれくらい満たされているかを評価 ◦ MEASURE 1 ▪ 適切な⼿法と指標を特定し、適⽤します。 ◦ MEASURE 3 ▪ 特定されたAIリスクを⻑期的に追跡する仕組みが整備されています。 • 組織内で必要なデータを収集できているかを確認する必要あり ◦ 監査ログ？アプリケーションログ？OpenTelemetry？ ◦ 分析して、フィードバックを回すことも考慮する MEASURE（測定） 15
16. • 測定結果をもとに、リスクへの対応にリソースを割り当てる • 優先順位をつけて対処し、残ったリスク（残留リスク）を記録して、 インシデントが起きたら対応 ◦ MANAGE 2 ▪ AIのベネフィットを最⼤化し、ネガティブインパクトを最⼩限に抑 えるための戦略が、計画‧準備‧実施‧⽂書化されており、関連す るAIアクター（⼈‧組織‧システム）からのインプットがそれらに反 映されています。 • 仕組みを整備して低減するリスク、 教育を⾏って低減するリスク、 そして組織として受け⼊れるリスク を決める MANAGE（管理） 16
17. 勝⼿に提唱タイム
18. リスク全般について（私⾒） 18 • リスクはゼロにすることは基本的にできない ◦ ゼロにするための投資は割に合わない • リスクを組織としてどう受容するかを検討する必要あり【Manage】 ◦ 受容ラインを明⽂化、経営合意する • 例えば、関係者間でリスクが認知‧共有できている状態であれば、Agentic AI / Coding AI にある程度⼤きな権限を渡しても差し⽀えない ◦ コントロール重視のポリシーにより、権限を縛りすぎて⽣産性が落ちる 例がある
19. セキュリティ⾯の⼼配事には 19 • グラウンドルールを配布する【Govern】 ◦ 追加のmarkdown、rules など（ガードレールはある前提） ◦ 組織として守ってほしいことを記載する ▪ 推奨やお願い事項（SHOULD）を配布 ▪ 厳密に守ってほしいこと（MUST）はガードレールに記載する ◦ 分厚く厳密なルールを作らない ▪ ⼈間やAIに守られないことがあると、短期間で陳腐化する 解消したい課題
20. さいごに 20 • NIST AI RMFはリスク管理の共通⾔語として使う ◦ 統治やリスク受容など • AIにまつわる組織内の”決め事”は⽂書化しよう ◦ リスク管理の第⼀歩は⽂書化から始まる クラスメソッド公式キャラクター 「くらにゃん」
21. 参考 21 • AI Risk Management Framework ◦ https://www.nist.gov/itl/ai-risk-management-framework • NIST AI RMF（AIリスク管理フレームワーク）について理解しようとしてみた ◦ https://dev.classmethod.jp/articles/understanding-nist-ai-rmf/