Slide 1

Slide 1 text

AI時代のリスク管理は どうあるべきか考えてみる 2026年 7⽉ 16⽇ 荒平 祐次 @eiraces

Slide 2

Slide 2 text

about me 2 荒平 祐次 (Arahira Yuji) @eiraces クラスメソッド株式会社 クラウド事業統括本部 プロフェッショナルサービス事業本部 ソリューションアーキテクト 2025 Japan AWS Top Engineer AWS Community Builder (Serverless) VMware vExpert 2021-2026

Slide 3

Slide 3 text

AI乱世のCCoE

Slide 4

Slide 4 text

CCoE / AI CoEに求められていること(⼀部) 4 ツール選定‧申請の管理 ガードレールやガイドラインの整備 シャドーAIの防⽌ 教育 … AIで な ん か や れ 安 全 に AI 使 え る 環 境 欲 し い 偉い⼈ CCoE / AI CoE ユーザー部⾨

Slide 5

Slide 5 text

本⽇の話は… 5 「リスクとどう向き合うのか」について、それぞれの問題と共に低減策を⼀緒 に考えてみましょう ● ここで扱うリスク ○ 主に情報漏洩、機密情報の学習、ブランド毀損などのインシデントの 発⽣可能性を始めとした AIを利⽤した‧利⽤させたことによるリスク ○ 仕組み上防げるものもあれば、教育が必要不可⽋なものもある ○ 初期導⼊が終わり、ある程度のガードレール‧ガイドラインがある前提 ● 組織⾵⼟は様々なので、取り⼊れられそうな部分があれば、参考にしても らえると嬉しいです

Slide 6

Slide 6 text

組織内で発⽣しうるリスク

Slide 7

Slide 7 text

AIの全社展開による弊害 7 ● Agentic AI / Coding AI を展開したことで「作れる⼈」が⼀気に増えた (これ⾃体は成功) ● しかしながら‧‧‧ 似たようなbotが 部署ごとに散在 誰も把握していない 処理‧データの流れ オーナー 不明/不在のツール

Slide 8

Slide 8 text

AIの利⽤状況 8 ● Agentic AI / Coding AI を展開したはいいが計測する仕組みがない ● 組織内で使われている AI がどの程度効果を⽣み出しているか分からない ● 安全に使われているかが分からない ○ 例) 機密情報‧個⼈情報の流出、野良MCPへのデータ献上 AIの投資対効果が 不明 ガードレールが適切か どうか分からない どこに何のデータを 送っているか不明

Slide 9

Slide 9 text

成果物の⼀貫性 9 ● AIは⾮決定性を持ち、個⼈や部署ごとに品質がバラバラになってしまう ● AIモデルが変わったとしても⼀貫して成果物を出せる仕組みが必要 ○ 例) Webサイトのチャットボットの回答品質が落ちた ○ 例) 担当者ごとに⾔っていることが全然違う ⾔語モデルの進化を 鵜呑み ブランドイメージの 毀損

Slide 10

Slide 10 text

AI産アプリケーションの運⽤ 10 ● Vibe Codingにより、作るのは⼀瞬。では管理はどうするのか ● Agentic AI / Coding AI ツールが⼀般化することで、指数関数的にアプリ数 が増える可能性がある(野良Excelマクロで通った道) メリットのみ先⾏し、 運⽤コストが 検討されていない 管理者不在の 無法地帯へ

Slide 11

Slide 11 text

リスクマネジメントのための NIST AI RMF

Slide 12

Slide 12 text

NIST AI RMFとは 12 ● NIST(⽶国国⽴標準技術研究所)が公表しているガイダンス ● 正式名は Artificial Intelligence Risk Management Framework (AI RMF 1.0) ● 初版は2023年1⽉

Slide 13

Slide 13 text

● AIのリスク管理に関する⽂化‧⽅針‧役割分担‧説明責任を組織として 整える項⽬ ○ GOVERN 1 ■ AIリスクのマッピング、測定、管理に関する組織横断的なポリ シー、プロセス、⼿順、および慣⾏が整備されており、それらは透 明性が確保され、かつ効果的に実施されています。 ○ GOVERN 4 ■ 組織のチームは、AIのリスクを考慮し、それを共有する⽂化の醸成 に取り組んでいます。 GOVERN(統治) 13 今⽇話したようなリスクが社内で透明性を持って共有され、 組織に⽂化として根付くことが望ましい

Slide 14

Slide 14 text

● 対象のAIシステムについて、⽂脈とリスクを洗い出すのがMAP ○ 何のために使うのか(想定⽤途) ○ 誰が関わるのか(ステークホルダー) ○ ライフサイクルのどの段階か などを整理し⽂章化 ● そして関係者間でそのリスクを正しく認知することが⼤切 MAP(マッピング) 14

Slide 15

Slide 15 text

● MAPで⾒えてきたリスクを、定量‧定性の両⾯で分析して追跡する ● AIの性能や影響を測り、信頼特性がどれくらい満たされているかを評価 ○ MEASURE 1 ■ 適切な⼿法と指標を特定し、適⽤します。 ○ MEASURE 3 ■ 特定されたAIリスクを⻑期的に追跡する仕組みが整備されています。 ● 組織内で必要なデータを収集できているかを確認する必要あり ○ 監査ログ?アプリケーションログ?OpenTelemetry? ○ 分析して、フィードバックを回すことも考慮する MEASURE(測定) 15

Slide 16

Slide 16 text

● 測定結果をもとに、リスクへの対応にリソースを割り当てる ● 優先順位をつけて対処し、残ったリスク(残留リスク)を記録して、 インシデントが起きたら対応 ○ MANAGE 2 ■ AIのベネフィットを最⼤化し、ネガティブインパクトを最⼩限に抑 えるための戦略が、計画‧準備‧実施‧⽂書化されており、関連す るAIアクター(⼈‧組織‧システム)からのインプットがそれらに反 映されています。 ● 仕組みを整備して低減するリスク、 教育を⾏って低減するリスク、 そして組織として受け⼊れるリスク を決める MANAGE(管理) 16

Slide 17

Slide 17 text

勝⼿に提唱タイム

Slide 18

Slide 18 text

リスク全般について(私⾒) 18 ● リスクはゼロにすることは基本的にできない ○ ゼロにするための投資は割に合わない ● リスクを組織としてどう受容するかを検討する必要あり【Manage】 ○ 受容ラインを明⽂化、経営合意する ● 例えば、関係者間でリスクが認知‧共有できている状態であれば、Agentic AI / Coding AI にある程度⼤きな権限を渡しても差し⽀えない ○ コントロール重視のポリシーにより、権限を縛りすぎて⽣産性が落ちる 例がある

Slide 19

Slide 19 text

セキュリティ⾯の⼼配事には 19 ● グラウンドルールを配布する【Govern】 ○ 追加のmarkdown、rules など(ガードレールはある前提) ○ 組織として守ってほしいことを記載する ■ 推奨やお願い事項(SHOULD)を配布 ■ 厳密に守ってほしいこと(MUST)はガードレールに記載する ○ 分厚く厳密なルールを作らない ■ ⼈間やAIに守られないことがあると、短期間で陳腐化する 解消したい課題

Slide 20

Slide 20 text

さいごに 20 ● NIST AI RMFはリスク管理の共通⾔語として使う ○ 統治やリスク受容など ● AIにまつわる組織内の”決め事”は⽂書化しよう ○ リスク管理の第⼀歩は⽂書化から始まる クラスメソッド公式キャラクター 「くらにゃん」

Slide 21

Slide 21 text

参考 21 ● AI Risk Management Framework ○ https://www.nist.gov/itl/ai-risk-management-framework ● NIST AI RMF(AIリスク管理フレームワーク)について理解しようとしてみた ○ https://dev.classmethod.jp/articles/understanding-nist-ai-rmf/

Slide 22

Slide 22 text

No content