SES向け、生成AI時代におけるエンジニアリングとセキュリティ

SES 向けの生成AI時代におけるエンジニアリングとセキュリティの重要性、リスク管理、及び安全なAIツールの利用に関する教育研修

Transcript

1. AI SECURITY EDUCATION 生成AI時代の エンジニアリングと セキュリティ ～「現場ルール」を守りながら安全に加速するために～ 組織としてのAI活用リテラシーとリスク管理
2. 研修のゴール AIのリスクを正しく理解し、自身の判断で安全にツールを 活用できるようになる こと。 禁止ではなく「安全に使い倒す」ための免許皆伝を目指し ます。 SESの大前提 • 現場（常駐先）のルールが最優先。 • 今回紹介するルールはあくまで「ベースライン」。会 社や現場に規定がない場合の指針とする。 • 判断に迷ったら、必ず現場の指揮命令者やセキュ リティ担当に確認する。 本研修のゴールと前提
3. 従来のIT 決定論的 Deterministic) 入力Aに対して、常に同じ結果Bを返 す。 「辞書」のような存在。 生成AI 確率論的 Probabilistic) 文脈から「もっともらしい次の一語」 を予測する計算機。 リスク 幻覚 Hallucination) 事実と創作を区別しない。 「AIが言ったから正しい」という思い 込みが最大の脅威。 生成AIの正体 ～確率論と決定論～
4. Shadow AIの脅威 無許可ツールの利用 会社や現場が許可していないAIツール（個人の無料 ChatGPTアカウントなど）を勝手に業務利用すること。 なぜ危険なのか？ • 無料版の多くは、入力データを「学習」に利用する規約 に なっている。 • 機密コード、議事録、顧客データがAIに吸収され、他社の 回答として流出するリスクがある。
5. 脆弱性のあるコード AIの学習元には、古いコードや脆弱 なコードも含まれるため、AIは「安全 なコード」を書くとは限らない。 よくある例 データ AI生成コードの約62%に何らかの 不備が含まれるという調査結果もあ る。 入念なレビューが必須。 • SQLインジェクション • クロスサイトスクリプティング XSS • ハードコードされたパスワード コーディングにおけるリスク① 脆弱性の混入
6. サプライチェーン攻撃の温床 AIは文脈に合わせて「実在しそうな名前」のライブラリを勝手に捏 造することがあります。 必ず公式サイトやスター数を確認し、現場指揮者などから適切な 許諾を得て、導入してください。 攻撃の手口： 1. AIが提案しそうなパッケージ名を予測 2. 攻撃者がその名前で悪意あるコードを登録 3. エンジニアが npm install した瞬間に感染 コーディングにおけるリスク② パッケージの幻覚
7. 類似性と依拠性 AIが学習データに含まれる「他人の著作物（コード）」をそ のまま「思い出して」出力してしまうリスク。 これを利用してしまうと、意図せず著作権侵害（盗用）とな ります。 ライセンス汚染 知らぬ間にGPLなどの「コピーレフト（公開義務あり）」な コードが混入するリスク。 たった数行の混入で、プロダクト全体のソースコード公開 義務が発生する恐れがあります。 著作権侵害のリスク
8. 多くの現場でBusiness/Enterpriseプランが指定される最大の理由は「データ保護」 です。 機能・特徴 個人版 Individual) 企業版 Business) 学習への利用 デフォルトで利用される 学習に利用されない データ保持 コードスニペットを保持する場合あり 推論完了後、即座に破棄 著作権フィルタ 任意設定 組織ポリシーで強制可能 コンテンツ除外 不可 特定ファイルの除外設定が可能 なぜ「GitHub Copilot Business」を使うのか
9. 安全なデータフロー ◦ 暗号化通信： IDEからCopilotサービスへの通信は全て暗号 化されます。 ◦ 一時的な処理： コードスニペットは提案生成のためだけにメモ リ上で処理され、保存されません。 ◦ テレメトリ： 収集されるのは「利用頻度」などの統計データのみ で、コードの中身は含まれません。 Copilotのデータ処理アーキテクチャ
10. 公開コードとの一致を検出 生成されたコードが、GitHub上の公開コード（約150文字以上）と 一致するかをリアルタイムでチェックする機能です。 これにより、意図しない著作権侵害（コピペ）を未然に防ぎます。 設定：Block 一致した場合、提案を表示せずにブロックします。 防御機能① Public Code Filter
11. 読み取り対象からの除外 特定のファイルやパスをCopilotのコンテキスト（読み取り範囲）か ら強制的に除外する機能です。 主な用途 管理コンソールでパスを指定することで、アクセスを遮断します。 • 顧客の個人情報が含まれるCSV/DBダンプ • APIキーが記載された .env ファイル • 社外秘の独自アルゴリズム 防御機能② Content Exclusion
12. 著作権 「学習」は原則自由ですが、「生成・ 利用」は通常の著作権侵害判断と 同じです。納品物には責任が伴いま す。 秘密保持契約 (NDA) 現場のデータを許可なく外部の無料 AIサービスに入力するのは明確な 契約違反です。 権利の帰属 SES契約では成果物の権利は発注 元に帰属するのが一般的。AI生成 物の権利関係も同様です。 日本法と契約（SESの注意点）
13. 未許可ツールの業務利用 個人アカウントの生成AIは原則禁止、または申請必 須。 機密情報の入力 個人名、電話番号、パスワードなどをプロンプトに入れ ない。 丸投げコミット AIが生成したコードを、中身を理解せずレビューなしで コミットしない。 セキュリティ設定の変更 会社が設定したフィルタや除外設定を勝手にOFFにし ない。 ガイドライン：やってはいけないこと
14. Human-in-the-Loop 必ず人間が介在し、最終判断と責任を持つこと。 現場ルールの確認 着任時・ツール導入時に必ず指揮命令者へ利用可否を 確認する。 セキュリティチェック 生成コードに脆弱性がないか、常に意識してレビューす る。 透明性の確保 成果物にAIを利用した場合は、必要に応じて報告・記 録する。 ガイドライン：やるべきこと
15. まとめ ブレーキがあるから速く走れる セキュリティは「足かせ」ではなく、フルスピードで開発するための 「ガードレール」です。 正しい知識とルールを守る者が、最強のAIユーザーになれます。
16. https://softteco.com/wp-content/uploads/2023/01/data-leakage-shadow-it1.jpg Source: softteco.com https://cdn.prod.website-files.com/673b71f0790aabf30bd30bf8/68bea4d7bf59f638ab53609f_2Blog-09%201.jpg Source: www.stepsecurity.io https://cheatsheetseries.owasp.org/assets/Secure_Cloud_Architecture_VPC.png Source: cheatsheetseries.owasp.org https://img.pikbest.com/backgrounds/20250905/digital-security-shield-protecting-data-with-binary-code-overhead-_11873153.jpg!w700wp Source: pikbest.com https://img.freepik.com/premium-vector/folder-lock-icon_1654885182.jpg Source: www.freepik.com https://img.freepik.com/free-photo/vintage-landscape-photo_232149728862.jpg?semt=ais_hybrid&w=740&q=80 Source: www.freepik.com Image Sources