Upgrade to Pro — share decks privately, control downloads, hide ads and more …

PSIRTでAIテストを​実施するまでの道のり

 PSIRTでAIテストを​実施するまでの道のり

オワスプナイト2025/03
https://owasp.doorkeeper.jp/events/182085

サイボウズ株式会社 ​
品質保証支援 PSIRT 小西達也​

Cybozu

March 19, 2025
Tweet

More Decks by Cybozu

Other Decks in Technology

Transcript

  1. 自己紹介 • 小西 達也(こにし たつや) • 開発本部 品質保証支援 Cy-PSIRT •

    2020年にサイボウズ株式会社入社 • 担当 ◼ モバイル製品全般 ◼ AIに関わる製品 • 趣味: ◼ 読書、模型製作、筋トレ
  2. PSIRTでAIテストを実施するまでの道のり AI周りのセキュリティについて情報収集と整理を実施 • OWASP Top10 for LLM Applicationsを活用 • https://genaisecurityproject.com/resource/owasp-top-10-for-llm-

    applications-2025/ • AIを取り巻く攻撃の種類や観点を理解し、 テストするための知見を整理する目的で活用 • 活用の道のり: 1. 各章を読み、概要を整理 2. 擬似的なシステム図を元に攻撃の種類を整理 3. 整理したものから観点表を作成 4. テスト用のペイロード表の作成 8
  3. PSIRTでAIテストを実施するまでの道のり システム図を元に攻撃の種類を整理 • 擬似的なシステムを元にAIの攻撃を 可視化 • 下記の観点で整理 • 攻撃のエントリポイントはどこか? (

    ) • テストするべき点はどこか? ( ) • どこに影響をもたらすか?( ) • 攻撃の種類や手法は何か? (吹き出し) • AIを狙う攻撃の種類や観点を把握 9
  4. PSIRTでAIテストを実施するまでの道のり パターン1 パターン2 ・・・ パターンN AIテストでの問題 • AIのテストは自然言語かつ表現によって結果に変化が発生する。 • 闇雲にやると膨大なテストパターンが必要となり、多くのリソースと時間が

    かかる。 • リスクを明確化し、重視したいテストを絞る必要がある。 14 リスク1 リスク1の方が影響度が 大きいので重点的にやる テストが膨大で 終わらない。。。 パターン1 パターン2 ・・・ パターンN リスク2 パターン1 パターン2 ・・・ パターンN リスク1 パターン1 パターン2 ・・・ パターンN リスク2
  5. PSIRTでAIテストを実施するまでの道のり テスト実施までの連携対応フローの例 17 PSIRT 製品チーム 3. 洗い出したリスクとテストプランを元に 製品チームとテストが必要な項目を選定 4.選定した内容を元にテスト実施 テスト実施

    [リスク1] [リスク2] テストプラン リスク1は設定から 発生しないはずなの で優先度が低い リスク2は重点的 に見て欲しい 2.確認 1.共有 テストプラン 3.修正 テスト環境 PSIRT メモ メモ
  6. PSIRTでAIテストを実施するまでの道のり テスト実施時の取り組み • テストの終了条件としてゴールを設定する • AIのテストはペネトレーションテストに近い • 自然言語を扱うため、網羅性を担保しづらく終わりがない • 下記の手段を利用し、設定したゴールを達成できるか確認

    • ペイロード表を参考にしつつ、機能に合わせた言い方の変更 • LLMの回答結果を元に文章の追加や変更 • 攻撃テクニックの利用 18 1. ゴールの設定 2.様々な手段を利用 し、ゴールを達成 できるかを確認 プロンプトインジェクション経由で 権限のない情報が漏洩しないか ペイロード表 ・言い方の変更 ・文章の追加や変更 ・攻撃テクニック
  7. PSIRTでAIテストを実施するまでの道のり 社内でのAIセキュリティのサポート活動 • 社内のAI関係チームと連携を強化 • AIに関する情報を共有 • AIセキュリティに関する窓口対応 • 社内メンバーへの勉強会の実施

    • AIのセキュリティリスクについて解説 • OWASP Top10 for LLM Applications 2025の解説 • PSIRT内での勉強会の実施 • AIの基礎からAIのセキュリティリスクについて解説 • AIセキュリティに関する実践的なトレーニングの実施 21
  8. PSIRTでAIテストを実施するまでの道のり 対応する上で苦労した点と解決策 • AIセキュリティに関する情報の整理と理解 • 過渡期であるため、全体像を把握するのが難しい => [解決策] OWASP Top10

    for LLM Applicationsを利用 • AIの社内でのテスト方法の検討 • 膨大なパターンがある中でどうやって対応するか? • テストの進め方や終了条件をどうするか? => [解決策] 製品チームとの連携による選定やゴールの設定によるテスト 22
  9. PSIRTでAIテストを実施するまでの道のり 今後の改善 • AIのテストや評価に関わる基準を検討・定義 • AIのテストでの試行回数に関する基準 • 脆弱性の判断や評価に関する基準 • テスト手法の向上

    • テスト手法のアップデート • 自動化ツールの利用の検討 • 製品チームとの連携の強化 • 社内向けにAIセキュリティについて知ってもらうための活動を実施 23
  10. PSIRTでAIテストを実施するまでの道のり ツールの紹介 • プロンプトの堅牢化をチェックするツールを公開しています。 • Prompt Hardener: https://github.com/cybozu/prompt-hardener • 弊社でAI担当をされている湯浅さんと北村さんが開発されています。

    • CODE BLUE 2024のCyberTAMAGOでも発表されました。 • 発表に関して、弊社のブログ記事で公開しています。 • CODE BLUE 2024参加レポート https://blog.cybozu.io/entry/2025/01/15/080000 24