Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PSIRTでAIテストを実施するまでの道のり
Search
Cybozu
PRO
March 19, 2025
Technology
0
40
PSIRTでAIテストを実施するまでの道のり
オワスプナイト2025/03
https://owasp.doorkeeper.jp/events/182085
サイボウズ株式会社
品質保証支援 PSIRT 小西達也
Cybozu
PRO
March 19, 2025
Tweet
Share
More Decks by Cybozu
See All by Cybozu
無理なく続けるサイボウズの社内勉強会
cybozuinsideout
PRO
1
390
kintone開発組織のAWSエンジニアの紹介
cybozuinsideout
PRO
0
78
kintone開発組織のサービスプラットフォームチームの紹介
cybozuinsideout
PRO
0
62
サイボウズフロントエンドエキスパートチームについて / FrontendExpert Team
cybozuinsideout
PRO
6
40k
2024/11/25 ReDesigner Online Meetup 会社紹介
cybozuinsideout
PRO
0
440
サイボウズ 開発本部採用ピッチ / Cybozu Engineer Recruit
cybozuinsideout
PRO
9
52k
テクニカルライティング
cybozuinsideout
PRO
4
660
サイボウズのアジャイルクオリティ2024
cybozuinsideout
PRO
3
550
モブに早く慣れたい人のためのガイド2024
cybozuinsideout
PRO
3
780
Other Decks in Technology
See All in Technology
Vision Language Modelを活用した メルカリの類似画像レコメンドの性能改善
yadayuki
9
1.1k
単一の深層学習モデルによる不確実性の定量化の紹介 ~その予測結果正しいですか?~
ftakahashi
PRO
3
510
Go の analysis パッケージで自作するリファクタリングツール
kworkdev
PRO
1
350
我々に残された仕事はあるのか?
taishiyade
0
200
React Server Componentは 何を解決し何を解決しないのか / What do React Server Components solve, and what do they not solve?
kaminashi
5
970
Reactを段階的に覗いてみる
ytaisei
2
860
ドメインイベントを活用したPHPコードのリファクタリング
kajitack
2
970
EMの仕事、あるいは顧客価値創出のアーキテクト
radiocat
0
130
20250326_管理ツールの権限管理で改善したこと
sasata299
0
150
AIが変えるソフトウェア開発__未来のアジャイルチームとは__.pdf
buchirei
0
360
SpannerとAurora DSQLの同時実行制御の違いに想いを馳せる
masakikato5
0
480
DevinはクラウドエンジニアAIになれるのか!? 実践的なガードレール設計/devin-can-become-a-cloud-engineer-ai-practical-guardrail-design
tomoki10
3
1k
Featured
See All Featured
Code Reviewing Like a Champion
maltzj
521
39k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
4
460
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
14
1.1k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
A designer walks into a library…
pauljervisheath
205
24k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.6k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
117
51k
Mobile First: as difficult as doing things right
swwweet
223
9.5k
Transcript
PSIRTでAIテストを 実施するまでの道のり サイボウズ株式会社 品質保証支援 PSIRT 小西達也 1
自己紹介 • 小西 達也(こにし たつや) • 開発本部 品質保証支援 Cy-PSIRT •
2020年にサイボウズ株式会社入社 • 担当 ◼ モバイル製品全般 ◼ AIに関わる製品 • 趣味: ◼ 読書、模型製作、筋トレ
©️ Cybozu, Inc. 世の中的に生成AIを活用した機能が 盛り上がっている昨今 3
PSIRTでAIテストを実施するまでの道のり サイボウズでもAI機能の促進や提供開始 4 サイボウズ、「kintone AIアシスタント(仮称)」β版利用ユーザーの募集を開始 https://topics.cybozu.co.jp/news/2024/11/07-18881.html
PSIRTでAIテストを実施するまでの道のり サイボウズのPSIRTでもAIの対応が必要に! • AIに関係するセキュリティテストや製品チームをサポートするための 体制が必要になりプロジェクトを開始しました。 • チーム体制: 2名の少数体制 • 今回は、サイボウズでAI周りのテストをするためにどのように対応していった
のかを3つ共有します。 5 テスト対応 サポート対応 知見収集 と整理
©️ Cybozu, Inc. 知見収集と整理 6
©️ Cybozu, Inc. テストできるようにしたいが、 AIセキュリティがわからない状態だった。。。 7
PSIRTでAIテストを実施するまでの道のり AI周りのセキュリティについて情報収集と整理を実施 • OWASP Top10 for LLM Applicationsを活用 • https://genaisecurityproject.com/resource/owasp-top-10-for-llm-
applications-2025/ • AIを取り巻く攻撃の種類や観点を理解し、 テストするための知見を整理する目的で活用 • 活用の道のり: 1. 各章を読み、概要を整理 2. 擬似的なシステム図を元に攻撃の種類を整理 3. 整理したものから観点表を作成 4. テスト用のペイロード表の作成 8
PSIRTでAIテストを実施するまでの道のり システム図を元に攻撃の種類を整理 • 擬似的なシステムを元にAIの攻撃を 可視化 • 下記の観点で整理 • 攻撃のエントリポイントはどこか? (
) • テストするべき点はどこか? ( ) • どこに影響をもたらすか?( ) • 攻撃の種類や手法は何か? (吹き出し) • AIを狙う攻撃の種類や観点を把握 9
PSIRTでAIテストを実施するまでの道のり 攻撃観点表の作成 • 社内のテストで必要な項目のみに絞って、攻撃観点表を作成 • 下記の項目で整理 • 攻撃名 • 攻撃概要/攻撃手法
• 具体的な攻撃ペイロード • ターゲット • 何をされるのか(目的) • 防御策 10
PSIRTでAIテストを実施するまでの道のり テスト用ペイロード表の作成 • 各観点に合わせて調査を行い、テスト用のペイロード表を作成 11
PSIRTでAIテストを実施するまでの道のり その他の取り組み • やられアプリや外部トレーニングを受講し、実践的な知識を取得 • テスト方法を整理して社内DBで一元管理 12
©️ Cybozu, Inc. テスト対応 13
PSIRTでAIテストを実施するまでの道のり パターン1 パターン2 ・・・ パターンN AIテストでの問題 • AIのテストは自然言語かつ表現によって結果に変化が発生する。 • 闇雲にやると膨大なテストパターンが必要となり、多くのリソースと時間が
かかる。 • リスクを明確化し、重視したいテストを絞る必要がある。 14 リスク1 リスク1の方が影響度が 大きいので重点的にやる テストが膨大で 終わらない。。。 パターン1 パターン2 ・・・ パターンN リスク2 パターン1 パターン2 ・・・ パターンN リスク1 パターン1 パターン2 ・・・ パターンN リスク2
PSIRTでAIテストを実施するまでの道のり 製品チームとの連携 • リスクの優先度や必要なテストを絞るために製品チームと連携 • 週に数回テストに向けての打ち合わせを実施 • 打ち合わせの中で以下の内容を確認 • 実装された機能の仕様確認
• 想定されるリスクと優先度の決定 • テスト項目の選定 • テスト期間の設定 15
PSIRTでAIテストを実施するまでの道のり テスト実施までの連携対応フローの例 16 PSIRT 製品チーム 仕様書 1.仕様書を元に製品チームへ ヒアリングを実施 PSIRT 2.システム図からリスクの洗い出しと
テストプランの作成 テストプランを作成 洗い出し [リスク1] [リスク2] 影響を受ける部分 説明 質問
PSIRTでAIテストを実施するまでの道のり テスト実施までの連携対応フローの例 17 PSIRT 製品チーム 3. 洗い出したリスクとテストプランを元に 製品チームとテストが必要な項目を選定 4.選定した内容を元にテスト実施 テスト実施
[リスク1] [リスク2] テストプラン リスク1は設定から 発生しないはずなの で優先度が低い リスク2は重点的 に見て欲しい 2.確認 1.共有 テストプラン 3.修正 テスト環境 PSIRT メモ メモ
PSIRTでAIテストを実施するまでの道のり テスト実施時の取り組み • テストの終了条件としてゴールを設定する • AIのテストはペネトレーションテストに近い • 自然言語を扱うため、網羅性を担保しづらく終わりがない • 下記の手段を利用し、設定したゴールを達成できるか確認
• ペイロード表を参考にしつつ、機能に合わせた言い方の変更 • LLMの回答結果を元に文章の追加や変更 • 攻撃テクニックの利用 18 1. ゴールの設定 2.様々な手段を利用 し、ゴールを達成 できるかを確認 プロンプトインジェクション経由で 権限のない情報が漏洩しないか ペイロード表 ・言い方の変更 ・文章の追加や変更 ・攻撃テクニック
PSIRTでAIテストを実施するまでの道のり テスト時に注意していること • テスト範囲の設定 • プラットフォームやLLM自体へのテストにならないように工夫 • DoSを引き起こすような攻撃などをテストの対象外にしている • テストでの記録を徹底
• 気になる挙動は画像や動画で残す • AIの挙動は再現性が低く、同じ手順でも再現しなくなるため 19
©️ Cybozu, Inc. サポート対応 20
PSIRTでAIテストを実施するまでの道のり 社内でのAIセキュリティのサポート活動 • 社内のAI関係チームと連携を強化 • AIに関する情報を共有 • AIセキュリティに関する窓口対応 • 社内メンバーへの勉強会の実施
• AIのセキュリティリスクについて解説 • OWASP Top10 for LLM Applications 2025の解説 • PSIRT内での勉強会の実施 • AIの基礎からAIのセキュリティリスクについて解説 • AIセキュリティに関する実践的なトレーニングの実施 21
PSIRTでAIテストを実施するまでの道のり 対応する上で苦労した点と解決策 • AIセキュリティに関する情報の整理と理解 • 過渡期であるため、全体像を把握するのが難しい => [解決策] OWASP Top10
for LLM Applicationsを利用 • AIの社内でのテスト方法の検討 • 膨大なパターンがある中でどうやって対応するか? • テストの進め方や終了条件をどうするか? => [解決策] 製品チームとの連携による選定やゴールの設定によるテスト 22
PSIRTでAIテストを実施するまでの道のり 今後の改善 • AIのテストや評価に関わる基準を検討・定義 • AIのテストでの試行回数に関する基準 • 脆弱性の判断や評価に関する基準 • テスト手法の向上
• テスト手法のアップデート • 自動化ツールの利用の検討 • 製品チームとの連携の強化 • 社内向けにAIセキュリティについて知ってもらうための活動を実施 23
PSIRTでAIテストを実施するまでの道のり ツールの紹介 • プロンプトの堅牢化をチェックするツールを公開しています。 • Prompt Hardener: https://github.com/cybozu/prompt-hardener • 弊社でAI担当をされている湯浅さんと北村さんが開発されています。
• CODE BLUE 2024のCyberTAMAGOでも発表されました。 • 発表に関して、弊社のブログ記事で公開しています。 • CODE BLUE 2024参加レポート https://blog.cybozu.io/entry/2025/01/15/080000 24
ご清聴いただき、 ありがとうございました! 25