Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PSIRTでAIテストを実施するまでの道のり
Search
Cybozu
PRO
March 19, 2025
Technology
0
110
PSIRTでAIテストを実施するまでの道のり
オワスプナイト2025/03
https://owasp.doorkeeper.jp/events/182085
サイボウズ株式会社
品質保証支援 PSIRT 小西達也
Cybozu
PRO
March 19, 2025
Tweet
Share
More Decks by Cybozu
See All by Cybozu
kintone開発のプラットフォームエンジニアの紹介
cybozuinsideout
PRO
0
16
AIツール開発ワークショップ(Dify)【サイボウズ新人研修2025】
cybozuinsideout
PRO
20
20k
モバイル【サイボウズ新人研修2025】
cybozuinsideout
PRO
3
3.5k
Git/GitHub を使う上で知っておくと嬉しいかも Tips【サイボウズ新人研修2025】
cybozuinsideout
PRO
12
9.4k
GitHub Copilot活用【サイボウズ新人研修2025】
cybozuinsideout
PRO
14
13k
ソフトウェアライセンス【サイボウズ新人研修2025】
cybozuinsideout
PRO
12
7.9k
エンジニアのためのアウトプット講座 〜知識をシェアするはじめの一歩〜【サイボウズ新人研修2025】
cybozuinsideout
PRO
7
4.3k
Docker入門【サイボウズ新人研修2025】
cybozuinsideout
PRO
12
11k
セキュリティ【サイボウズ新人研修2025】
cybozuinsideout
PRO
2
3.2k
Other Decks in Technology
See All in Technology
相互運用可能な学修歴クレデンシャルに向けた標準技術と国際動向
fujie
0
250
Claude Codeから我々が学ぶべきこと
oikon48
10
2.8k
2025新卒研修・HTML/CSS #弁護士ドットコム
bengo4com
3
13k
マルチプロダクト×マルチテナントを支えるモジュラモノリスを中心としたアソビューのアーキテクチャ
disc99
1
530
LLMをツールからプラットフォームへ〜Ai Workforceの戦略〜 #BetAIDay
layerx
PRO
1
980
LLMで構造化出力の成功率をグンと上げる方法
keisuketakiguchi
0
820
家族の思い出を形にする 〜 1秒動画の生成を支えるインフラアーキテクチャ
ojima_h
3
1.1k
Eval-Centric AI: Agent 開発におけるベストプラクティスの探求
asei
0
120
Bet "Bet AI" - Accelerating Our AI Journey #BetAIDay
layerx
PRO
4
1.7k
Claude Codeは仕様駆動の夢を見ない
gotalab555
23
6.5k
GMOペパボのデータ基盤とデータ活用の現在地 / Current State of GMO Pepabo's Data Infrastructure and Data Utilization
zaimy
3
220
Strands Agents & Bedrock AgentCoreを1分でおさらい
minorun365
PRO
7
330
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
184
22k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
What's in a price? How to price your products and services
michaelherold
246
12k
How STYLIGHT went responsive
nonsquared
100
5.7k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Transcript
PSIRTでAIテストを 実施するまでの道のり サイボウズ株式会社 品質保証支援 PSIRT 小西達也 1
自己紹介 • 小西 達也(こにし たつや) • 開発本部 品質保証支援 Cy-PSIRT •
2020年にサイボウズ株式会社入社 • 担当 ◼ モバイル製品全般 ◼ AIに関わる製品 • 趣味: ◼ 読書、模型製作、筋トレ
©️ Cybozu, Inc. 世の中的に生成AIを活用した機能が 盛り上がっている昨今 3
PSIRTでAIテストを実施するまでの道のり サイボウズでもAI機能の促進や提供開始 4 サイボウズ、「kintone AIアシスタント(仮称)」β版利用ユーザーの募集を開始 https://topics.cybozu.co.jp/news/2024/11/07-18881.html
PSIRTでAIテストを実施するまでの道のり サイボウズのPSIRTでもAIの対応が必要に! • AIに関係するセキュリティテストや製品チームをサポートするための 体制が必要になりプロジェクトを開始しました。 • チーム体制: 2名の少数体制 • 今回は、サイボウズでAI周りのテストをするためにどのように対応していった
のかを3つ共有します。 5 テスト対応 サポート対応 知見収集 と整理
©️ Cybozu, Inc. 知見収集と整理 6
©️ Cybozu, Inc. テストできるようにしたいが、 AIセキュリティがわからない状態だった。。。 7
PSIRTでAIテストを実施するまでの道のり AI周りのセキュリティについて情報収集と整理を実施 • OWASP Top10 for LLM Applicationsを活用 • https://genaisecurityproject.com/resource/owasp-top-10-for-llm-
applications-2025/ • AIを取り巻く攻撃の種類や観点を理解し、 テストするための知見を整理する目的で活用 • 活用の道のり: 1. 各章を読み、概要を整理 2. 擬似的なシステム図を元に攻撃の種類を整理 3. 整理したものから観点表を作成 4. テスト用のペイロード表の作成 8
PSIRTでAIテストを実施するまでの道のり システム図を元に攻撃の種類を整理 • 擬似的なシステムを元にAIの攻撃を 可視化 • 下記の観点で整理 • 攻撃のエントリポイントはどこか? (
) • テストするべき点はどこか? ( ) • どこに影響をもたらすか?( ) • 攻撃の種類や手法は何か? (吹き出し) • AIを狙う攻撃の種類や観点を把握 9
PSIRTでAIテストを実施するまでの道のり 攻撃観点表の作成 • 社内のテストで必要な項目のみに絞って、攻撃観点表を作成 • 下記の項目で整理 • 攻撃名 • 攻撃概要/攻撃手法
• 具体的な攻撃ペイロード • ターゲット • 何をされるのか(目的) • 防御策 10
PSIRTでAIテストを実施するまでの道のり テスト用ペイロード表の作成 • 各観点に合わせて調査を行い、テスト用のペイロード表を作成 11
PSIRTでAIテストを実施するまでの道のり その他の取り組み • やられアプリや外部トレーニングを受講し、実践的な知識を取得 • テスト方法を整理して社内DBで一元管理 12
©️ Cybozu, Inc. テスト対応 13
PSIRTでAIテストを実施するまでの道のり パターン1 パターン2 ・・・ パターンN AIテストでの問題 • AIのテストは自然言語かつ表現によって結果に変化が発生する。 • 闇雲にやると膨大なテストパターンが必要となり、多くのリソースと時間が
かかる。 • リスクを明確化し、重視したいテストを絞る必要がある。 14 リスク1 リスク1の方が影響度が 大きいので重点的にやる テストが膨大で 終わらない。。。 パターン1 パターン2 ・・・ パターンN リスク2 パターン1 パターン2 ・・・ パターンN リスク1 パターン1 パターン2 ・・・ パターンN リスク2
PSIRTでAIテストを実施するまでの道のり 製品チームとの連携 • リスクの優先度や必要なテストを絞るために製品チームと連携 • 週に数回テストに向けての打ち合わせを実施 • 打ち合わせの中で以下の内容を確認 • 実装された機能の仕様確認
• 想定されるリスクと優先度の決定 • テスト項目の選定 • テスト期間の設定 15
PSIRTでAIテストを実施するまでの道のり テスト実施までの連携対応フローの例 16 PSIRT 製品チーム 仕様書 1.仕様書を元に製品チームへ ヒアリングを実施 PSIRT 2.システム図からリスクの洗い出しと
テストプランの作成 テストプランを作成 洗い出し [リスク1] [リスク2] 影響を受ける部分 説明 質問
PSIRTでAIテストを実施するまでの道のり テスト実施までの連携対応フローの例 17 PSIRT 製品チーム 3. 洗い出したリスクとテストプランを元に 製品チームとテストが必要な項目を選定 4.選定した内容を元にテスト実施 テスト実施
[リスク1] [リスク2] テストプラン リスク1は設定から 発生しないはずなの で優先度が低い リスク2は重点的 に見て欲しい 2.確認 1.共有 テストプラン 3.修正 テスト環境 PSIRT メモ メモ
PSIRTでAIテストを実施するまでの道のり テスト実施時の取り組み • テストの終了条件としてゴールを設定する • AIのテストはペネトレーションテストに近い • 自然言語を扱うため、網羅性を担保しづらく終わりがない • 下記の手段を利用し、設定したゴールを達成できるか確認
• ペイロード表を参考にしつつ、機能に合わせた言い方の変更 • LLMの回答結果を元に文章の追加や変更 • 攻撃テクニックの利用 18 1. ゴールの設定 2.様々な手段を利用 し、ゴールを達成 できるかを確認 プロンプトインジェクション経由で 権限のない情報が漏洩しないか ペイロード表 ・言い方の変更 ・文章の追加や変更 ・攻撃テクニック
PSIRTでAIテストを実施するまでの道のり テスト時に注意していること • テスト範囲の設定 • プラットフォームやLLM自体へのテストにならないように工夫 • DoSを引き起こすような攻撃などをテストの対象外にしている • テストでの記録を徹底
• 気になる挙動は画像や動画で残す • AIの挙動は再現性が低く、同じ手順でも再現しなくなるため 19
©️ Cybozu, Inc. サポート対応 20
PSIRTでAIテストを実施するまでの道のり 社内でのAIセキュリティのサポート活動 • 社内のAI関係チームと連携を強化 • AIに関する情報を共有 • AIセキュリティに関する窓口対応 • 社内メンバーへの勉強会の実施
• AIのセキュリティリスクについて解説 • OWASP Top10 for LLM Applications 2025の解説 • PSIRT内での勉強会の実施 • AIの基礎からAIのセキュリティリスクについて解説 • AIセキュリティに関する実践的なトレーニングの実施 21
PSIRTでAIテストを実施するまでの道のり 対応する上で苦労した点と解決策 • AIセキュリティに関する情報の整理と理解 • 過渡期であるため、全体像を把握するのが難しい => [解決策] OWASP Top10
for LLM Applicationsを利用 • AIの社内でのテスト方法の検討 • 膨大なパターンがある中でどうやって対応するか? • テストの進め方や終了条件をどうするか? => [解決策] 製品チームとの連携による選定やゴールの設定によるテスト 22
PSIRTでAIテストを実施するまでの道のり 今後の改善 • AIのテストや評価に関わる基準を検討・定義 • AIのテストでの試行回数に関する基準 • 脆弱性の判断や評価に関する基準 • テスト手法の向上
• テスト手法のアップデート • 自動化ツールの利用の検討 • 製品チームとの連携の強化 • 社内向けにAIセキュリティについて知ってもらうための活動を実施 23
PSIRTでAIテストを実施するまでの道のり ツールの紹介 • プロンプトの堅牢化をチェックするツールを公開しています。 • Prompt Hardener: https://github.com/cybozu/prompt-hardener • 弊社でAI担当をされている湯浅さんと北村さんが開発されています。
• CODE BLUE 2024のCyberTAMAGOでも発表されました。 • 発表に関して、弊社のブログ記事で公開しています。 • CODE BLUE 2024参加レポート https://blog.cybozu.io/entry/2025/01/15/080000 24
ご清聴いただき、 ありがとうございました! 25