Slide 12
Slide 12 text
Threat Thinker
©️ Cybozu, Inc.
• Web, AWS, RAGのシステムに対して脅威を推論
• あらかじめ期待する脅威を定義 → 推論してマッチするものを採用
• 精度を計測するための指標
• Precision(適合率): 採用された脅威 / 出力の総数
• Recall(再現率): 採用された脅威 / 期待脅威の総数
• 結果*(Mermaid, draw.io, 画像の3ケースの平均値)
• Web : Precision 67%, Recall 67%
• AWS : Precision 47%, Recall 47%
• RAG : Precision 47%, Recall 47%
13
脅威推論の精度はどんな感じ?
評価実験では中程度の精度で脅威の推論ができている
[*] : 今回は出力の総数と期待脅威の総数が10件で同じのため、Precisionと
Recallは同じ値になっています