DEIM2026

Transcript

1. 異種混合テンソルストリームのための 多⽅向特徴抽出とグループ異常検知 垣尾 颯志†,‡ 松原 靖⼦† 藤原 廉†,‡ 櫻井 保志† 1 © 2026 Soshi Kakio et al. @ The University of Osaka. † ⼤阪⼤学産業科学研究所 ‡ ⼤阪⼤学⼤学院情報科学研究科 発表ID︓7E-04 DEIM2026
2. DEIM2026 ⽬次 I. 研究背景 II. 提案⼿法 I. アイディア II. モデル III. アルゴリズム III. 実験 IV. まとめ © 2026 Soshi Kakio et al. @ The University of Osaka. 2
3. DEIM2026 研究背景︓異種混合テンソルストリーム pタイムスタンプと離散属性, 連続属性から構成される 3 © 2026 Soshi Kakio et al. @ The University of Osaka. タイムスタンプ 送信元 IPアドレス 送信先 IPアドレス プロトコル バイト長 フロー時間 (sec) 2025-07-01-21:01:01 145.23.56.12 145.23.56.12 TCP 4324 342 2025-07-01-21:01:02 141.24.56.15 145.23.56.12 UDP 2243 3.43 2025-07-01-21:01:02 145.23.56.12 145.23.53. TCP 532 10.2 2025-07-01-21:01:03 145.23.12.12 124.23.56.17 UDP 552 6.43 2025-07-01-21:01:03 145.43.56.12 45.23.56.12 ICMP 13 0.4 離散属性 (𝑀! = 3) 連続属性 (𝑀" = 2) ! ! ! 例：サイバーセキュリティ
4. DEIM2026 研究背景︓異種混合テンソルストリーム ユーザーレビュー 離散属性︓ 作品名 ジャンル etc... 連続属性︓ 値段 © 2026 Soshi Kakio et al. @ The University of Osaka. 4 サイバーセキュリティ 離散属性︓ IPアドレス ポート番号 プロトコル etc... 連続属性︓ フロー間隔 データのバイト⻑ etc... サイバー攻撃を検知したい 隠れたトレンドを知りたい
5. DEIM2026 © 2026 Soshi Kakio et al. @ The University of Osaka. 5 研究背景︓異種混合テンソルストリーム 😣 異種混合性 😣 タイムスタンプの連続性 😣 高次元 (多属性) 😣 スパース Ø レコード数 << テンソルサイズ 😣 連続属性の分布は未知
6. DEIM2026 p サイバーセキュリティではグループ異常 の検知が必要 Ø 例︓DDoS攻撃 • 単体では正常のリクエストを⼤量に送信して異常を引き起こす Ø レコード同⼠の時間的関係の考慮が必要 研究背景︓グループ異常 6 © 2026 Soshi Kakio et al. @ The University of Osaka. ⼤量のリクエスト
7. DEIM2026 研究背景︓グループ異常 😣 多くの既存手法は点異常を目的とする Øレコード同⼠の関係を考慮しない 😣 教師なし学習 Ø正解・不正解のフィードバックを得られない 😣 ストリーム処理 Øサイバー攻撃をできるだけ早く検知したい © 2026 Soshi Kakio et al. @ The University of Osaka. 7
8. DEIM2026 研究背景︓Question Q. 連続属性の分布を制限することなく， 異種混合テンソルストリームを解釈可能な形に要約し， ⾼速かつ正確にグループ異常を検知できる︖ A. アルゴリズム HeteroComp を提案 Ø Effective︓解釈可能かつ有⽤な特徴を抽出 Ø Accurate︓正確なグループ異常検知 Ø Scalable︓ストリームに耐えうる計算時間 © 2026 Soshi Kakio et al. @ The University of Osaka. 8
9. DEIM2026 ⼀つ前のテンソル © 2026 Soshi Kakio et al. @ The University of Osaka. 9 問題定義 Given︓ 𝑀! + 𝑀" + 1 属性の異種混合テンソルストリーム – 𝑀! 個の離散属性 + 𝑀" 個の連続属性 + タイムスタンプ – 𝑇# 個のタイムスタンプごとに分解していく f 離散1 連続1 カテゴリ4 2.78 カテゴリ2 0.53 カテゴリ1 2.6 カテゴリ2 1.2 カテゴリ1 2.3 離散1 連続1 カテゴリ6 3.3 カテゴリ3 1.34 カテゴリ3 1.67 カテゴリ3 1.41 カテゴリ3 1.45 カテゴリ3 1.44 カテゴリ3 1.43 離散1 連続1 カテゴリ1 2.8 カテゴリ3 1.4 カテゴリ3 1.52 カテゴリ3 1.3 離散1 連続1 カテゴリ1 0.8 (𝑀! = 1, 𝑀" = 1 の場合) 時間 現在のテンソル
10. DEIM2026 ⼀つ前のテンソル © 2026 Soshi Kakio et al. @ The University of Osaka. 10 問題定義 Given︓ 𝑀! + 𝑀" + 1 属性の異種混合テンソルストリーム – 𝑀! 個の離散属性 + 𝑀" 個の連続属性 + タイムスタンプ – 𝑇# 個のタイムスタンプごとに分解していく f 離散1 連続1 カテゴリ4 2.78 カテゴリ2 0.53 カテゴリ1 2.6 カテゴリ2 1.2 カテゴリ1 2.3 離散1 連続1 カテゴリ6 3.3 カテゴリ3 1.34 カテゴリ3 1.67 カテゴリ3 1.41 カテゴリ3 1.45 カテゴリ3 1.44 カテゴリ3 1.43 離散1 連続1 カテゴリ1 2.8 カテゴリ3 1.4 カテゴリ3 1.52 カテゴリ3 1.3 離散1 連続1 カテゴリ1 0.8 (𝑀! = 1, 𝑀" = 1 の場合) 時間 現在のテンソル Goal︓ 解釈可能な形式に要約 グループ異常の検知
11. DEIM2026 ⽬次 I. 研究背景 II. 提案⼿法 I. アイディア II. モデル III. アルゴリズム III. 実験 IV. まとめ © 2026 Soshi Kakio et al. @ The University of Osaka. 11
12. DEIM2026 アイディア p連続属性の分布は未知 pタイムスタンプの連続性のモデリングが必要 © 2026 Soshi Kakio et al. @ The University of Osaka. 12 ガウス過程で表現！
13. DEIM2026 アイディア︓ガウス過程 p ランダムな関数を⽣成する確率過程 Ø 関数の確率分布 Ø 連続時間をモデリング可能 © 2026 Soshi Kakio et al. @ The University of Osaka. 13
14. DEIM2026 アイディア︓対数ガウス過程(LGP)分布 p ノンパラメトリックにデータに合わせた分布を作る © 2026 Soshi Kakio et al. @ The University of Osaka. 14
15. DEIM2026 ⽬次 I. 研究背景 II. 提案⼿法 I. アイディア II. モデル III. アルゴリズム III. 実験 IV. まとめ © 2026 Soshi Kakio et al. @ The University of Osaka. 15
16. DEIM2026 モデル: 仮定 p 主要なK個の潜在グループ (コンポーネント) が存在 p コンポーネントの割合は時間変化する Ø 各コンポーネントの影響⼒を潜在ダイナミクスで表現 © 2026 Soshi Kakio et al. @ The University of Osaka. 16 コンポー ネント1 コンポー ネント2 コンポー ネントK ・・・
17. DEIM2026 © 2026 Soshi Kakio et al. @ The University of Osaka. 17 モデル コンポーネント 1 潜在ダイナミクス 離散属性 コンポーネント 影響力の時間変化 𝐵! ∼ 𝐺𝑃(0, 𝑘") 𝐴! #! ∈ ℝ$"! 多項分布 Mult (𝐴! (#!)) 連続属性 LGP分布𝑃!"# 𝑥|𝐶$ (&!)
18. DEIM2026 モデル︓⽣成過程 © 2026 Soshi Kakio et al. @ The University of Osaka. 18 前のテンソルでの事後パラメータを 事前パラメータとして使うことで 時間依存性を導入
19. DEIM2026 モデル︓⽣成過程 © 2026 Soshi Kakio et al. @ The University of Osaka. 19 (1) レコードごとにコンポーネントをサンプル (2) コンポーネントに従って観測値を生成 (2) (1) (2)
20. DEIM2026 モデル︓⽣成過程 © 2026 Sakurai & Matsubara Lab. @ The University of Osaka 20 pMul$-aspect：任意の個数の属性を扱える☺ pNon-parametric：連続属性を統一的に扱える☺ pOnline：ストリーム全体を保持せずに時間的依存性を扱える☺
21. DEIM2026 ⽬次 I. 研究背景 II. 提案⼿法 I. アイディア II. モデル III. アルゴリズム III.実験 IV.まとめ © 2026 Soshi Kakio et al. @ The University of Osaka. 21
22. DEIM2026 © 2026 Soshi Kakio et al. @ The University of Osaka. 22 アルゴリズム HeteroCompは (1) 推論 (2) グループ異常検知 を⾏う 入力：現在のテンソル
23. DEIM2026 (1) 推論︓具体的な流れ 1. 崩壊ギブスサンプリング︓収束するまで以下を繰り返す． Ø レコードごとにコンポーネントのサンプル Ø 潜在ダイナミクス B の推定 2. 離散属性𝚨の事後分布推定 3. 連続属性𝑪の事後分布推定 © 2026 Soshi Kakio et al. @ The University of Osaka. 23
24. DEIM2026 p コンポーネントkに割り当てられる確率 © 2026 Soshi Kakio et al. @ The University of Osaka. 24 (1) 推論︓コンポーネントのサンプル 離散属性 連続属性 潜在ダイナミクス
25. DEIM2026 😣 softmaxは共役な事後分布を持たない Øギブスサンプリングできない © 2026 Soshi Kakio et al. @ The University of Osaka. 25 (1) 推論︓Bの推定 PolyaGamma分布を使って共役にする Details in paper
26. DEIM2026 © 2026 Soshi Kakio et al. @ The University of Osaka. 26 (1) 推論︓Bの推定 事後分布 事前分布 十分統計量 解析的に計算可能☺ Details in paper
27. DEIM2026 得られた に対してガウス過程回帰をする © 2026 Soshi Kakio et al. @ The University of Osaka. 27 (1) 推論︓Bの推定 線形時不変な確率微分方程式(LTI-SDE) に近似 😣ガウス過程の計算量は 𝒪(𝑇# $)
28. DEIM2026 p前向き︓カルマンフィルタ © 2026 Soshi Kakio et al. @ The University of Osaka. 28 (1) 推論︓Bの推定
29. DEIM2026 p前向き︓カルマンフィルタ © 2026 Soshi Kakio et al. @ The University of Osaka. 29 (1) 推論︓Bの推定
30. DEIM2026 p前向き︓カルマンフィルタ © 2026 Soshi Kakio et al. @ The University of Osaka. 30 (1) 推論︓Bの推定
31. DEIM2026 p前向き︓カルマンフィルタ © 2026 Soshi Kakio et al. @ The University of Osaka. 31 (1) 推論︓Bの推定
32. DEIM2026 p前向き︓カルマンフィルタ © 2026 Soshi Kakio et al. @ The University of Osaka. 32 (1) 推論︓Bの推定
33. DEIM2026 p後ろ向き︓ Rauch-Tung-Striebel (RTS) Smoother © 2026 Soshi Kakio et al. @ The University of Osaka. 33 (1) 推論︓Bの推定
34. DEIM2026 © 2026 Soshi Kakio et al. @ The University of Osaka. 34 (1) 推論︓Bの推定 p後ろ向き︓ Rauch-Tung-Striebel (RTS) Smoother
35. DEIM2026 © 2026 Soshi Kakio et al. @ The University of Osaka. 35 (1) 推論︓Bの推定 p後ろ向き︓ Rauch-Tung-Striebel (RTS) Smoother
36. DEIM2026 © 2026 Soshi Kakio et al. @ The University of Osaka. 36 (1) 推論︓Bの推定 p後ろ向き︓ Rauch-Tung-Striebel (RTS) Smoother
37. DEIM2026 © 2026 Soshi Kakio et al. @ The University of Osaka. 37 (1) 推論︓Bの推定 p後ろ向き︓ Rauch-Tung-Striebel (RTS) Smoother
38. DEIM2026 p後ろ向き︓ Rauch-Tung-Striebel (RTS) Smoother © 2026 Soshi Kakio et al. @ The University of Osaka. 38 (1) 推論︓Bの推定 ☺多くのカーネルが等価or近似的に表現可能 ☺高速な推論が可能 Ø 時間計算量：𝒪 𝑇! Ø メモリ計算量：𝒪 𝑇! Details in paper
39. DEIM2026 pディレクレ分布とカテゴリカル分布は共役． Ø解析的に求まる． © 2026 Soshi Kakio et al. @ The University of Osaka. 39 (1) 推論︓Aの推定 コンポーネントkに属するレコード数 𝑚! 番⽬の離散属性がuであるコンポーネント𝑘のレコード数
40. DEIM2026 p計算の効率化のため，グリッド化して近似 © 2026 Soshi Kakio et al. @ The University of Osaka. 40 (1) 推論︓Cの推定 グリッドgに⼊る確率 グリッドの幅 代表点の予測値 𝐺## 個のグリッドに分割
41. DEIM2026 MAP推定︓ ØL-BFGS法を使い，対数尤度を最⼤化するCを求める． © 2026 Soshi Kakio et al. @ The University of Osaka. 41 (1) 推論︓Cの推定 事前分布 尤度 Details in paper
42. DEIM2026 (2) グループ異常検知 p 急激なコンポーネント数の上昇を異常とする Ø適合度検定によって異常かどうかの判定を⾏う • 帰無仮説︓コンポーネントの出現頻度は⼀定 • 対⽴仮説︓少なくとも1つのコンポーネントの頻度に有意差 © 2026 Soshi Kakio et al. @ The University of Osaka. 42 1 2 3 期待値 1 2 3 実際のコンポーネント数 カイ二乗 適合度検定 カウントの急上昇 グループ異常 =
43. DEIM2026 ⽬次 I. 研究背景 II. 提案⼿法 I. アイディア II. モデル III. アルゴリズム III. 実験 IV. まとめ © 2026 Soshi Kakio et al. @ The University of Osaka. 43
44. DEIM2026 実験 Q1. 有効性 実データに対して有⽤な特徴を抽出できているか Q2. 正確性 既存⼿法に⽐べ正確に異常を検知できているか Q3. 時間計算量 ストリーム処理に実⽤的な時間計算量か © 2026 Soshi Kakio et al. @ The University of Osaka. 44
45. DEIM2026 実験設定 p データセット 1. CIʼ17 2. CCIʼ18 3. Edge-IIoT 4. DDoS2019 5. CUPID 6. Amazon Movie&TV © 2026 Soshi Kakio et al. @ The University of Osaka. 45 p 9つの⽐較⼿法 – OneClassSVM @NIPS1999 – iForestASD @IFAC2013 – RRCF @ICMl2016 – ARCUS @KDD2022 – MStream @WebConf2021 – MemStream @WebConf2022 – AnoGraph @KDD2023 – CubeScope @WebConf2023 – CyberCScope @WebConf2024
46. DEIM2026 © 2026 Soshi Kakio et al. @ The University of Osaka. 46 Q1. 有効性︓サイバーセキュリティ DDoS HTTP DDoS TCP XSS SQL Injection Scanner Port Scanning Fingerprinting DDoS ICMP Backdoor (c) Latent dynamics of components (above) and attacked times (below) (a) Word cloud of source port (b) Distribution of TCP segment length Component red Component orange Component blue Long tail Probability Probability Probability Very short Very short p Edge-IIoT データセット
47. DEIM2026 Q1. 有効性︓サイバーセキュリティ © 2026 Soshi Kakio et al. @ The University of Osaka. 47 0 1 Component weight 13 14 15 16 17 18 19 20 07/05 Attack 13 14 15 16 17 18 19 20 07/06 13 14 15 16 17 18 19 20 07/07 DoS Infiltration Port Scan DDoS Component pink Component blue Component red (d) Latent dynamics of components (above) and attacked times (below) (b) Distribution of total length of backward packets (a)Word cloud of destination IP address (c) Distribution of forward header length Long tail Long tail Very short DoS victim Infiltration victim DDoS victim Very short Very short Probability Probability Probability Probability Probability Probability Short p CI’17 データセット
48. DEIM2026 p DDoS2019 データセット © 2026 Soshi Kakio et al. @ The University of Osaka. 48 Q1. 有効性︓サイバーセキュリティ NetBIOS LDAP UDP MSSQL DDoS NTP DDoS DNS DDoS LDAP DDoS MSSQL DDoS NetBIOS DDoS SNMP DDoS SSDP DDoS UDP SYN TFTP
49. DEIM2026 Q1. 有効性︓サイバーセキュリティ p CCI’18 データセット © 2026 Sakurai & Matsubara Lab. @ The University of Osaka 49 DoS Golden Eye DDoS-HOIC DoS Hulk DDoS LOIC-UDP
50. DEIM2026 p Amazon Movie&TV データセット © 2026 Soshi Kakio et al. @ The University of Osaka. 50 Q1. 有効性︓ユーザーレビュー COVID-19 Outbreak & Trolls World Tour Wild Mountain Thyme Endless Corridor Time (month) (a-iv) Component Western Probability Long tail Price Title (a-i) Component Adventure Probability (b) Latent dynamics of components (a-i) (a-ii) Title Price Title Price (a-iii) Component SF/ Comedy Probability Price Title (a-ii) Component Kids Probability
51. DEIM2026 p評価指標︓ROC-AUC (⾼いほど良) Ø太字が最も精度が⾼く，下線が⼆番⽬に精度が良い © 2026 Soshi Kakio et al. @ The University of Osaka. 51 Q2. 正確性︓サイバー攻撃検知精度 datasets #1 CI’17 #2 CCI’18 #3 Edge-IIoT #4 DDos2019 #5 CUPID Average OneClassSVM 0.587 0.594 0.662 0.900 0.467 0.642 iForestASD 0.844 ± 0.001 0.781 ± 0.001 0.700 ± 0.009 0.881 ± 0.001 0.957 ± 0.004 0.833 RRCF 0.877 ± 0.002 0.763 ± 0.009 0.927 ± 0.002 0.896 ± 0.002 0.974 ± 0.004 0.888 ARCUS 0.500 ± 0.002 0.503 ± 0.004 0.501 ± 0.001 0.500 ± 0.002 0.497 ± 0.008 0.500 MStream 0.905 ± 0.000 0.779 ± 0.000 0.928 ± 0.000 0.899 ± 0.000 0.991 ± 0.000 0.900 MemStream 0.893 ± 0.000 0.781 ± 0.000 0.935 ± 0.000 0.950 ± 0.002 0.977 ± 0.000 0.907 AnoGraph 0.921 ± 0.000 0.776 ± 0.001 0.928 ± 0.000 0.974 ± 0.000 0.994 ± 0.000 0.915 CubeScope 0.921 ± 0.001 0.490 ± 0.002 0.294 ± 0.004 0.684 ± 0.013 0.986 ± 0.000 0.675 CyberCScope 0.625 ± 0.037 0.659 ± 0.090 0.771 ± 0.054 0.502 ± 0.176 0.940 ± 0.034 0.699 HeteroComp 0.990 ± 0.006 0.788 ± 0.005 0.935 ± 0.003 0.963 ± 0.003 0.999 ± 0.000 0.935 全データセットの平均
52. DEIM2026 © 2026 Soshi Kakio et al. @ The University of Osaka. 52 Q2. 正確性︓サイバー攻撃検知精度 datasets #1 CI’17 #2 CCI’18 #3 Edge-IIoT #4 DDos2019 #5 CUPID Average OneClassSVM 0.082 0.146 0.601 0.913 0.016 0.352 iForestASD 0.540 ± 0.003 0.428 ± 0.005 0.680 ± 0.008 0.912 ± 0.001 0.608 ± 0.003 0.634 RRCF 0.679 ± 0.004 0.337 ± 0.010 0.919 ± 0.003 0.922 ± 0.001 0.705 ± 0.013 0.712 ARCUS 0.028 ± 0.002 0.153 ± 0.010 0.586 ± 0.178 0.280 ± 0.014 0.013 ± 0.000 0.212 MStream 0.736 ± 0.000 0.363 ± 0.000 0.927 ± 0.000 0.925 ± 0.000 0.734 ± 0.000 0.737 MemStream 0.713 ± 0.000 0.366 ± 0.000 0.935 ± 0.000 0.956 ± 0.001 0.678 ± 0.000 0.730 AnoGraph 0.741 ± 0.000 0.419 ± 0.005 0.920 ± 0.000 0.970 ± 0.000 0.814 ± 0.001 0.773 CubeScope 0.545 ± 0.003 0.123 ± 0.001 0.421 ± 0.004 0.715 ± 0.010 0.872 ± 0.004 0.535 CyberCScope 0.302 ± 0.096 0.202 ± 0.047 0.633 ± 0.056 0.574 ± 0.127 0.785 ± 0.116 0.499 HeteroComp 0.931 ± 0.037 0.644 ± 0.008 0.931 ± 0.003 0.970 ± 0.002 0.959 ± 0.001 0.887 p評価指標︓PR-AUC (⾼いほど良) Ø太字が最も精度が⾼く，下線が⼆番⽬に精度が良い 全データセットの平均
53. DEIM2026 Q3. 時間計算量 p 他の⼿法と同等の速度 © 2026 Soshi Kakio et al. @ The University of Osaka. 53 p イベント数に対して線形
54. DEIM2026 ⽬次 I. 研究背景 II. 提案⼿法 I. アイディア II. モデル III. アルゴリズム III. 実験 IV. まとめ © 2026 Soshi Kakio et al. @ The University of Osaka. 54
55. DEIM2026 まとめ pHeteroComp は以下の優れた特性を全て満たす． Ø Effective☺ 異種混合イベントテンソルストリームから有⽤な特徴を抽出可能 Ø Accurate☺ 正確にグループ異常検知が可能 Ø Scalable☺ データストリームに対して実⽤的な時間計算量 © 2026 Soshi Kakio et al. @ The University of Osaka. 55 ソースコード 論文 スライド
56. DEIM2026 p以下の５つの観点において HeteroComp は優れている © 2026 Soshi Kakio et al. @ The University of Osaka. 56 Appendix︓関連研究
57. DEIM2026 p補題２ ØHeteroCompの に対する時間計算量は • はイベント数 • はエポック数 • はL-BFGSのイテレーション数 © 2026 Soshi Kakio et al. @ The University of Osaka. 57 Appendix︓時間計算量
58. DEIM2026 p各データセットにおける 離散属性と連続属性 © 2026 Soshi Kakio et al. @ The University of Osaka. 58 Appendix︓データセット詳細
59. DEIM2026 pROC-AUC (ROC Area Under Curve) Ø縦軸に真陽性率（True Positive Rate）、横軸に偽陽性率 （False Positive Rate）を取ってプロットした曲線の下⾯積 Ø2クラス分類の識別能⼒を0.0〜1.0の範囲で評価する pPR-AUC (Precision-Recall Area Under Curve) Ø縦軸に適合率（Precision）、横軸に再現率（Recall）を取ってプ ロットした曲線の下⾯積 Ø2クラス分類の識別能⼒を0.0〜1.0の範囲で評価する © 2026 Soshi Kakio et al. @ The University of Osaka. 59 Appendix︓異常検知 評価指標