Slide 32
Slide 32 text
@ShinHashitani | developer.confluent.io
Pattern 3: SIEM - インフラログ活用の最適化
KSQL
Filter
device_logs
KSQL
FIrewall
KSQL
DNS
KSQL
Auth
firewall
dns
auth
KSQL
De-noise
firewall_clean
login
Devices
SIEM
Admin
KSQL
User Map
access_auth
Audit Store
Long-Term Store
Auth
CREATE STREAM device_logs AS
SELECT
event_id,
event_type,
EXPRODE (event)
timestamp,
....
FROM all_logs
WHERE event_type = ‘firewall’
OR event_type = ‘dns’
OR event_type = ‘auth’
EMIT CHANGES;
CREATE STREAM auth AS
SELECT
event,
event_type,
timestamp,
....
FROM device_logs
WHERE event_type = ‘firewall’
EMIT CHANGES;
CREATE STREAM dns AS
SELECT
event,
event_type,
timestamp,
....
FROM device_logs
WHERE event_type = ‘firewall’
EMIT CHANGES;
CREATE STREAM firewall AS
SELECT
event_type,
port,
message,
timestamp,
....
FROM device_logs
WHERE event_type = ‘firewall’
EMIT CHANGES;
CREATE STREAM access_auth AS
SELECT
auth.auth_id,
auth.auth_type,
auth.timestamp,
login.authorized_by
login.timestamp,
....
FROM auth
OUTER_JOIN login
ON auth.login_id = login.login_id
EMIT CHANGES;
all_logs
stream
table
process
SIEMの保全コスト削減
● システム/保全サービスの多対多
の接続性をConfluentを経由する
多対一対多の構成に変更。
● フィルタリング、マッピング、カ
ラムドロップ、ラベリング等を
Confluentで実施。
● データ（ログ）の保全は安価なオ
ブジェクトストレージで実施。保
全サービスにおけるデータ削減。