ログ管理の新たな可能性？CloudWatchの新機能をご紹介

Transcript

1. AWS事業本部 運⽤イノベーション部 ⼤野 育海 ログ管理の新たな可能性？ CloudWatchの新機能をご紹介
2. • 名前：⼤野 育海 • ロール：プラットフォームエンジニア • 趣味：カメラ、野⿃撮影、バイク ⾃⼰紹介
3. CloudWatchのアップデートまとめ 仮称：統合データストア（Unified Data Store）
4. CloudWatchのアップデートまとめ 機能カテゴリ アップデート概要 内容 データ収集 サードパーティ連携 （アプリログの収集） 11社のマネージドコネクタ（ API連携 or S3経由で自動収集） （CrowdStrike Falcon / Okta SSO / Microsoft Entra ID etc…） データ処理 CloudWatch Pipelines 追加 OCSF変換・grokパーサー・データマスキング・フィールド操作 自動インデックス ログ種別の自動検出とインデックス作成 データ分析 ファセット分析 クエリ不要の対話的フィルタリング S3テーブル統合 Apache Iceberg形式でAthena/Redshift/QuickSight連携可能 組み込みダッシュボード ロググループ別の取り込み量・コストを可視化 仮称：統合データストア（Unified Data Store）
5. CloudWatchのアップデートまとめ 機能カテゴリ アップデート概要 内容 データ収集 サードパーティ連携 （アプリログの収集） 11社のマネージドコネクタ（ API連携 or S3経由で自動収集） データ処理 CloudWatch Pipelines 追加 OCSF変換・grokパーサー・データマスキング・フィールド操作 自動インデックス ログ種別の自動検出とインデックス作成 データ分析 ファセット分析 クエリ不要の対話的フィルタリング S3テーブル統合 Apache Iceberg形式でAthena/Redshift/QuickSight連携可能 組み込みダッシュボード ロググループ別の取り込み量・コストを可視化 仮称：統合データストア（Unified Data Store） アップデートのコンセプト：ログ管理の省⼒化 ‧様々なソースからのデータを単⼀の場所で統合管理 ‧複数のデータストアやETLパイプラインを不要に
6. 今まで... • AWSログ‧サードパーティログ‧ カスタムログが分散 • ログフォーマットがバラバラで統 合分析が困難 • 外部SIEMへのETLパイプラインの 構築‧運⽤が必要 • 複数ツールへのログイン‧画⾯切 り替えが必要 運⽤担当⽬線での注⽬ポイント① PipeLines導⼊ • 単⼀のパイプラインで⼀元収集 • OCSFへの⾃動変換で標準化 • マネージドサービスで構築不要 • CloudWatch内で統合分析 CloudWatch Pipelines ログ‧メトリクス‧トレースを収集‧処理‧ルーティングするテレメトリパイプライン
7. サードパーティーコネクタ • CloudWatch Pipelinesのデータソースの1つ • セキュリティツールやID管理ツールからログを⾃動収集するためのマネージドな接続 機能を提供 • CrowdStrike Falcon / Okta SSO / Microsoft Entra ID / GitHub / SentinelOne/ ServiceNow CMDB 等、現在11社製品のアプリログに対応（API / S3経由） • 収集されたデータに対して「OCSF変換」「フィールドマッピング」「スキーマ適合」 などの処理を⾃動適⽤可能 運⽤担当⽬線での注⽬ポイント② → 別画⾯のログインやLambda等の作り込みなしに ログの収集 / ⼀元管理可能 → 今後のアップデートで対応製品の増加が期待できる
8. ファセット クエリを記述せずにログをインタラクティブにフィルタリング‧集計‧分析できる機能 運⽤担当⽬線での注⽬ポイント③ 今まで ファセットの活用後 Logs Insightsのクエリ構文を覚える必要がある チェックボックス操作だけでフィルタリング 全ログをスキャンするため課金が高い インデックス活用でスキャン量削減 どんな値があるか分からず試行錯誤が必要 利用可能な値と件数が自動表示 複雑な条件の組み合わせが難しい 複数ファセットを組み合わせて直感的に絞り込 み
9. ログ監視運⽤の今までとこれから
10. 現在の運⽤課題 ログ検索 サードパーティログの分散 統合分析の困難さ インシデント対応の⾮効率 ：Logs Insightsでクエリ作成が必要 ：各社コンソールへ個別ログインが必要 ：AWS + サードパーティの分析には外部SIEMが必要（⾼コスト） ：複数画⾯を⾏き来して原因調査 現在の運⽤における課題
11. アップデート導⼊後の改善案 ログ検索 サードパーティログの分散 統合分析の困難さ インシデント対応の⾮効率 ：ファセットでチェックボックス選択のみ ：CloudWatch内で⼀元確認 ：CloudWatch内で対応可能 ：単⼀画⾯で完結 改善効果
12. まとめ
13. • AWS環境におけるログ管理運⽤の強化 ◦ Unified Data Store の各種機能を利⽤することで、これまで以上にログの収集や分析 が容易となる ◦ インフラT / セキュリティT が同⼀のプラットフォーム上で同⼀のデータを参照可能と なるため、有事の情報錯誤も防⽌できる • 運⽤コスト削減 ◦ これまでは外部SIEMツールを使⽤したログ管理 / セキュリティ対応が⼀般的だった が、Unified Data Store の利⽤によって⼤部分を代替可能 ◦ 外部ツールの機能が過剰な場合は移⾏によってコスト削減効果も期待できる ◦ またファセットによるインデックス作成により、Insightsのクエリコストも削減を⾒込 める • ログ管理の⼯数削減 ◦ 3rdパーティーアプリのログ収集や、ログ検索 / 分析の省⼒化により、ログ管理運⽤全 体の⼯数を削減可能 まとめ