S3 で考えるストレージ監視 / Consider storage monitoring with S3

Storage-JAWS #1
https://storage-jaws.connpass.com/event/293377/

Transcript

1. 12th Sep, Storage-JAWS #1 Kento Kimura S3 で考えるストレージ監視
2. • 職種：Sales Engineer • 担当：パブリッククラウドのアーキテクト知識を活かした 　Observability の導入技術支援 • 資格：AWS 全 12 資格、Google Cloud 全 11 資格、Azure 13 資格 • 表彰：2022-23 Japan AWS All Certifications Engineer 　　　2023 Japan AWS Jr.Champion 　　　Google Cloud Partner Top Engineer 2023 木村 健人 (Kento Kimura) Datadog Japan GK 𝕏 ：@AoToLog_ History データセンター運用保守 → パブリッククラウド技術支援 → プリセールス技術支援 Community Jagu’e’r デジクラ人材育成 / o11y-SRE 分科会 運営メンバー AWS Jr.Champions Meetup / JAWS 登壇に挑戦中 Partner Top Engineer 2023 自己紹介
3. Agenda ストレージと監視 1 2 S3 の特徴と監視 3 Amazon S3 Storage Lens 4 Datadog S3 Integration 5 まとめ
4. ストレージと監視
5. ストレージの種類 ブロックストレージ オブジェクトストレージ ファイルストレージ 同一サイズのブロックにデータを 分割し保存する基本的なストレー ジ 例：Amazon EBS データアクセス前に処理をする ファイルシステムレイヤーがある ストレージ 例：Amazon EFS 非構造化形式のオブジェクトデー タをメタデータと共に格納・管理 するストレージ 例：Amazon S3 参照：「ブロックストレージとは何ですか？」 https://aws.amazon.com/jp/what-is/block-storage/
6. ストレージの監視 Status (up, down, error) Capacity, Free space Latency, Throughput, IOPS 性能監視 Performance Monitoring 容量・コスト監視 Volume and Cost Monitoring ステータス監視 Status Monitoring Connection, Request
7. クラウド上のストレージの監視 Status (up, down,error) Capacity, Free space Latency, Throughput, IOPS 性能監視 Performance Monitoring 容量・コスト監視 Capacity and Cost Monitoring ステータス監視 Status Monitoring Connection Burst capacity Redundancy Request セキュリティ監視 Security Monitoring Encryption Permission
8. S3 の特徴と監視
9. S3 の特徴 容量無制限のオンライン オブジェクトストレージサービス ユースケース：データレイク、ウェブサイト、モバイルアプリケーション、バックアップおよび復元、　　　　　　　　アー カイブ、エンタープライズアプリケーション、IoT デバイス、ビッグデータ分析 　特に、耐久性・大容量・スケーラビリティ・複雑なメタデータ管理などがポイント！！ 　逆に、低レイテンシー・大量の IO 処理 ・構造化データ管理は不得意。 従来のストレージ監視とは監視をする視点が変わる！ 参照：「Amazon S3 の特徴」https://aws.amazon.com/jp/s3/features/
10. S3 の監視 Status (up, down,error) Capacity 容量・コスト監視 Capacity and Cost Monitoring ステータス監視 Status Monitoring Request, Storage type セキュリティ監視 Security Monitoring Encryption Permission
11. Amazon S3 Storage Lens
12. Amazon S3 Storage Lens Dashboard 29のメトリクスの可視化 標準・高度なメトリクスを元に、デ フォルトダッシュボードを提供 AWS Organizations 連携 Organizations 内アカウント全体の 使用状況・アクティビティ可視化 エクスポート機能 Quicksight, Athena, Redshift への CSV, Parquet 形式での日次エクス ポート
13. Datadog S3 Integration
14. Datadog S3 Integration Dashboard S3 異常検知 Datadog が提供する異常検知の アルゴリズムで不正な操作を検知 OOTB Dashboard 標準メトリクスとリクエストメトリクス をダッシュボードに反映 テンプレート変数 テンプレート変数による、アカウント・ リージョン・バケット毎の絞り込み
15. まとめ
16. まとめ • ストレージはその種類に応じた特性があり、クラウド上のストレージサービスにも それぞれの種類のストレージがある • ストレージの種類や用途に応じて、監視する・したい項目が変化する • 何から始めたら良いかわからない・何も監視をできていない場合は、 Amazon S3 Storage Lens や Datadog S3 Integration Dashboard を利用してみる！
17. Thank you