Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Amazon Lookout for Metrics触ってみた

Amazon Lookout for Metrics触ってみた

2021/05/22
「AWSの基礎を学ぼう 特別編 最新サービスをみんなで触ってみる はじめての異常検知」

でお話した資料です。

fumiakiueno

May 22, 2021
Tweet

More Decks by fumiakiueno

Other Decks in Technology

Transcript

  1. 1 自己紹介 名前: 上野 史瑛(うえの ふみあき) 所属: NRIネットコム株式会社 経歴: ・各種Webシステムのインフラ構築・運用

    - サーバ、ネットワーク管理や構築がメイン - オンプレとAWSの両方を経験 ・AWS最適化プロジェクトに参画 ・AWS技術検証や構成レビュー ・CCoE支援 ・2020/2021 APN Ambassadors ・2020/2021 APN AWS Top Engineers ・2020/2021 APN ALL AWS Certifications Engineer @fu3ak1
  2. 13 今回作成する構成 AWS Cloud Amazon AppFlow Amazon Lookout for Metrics

    ※構成は作ってから書いてます ※はてなブログのGoogle Analytics設定方法は割愛 Google Analytics
  3. 18 App Flowの前に・・Googlle Analytics側のAPI設定が必要 公式ドキュメントを参考に設定してく • API有効 • OAuth設定 •

    Client ID(キー)作成 https://docs.aws.amazon.com/appflow/latest/userguide/google-analytics.html
  4. 25 App Flow完成 AWS Cloud Amazon AppFlow Amazon Lookout for

    Metrics ここができた Google Analytics
  5. 33 アーキテクチャ変更 AWS Cloud Amazon AppFlow Amazon Lookout for Metrics

    Amazon S3 AWS Lambda Amazon S3 追加 S3にオブジェクトが格納されたら、 Lookout for Metrics用にデータを変換して格納 Google Analytics
  6. 43 Backtest(過去分)ができたので、AppFlow経由のリアルタイムも試す AWS Cloud Amazon AppFlow Amazon Lookout for Metrics

    Amazon S3 AWS Lambda Amazon S3 S3にオブジェクトが格納されたら、 Lookout for Metrics用にデータを変換して格納 ※Lambdaの詳細は割愛 Google Analytics
  7. 45 途中経過 AWS Cloud Amazon AppFlow Amazon Lookout for Metrics

    Amazon S3 AWS Lambda Amazon S3 ここが完成 Google Analytics
  8. 46 途中経過 AWS Cloud Amazon AppFlow Amazon Lookout for Metrics

    Amazon S3 AWS Lambda Amazon S3 ここは詳細割愛 Pythonで実装 Google Analytics
  9. 49 途中経過 AWS Cloud Amazon AppFlow Amazon Lookout for Metrics

    Amazon S3 AWS Lambda Amazon S3 ここまで設定完了 Google Analytics
  10. 51 処理の流れおさらい AWS Cloud Amazon AppFlow Amazon Lookout for Metrics

    Amazon S3 AWS Lambda Amazon S3 日次(0:15)でS3に取り込むように 取り込まれたらオブジェクトトリガーで Lambdaを起動しMetrics用に変換 日次(1:00)で データ取り込み Google Analytics
  11. 53 当初予定していた構成は、AWS CLIで解決した AWS Cloud Amazon AppFlow Amazon Lookout for

    Metrics サポートより回答があり、AppFlowの登録をマネジメントコンソールではなく AWS CLIにすることで解決した aws appflow create-flowで登録 Google Analytics
  12. 58 構築した構成 AWS Cloud Amazon Lookout for Metrics Amazon S3

    ダウンロード アップロード csv csv AWS Cloud Amazon AppFlow Amazon S3 AWS Lambda Amazon S3 AWS Cloud Amazon AppFlow Amazon Lookout for Metrics ① ② ③ Google Analytics Google Analytics Google Analytics
  13. 59 Amazon Lookout for Metrics 感想 • CloudWatch anomaly detectionの他サービス対応版の印象を持った

    • 対応しているサードパーティのサービスが多いのがありがたい • 外部サービス(今回はGoogle Analytics)のAPI設定はそれぞれコツが必要 • とりあえずS3に格納すればどんなデータも異常検出できる • 異常値検知が無いとグラフは見れない? • 自分で異常値が決めれないものに活用したい