第157回 雲勉 AWSインフラ監視をNew Relicで行う際の個人的Tips

下記、勉強会での資料です。
https://youtu.be/1D-ivnQjZWA

Transcript

1. 第157回 雲勉 AWSインフラ監視をNew Relic で行う際の個人的Tips
2. 講師自己紹介 2 ◼ 名前 政木星那（まさき せいな） • (所属)クラウドインテグレーション事業部 SREセクション • (経歴、アイレット歴)3年目 • (業務)インフラ運用保守/構築、監視設計/設定 • ご質問は YouTubeのコメント欄で受け付けております。 後日回答させていただきます！
3. アジェンダ 3 1. 本雲勉の対象者 2. 個人的Tips 3. API PollingとCloudWatch Metric Streams 4. JSON形式のデータログ(AWS CloudTrail)監視とクエリパース 5. まとめ
4. 1．本雲勉の対象者 4 ◼ New RelicでAWSインフラ監視を行っている方
5. 2．個人的Tips 5 ◼ API PollingとCloudWatch Metric Streams ・仕様と監視項目 ◼ JSON形式のデータログ(AWS CloudTrail)監視とクエリパース ・イベント転送 ・パース設定
6. API Pollingと CloudWatch Metric Streams 6
7. 3．API PollingとCloudWatch Metric Streams 7 ◼ API Polling ・New Relicがメトリクスを取得する主体 ・AWSサービス単位で取得するメトリクスを設定 ・取得できるメトリクスはNew Relicによって事前に定義されている
8. 3．API PollingとCloudWatch Metric Streams 8 ◼ API PollingでサポートされているAWSサービス
9. 3．API PollingとCloudWatch Metric Streams 9 ◼ API PollingでサポートされているAWSサービス ・https://docs.newrelic.com/docs/infrastructure/amazon-integrations/aws-integrations-list/aws-albnlb-monitoring-integration/
10. 3．API PollingとCloudWatch Metric Streams 10 ◼ CloudWatch Metric Streams ・Amazon CloudWatchがメトリクスを送信する主体 ・送信したいメトリクスをAmazon CloudWatchで設定 ・AWS CloudTrailなどの一部サービスはサポートされていない
11. 3．API PollingとCloudWatch Metric Streams 11 ◼ API PollingとCloudWatch Metric Streamsの比較 API Polling CloudWatch Metric Streams New Relicがメトリクス取得の主体 Amazon CloudWatchがメトリクス送信の主体 AWSサービス単位で取得するメトリクスを New Relicで設定 送信したいメトリクスをAmazon CloudWatch で設定 取得できるメトリクスはNew Relicによって 事前に定義されている AWS CloudTrailなどの一部サービスはサポー トされていない
12. 3．API PollingとCloudWatch Metric Streams 12 ◼ API Pollingの導入手順 1. Infrastructure → INTEGRATION [AWS] → Add AWS account 2. What type(s) of data do you want to ingest? → Metrics
13. 3．API PollingとCloudWatch Metric Streams 13 ◼ API Pollingの導入手順 3. Choose a setup method → Automate AWS with CloudFormation (Recommended)
14. 3．API PollingとCloudWatch Metric Streams 14 ◼ API Pollingの導入手順 4. Choose a metrics integration type → API Polling 5. Name your API integration → 任意の名前
15. 3．API PollingとCloudWatch Metric Streams 15 ◼ API Pollingの導入手順 6. Which services you want to monitor → AWSサービスを選択
16. 3．API PollingとCloudWatch Metric Streams 16 ◼ API Pollingの導入手順 7. Launch your CloudFormation in AWS → AWSコンソールを開く 8. Enter your user key
17. 3．API PollingとCloudWatch Metric Streams 17 ◼ API Pollingの導入手順 9. AWS Console CloudFormation →スタックの作成
18. 3．API PollingとCloudWatch Metric Streams 18 ◼ API Pollingの導入手順 10. AWS Console CloudFormation →イベントの確認
19. 3．API PollingとCloudWatch Metric Streams 19 ◼ API Pollingの導入手順 11. Continue
20. 3．API PollingとCloudWatch Metric Streams 20 ◼ API Pollingの導入手順 https://docs.newrelic.com/docs/infrastructure/amazon-integrations/aws-integrations-list/aws-cloudtrail-monitoring-integration/
21. 3．API PollingとCloudWatch Metric Streams 21 ◼ 個人的Tips ・API Pollingで収集されるメトリクスはNew Relicに事前に定義されたもののみ ・例えば、Amazon RDS(Amazon Aurora Serverless)ではACUUtilizationが収集されず ・AWS CloudTrailはエラーイベントとログインイベント以外は収集されない
22. 3．API PollingとCloudWatch Metric Streams 22 ◼ API Pollingで取得しているメトリクスの確認(Amazon RDSの場合) ・Query Your Data → Data explorer → Events → DatastoreSample
23. 3．API PollingとCloudWatch Metric Streams 23 ◼ API Pollingで取得しているメトリクスの確認(Amazon RDSの場合) ・Metrics & Events → Events → Event type → DatastoreSample
24. 3．API PollingとCloudWatch Metric Streams 24 ◼ API Pollingで取得しているメトリクスの確認(Amazon RDSの場合) ・Metrics & Eventsがコンソールに表示されない場合
25. 3．API PollingとCloudWatch Metric Streams 25 ◼ CloudWatch Metric Streamsの導入手順 1. Infrastructure → INTEGRATION [AWS] → Add AWS account 2. What type(s) of data do you want to ingest? → Metrics
26. 3．API PollingとCloudWatch Metric Streams 26 ◼ CloudWatch Metric Streamsの導入手順 3. Choose a setup method → Manually integrate your AWS account
27. 3．API PollingとCloudWatch Metric Streams 27 ◼ CloudWatch Metric Streamsの導入手順 4. Choose a metrics integration type → Real-time AWS monitoring (Recommended)
28. 3．API PollingとCloudWatch Metric Streams 28 ◼ CloudWatch Metric Streamsの導入手順 5. Create a role in the AWS console → IAMロールの作成
29. 3．API PollingとCloudWatch Metric Streams 29 ◼ CloudWatch Metric Streamsの導入手順 5. Create a role in the AWS console → IAMロールの作成
30. 3．API PollingとCloudWatch Metric Streams 30 ◼ CloudWatch Metric Streamsの導入手順 5. Create a role in the AWS console → IAMロールの作成
31. 3．API PollingとCloudWatch Metric Streams 31 ◼ CloudWatch Metric Streamsの導入手順 6. Add account details → 作成したIAMロールのARNをNew Relicに登録
32. 3．API PollingとCloudWatch Metric Streams 32 ◼ CloudWatch Metric Streamsの導入手順 7. Add account details → AWS account nameに設定した値を Provider accountとして登録
33. 3．API PollingとCloudWatch Metric Streams 33 ◼ CloudWatch Metric Streamsの導入手順 8. Configure AWS Metric Streams → CloudWatch Metric Streams, AWS Kinesis Data Firehoseの作成
34. 3．API PollingとCloudWatch Metric Streams 34 ◼ CloudWatch Metric Streamsの導入手順 9. Configure AWS Metric Streams → CloudWatch Metric Streams, AWS Kinesis Data Firehoseの作成 → CloudFormationを利用
35. 3．API PollingとCloudWatch Metric Streams 35 ◼ CloudWatch Metric Streamsの導入手順 9. Configure AWS Metric Streams → CloudWatch Metric Streams, AWS Kinesis Data Firehoseの作成 → CloudFormationを利用
36. 3．API PollingとCloudWatch Metric Streams 36 ◼ CloudWatch Metric Streamsの導入手順 10. 作成されたCloudWatch Metric Streamsの確認
37. 3．API PollingとCloudWatch Metric Streams 37 ◼ CloudWatch Metric Streamsの導入手順 11. New Relicに送信する対象のメトリクスの設定 → デフォルトは全てのメトリクスが送信
38. 3．API PollingとCloudWatch Metric Streams 38 ◼ CloudWatch Metric Streamsの導入手順 12. New Relicに送信したAmazon RDS ACUUtilizationの確認
39. 3．API PollingとCloudWatch Metric Streams 39 ◼ 個人的Tips ・CloudWatch Metric Streamsでのメトリクス収集についてはサポートされない AWSサービスがある ・大半のAWSサービスはサポート対象とされているが、一部サービスはサポートされていない ・例えば、AWS CloudTrailはサポートされていない
40. 3．API PollingとCloudWatch Metric Streams 40 ◼ API PollingとCloudWatch Metric Streamsの比較 API Polling CloudWatch Metric Streams New Relicがメトリクス取得の主体 Amazon CloudWatchがメトリクス送信の主体 AWSサービス単位で取得するメトリクスを New Relicで設定 送信したいメトリクスをAmazon CloudWatch で設定 取得できるメトリクスはNew Relicによって 事前に定義されている AWS CloudTrailなどの一部サービスはサポー トされていない
41. JSON形式のデータログ (AWS CloudTrail)監視とクエリパース 41
42. 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース 42 https://docs.aws.amazon.com/systems-manager/latest/userguide/what-is-systems-manager.html ◼ AWS CloudTrailイベントログの監視方法 ・利用するAWSサービスについて ・New Relicに転送されたイベントログの確認 ・JSONパースについて ・NRQLクエリについて
43. 43 ◼ AWS CloudTrailイベントログの監視方法 ・利用するAWSサービスについて 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
44. 44 ◼ AWS CloudTrailイベントログの監視方法 ・New Relicに転送されたイベントログの確認 ・Logs → detail.eventName:"StartInstances" 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
45. 45 ◼ AWS CloudTrailイベントログの監視方法 ・JSONパースについて(aparse関数)、(Grokパターン、正規表現) ・インスタンスIDのみ値として取り出したい場合 ・値が[{“instanceId”:“i-054e2c9c03d7d1aab”}]でのフィルタリングとなってしまう 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
46. 46 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数を利用することで値をi-054e2c9c03d7d1aabで取り出すことが可能 ・aparse関数のNRQLはNew Relicの機能で自動作成が可能 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
47. 47 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数の作成 ・ログコンソール → 対象の詳細ログ →パースしたい値を選択 → Create query time parsing rule 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
48. 48 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数の作成 ・インスタンスIDの値を選択 → パースのキーを入力 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
49. 49 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数の作成 ・Queryを選択 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
50. 50 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数の作成 ・プレビューのクエリからaparse()の部分をNRQLに持っていく 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
51. 51 ◼ AWS CloudTrailイベントログの監視方法 ・アラート発報先のサービス連携に役立つ ・PagerDutyの場合、インシデントタイトルにインスタンスIDを記載することが可能 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
52. 52 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
53. 53 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
54. 54 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 → ログのJSONに追加することが可能 https://docs.newrelic.com/docs/logs/ui-data/query-time-parsing/ 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
55. 55 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 → ログのJSONに追加することが可能 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
56. 56 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 → ログのJSONに追加することが可能 → パースのルールを変更/削除することが可能 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
57. 57 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 → ログのJSONに追加することが可能 → パースのルールを変更/削除することが可能 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
58. 58 ◼ もう一つのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・Log → Parsing → Create parsing rule 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
59. 59 ◼ そのほかのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・Log → Parsing → Create parsing rule https://docs.newrelic.com/docs/logs/ui-data/parsing/#built-in-rules 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
60. 60 ◼ そのほかのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・Log → Parsing → Create parsing rule 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
61. 61 ◼ そのほかのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・Grokパターンの場合 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
62. 62 ◼ そのほかのパース機能 ・Grokパターンの場合 ・SYSLOGTIMESTAMP %{MONTH} +%{MONTHDAY} %{TIME} ・GREEDYDATA .* ・MONTH \b(?:Jan(?:uary)?|Feb(?:ruary)?|Mar(?:ch)?|Apr(?:il)?|May|Jun(?:e)?| Jul(?:y)?|Aug(?: ust)?|Sep(?:tember)?|Oct(?:ober)?| Nov(?:ember)?|Dec(?:ember)?)\b ・ MONTHDAY (?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9]) 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
63. 63 ◼ そのほかのパース機能 ・Grokパターンの場合(Logtype = apache) https://docs.newrelic.com/docs/logs/ui-data/built-log-parsing-rules/#apache 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
64. 64 ◼ そのほかのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・正規表現パターンの場合 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
65. 65 ◼ そのほかのパース機能 ・パースルールの作成後のログ情報 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
66. 66 ◼ そのほかのパース機能 ・作成したパースルール 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
67. 67 ◼ 個人的Tips ・New Relicにはログを簡単にパースできる機能が用意されている ・Query time parsingではパースの知識がなくとも簡単にパースクエリを用いた監視を 実装することができる ・Ingest ParsingではGrokパターンや正規表現を用いてパースすることができる 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
68. 68 ◼ それぞれのパース機能の比較 aparse関数 (Query time parsing) Grokパターン、正規表現 (Ingest Parsing) クエリ実行時に適用 ログ取り込み時に適用 永続的ではない属性に対するクエリを実行す るのに最適 将来的にクエリできる永続的な属性を作成す るのに最適 UI上で直感的に設定を適用することが可能 柔軟にログの抽象化が可能 https://docs.newrelic.com/docs/logs/ui-data/query-time-parsing/ 4．JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
69. 5． まとめ 69 ◼ API Polling ・API Pollingで収集されるメトリクスはNew Relicに事前に定義されたもののみ ・例えば、Amazon RDSではACUUtilizationが収集されない ・AWS CloudTrailではエラーイベントとログインイベント以外は収集されない ◼ CloudWatch Metric Streams ・CloudWatch Metric Streamsでのメトリクス収集についてはサポートされないAWSサービスがある ・大半のAWSサービスはサポート対象とされているが、一部サービスはサポートされていない ・利用料面において、収集対象のサービス/メトリクスを絞ることが大事 ・例えば、AWS CloudTrailはサポートされていない ◼ クエリパース ・New Relicにはログを簡単にパースできる機能が用意されている ・Query time parsingはパースの知識不要で簡単にパースクエリを用いた監視を実装することができる ・Ingest ParsingではGrokパターンや正規表現を用いてパースすることができる