2022/03/10 ～インフラエンジニア向け～ 雲勉@オンライン【勉強会】 Datadogでやってみるログ監視～すぐに使える小ネタ集～

2 本日のハッシュタグ #kumoben 写真撮影 OK!

アイレットご紹介 – 会社概要 3 ◼ 社名 アイレット株式会社 ◼ 所在地 〒105-6307 東京都港区⻁ノ⾨1-23-1 ⻁ノ⾨ヒルズ森タワー7F 設⽴ 2003年10⽴ 15⽴ ◼ 資本⾦ 7,000万円 ◼ 代表者名 岩永充正 ◼ 従業員数 753名（2021年10⽴ 末時点） ◼ 事業内容 ITコンサルティング、システム開発、 システム保守・運⽤、 サーバハウジング・ホスティング ◼ 主要株主 KDDI株式会社

アイレットご紹介 – AWS APNパートナー 4 cloudpackは、Amazon Elastic Compute Cloud （Amazon EC2）やAmazon Simple Storage Service （Amazon S3）をはじめとするAWS の各種プロダクトを利⽤する際の導⼊・設計から運⽤保守を含んだフルマネージドのサービスを提供し、バックアップや24時間365⽇の監 視/障害対応、技術的な問い合わせに対するサポートなどを⾏っております。 2013年6⽉4⽇には、AWSパートナーネットワーク（APN）において、⽇本初のAPNプレミアティアコンサルティングパートナーの⼀社と して認定されたのをはじめ、その後9年連続で認定されています。 『APNプレミアティアコンサルティングパートナー』はAPNプログラムの中で最上位のパートナーであり、厳しいクライテリアを満たした パートナーのみが選出され、世界で128社のみが認定されています。9年連続で認定された⽇本企業としては、cloudpack（アイレット）と 株式会社野村総合研究所の2社のみとなります。

アイレットご紹介 – APN Consulting Partner of the Year 2019 – Japan 5 AWSのパートナーネットワークに登録している企業が参加した「AWS Partner Summit Tokyo」の中で、数あるアワードの中で最も実績を あげたパートナーであることを⽰す『APN Consulting Partner of the Year 2019 – Japan』を受賞しました。cloudpackは、同賞を5度⽬の 受賞となります。 『APN Consulting Partner of the Year 2019 – Japan』は、AWSが年間を通じて営業・技術・マーケティング分野においてパートナーとし ての総合⼒を判断し、AWSのビジネスに最も貢献したパートナーに贈られるものです。cloudpackは、2013年から継続的にプレミアコンサ ルティングパートナーとして認定されているほか、業界に影響を与える多数のお客様事例のリリースや、数千台規模のマイグレーション案 件、基幹システムの移⾏を⼿掛けるなど、さらなるAWSビジネスの拡⼤に貢献しました。 また、サーバーレスやマシンラーニングなどの新サービスも積極的に採⽤して成功させる⼀⽅で、エンタープライズ案件も推進してきた結 果、著しい売り上げ伸び率を達成 したことが評価されました。

アイレットご紹介 - 弊社の代表するサービス 6 クラウドを活用し お客様のご要望に幅広くお応えする 総合支援サービスです。

０．講師自己紹介 7 ◼ 遠地 雅啓（えんち まさひろ） • クラウドインテグレーション事業部 ⼤阪構築第二セクション • ずっとインフラエンジニア • 2019年1⽉⼊社 • 最近はOCIやったりDatadogの導⼊支援やったり

アジェンダ 8 0. 自己紹介 1. Datadogとは (19:05~19:10) 2. ログ監視とは (19:10~19:15) 3. ログ監視の始め⽅(19:15~19:25) 4. ログ監視運⽤のちょっとした困りごとを解決してみる (19:25~19:50) 5. 質疑応答 (19:50~20:00)

1. Datadogとは 9

1．Datadogとは 10 ◼ クラウド時代のサーバー監視&分析サービス ◼ インフラ監視だけじゃなくてログ監視、APMと か色々できる ◼ セキュリティ関連の機能も増えてきている

2. ログ監視とは 11

2．ログ監視とは 12 ◼ 特定のキーワードを含むメッセージがログファイルに出⼒されたことを検知し通知する ◼ ログの収集元 • サーバ • コンテナ • ネットワーク機器 • クラウドサービス • etc ◼ 今回の対象範囲 Datadogエージェントをインストールしたサーバ上に出⼒されたテキストログファイルをDatadogで監 視する

3. ログ監視の始め方 13

3．ログ監視の始め方 14 ◼ 最低限の設定 1. datadog.yamlでlogs_enabled:falseをlogs_enabled:trueに変更する。 2. conf.d/logs.d/conf.yamlを作成して以下の設定を記載する。 logs: - type: file path: "/var/log/messages" service: "os" source: "syslog"

3．ログ監視の始め方 15 ◼ 最低限の設定 3. 監視モニターを作成する。

3．ログ監視の始め方 16 ◼ 追加設定（パイプライン） 収集したログメッセージに対して属性を付与することで、監視や分析で様々な条件を設定できるように なる。

4.ログ監視運用のちょっとした困りごとを解決してみる 17

4．ログ監視運用のちょっとした困りごとを解決してみる 18 ◼ Datadogに転送するログの量を減らしたい →エージェントの設定でinclude_at_match / exclude_at_matchを使う （例）エラーっぽいメッセージのみ転送する。ただしDatadogのメッセージは除外する logs: - type: file path: "/var/log/messages" service: "os" source: "syslog" log_processing_rules: - type: include_at_match name: include_alart pattern: error|warn|ERROR|WARN|Error|Warn - type: exclude_at_match name: exclude_datadog pattern: datadog

4．ログ監視運用のちょっとした困りごとを解決してみる 19 ◼ 通知内容にログメッセージを⼊れたい →監視モニターの「include a table of the top 10 breaching values」にチェックを⼊れる

4．ログ監視運用のちょっとした困りごとを解決してみる 20 ◼ 通知内容にログメッセージを⼊れたい →監視モニターの「include a table of the top 10 breaching values」にチェックを⼊れる

4．ログ監視運用のちょっとした困りごとを解決してみる 21 ◼ 通知内容にログメッセージを⼊れたい →でもgroup by host⼊れると。。。。

4．ログ監視運用のちょっとした困りごとを解決してみる 22 ◼ 通知内容にログメッセージを⼊れたい →group by host, @messageにすると⼤丈夫 1. パイプラインでメッセージ部分にmessageという属性を設定する 2. messageをFacetに設定する 3. モニターの設定を変更する。

4．ログ監視運用のちょっとした困りごとを解決してみる 23 ◼ 通知内容にログメッセージを⼊れたい →group by host, @messageにすると⼤丈夫

4．ログ監視運用のちょっとした困りごとを解決してみる 24 ◼ 通知内容にログメッセージを⼊れたい →でもメールでBacklogに連携すると。。。。

4．ログ監視運用のちょっとした困りごとを解決してみる 25 ◼ 通知内容にログメッセージを⼊れたい →{{log.message}}を使う

4．ログ監視運用のちょっとした困りごとを解決してみる 26 ◼ 通知内容にログメッセージを⼊れたい →{{log.message}}を使う

4．ログ監視運用のちょっとした困りごとを解決してみる 27 ◼ 不要なメッセージを監視除外したい →「exclude_at_match」で出来る →同じ設定を全台に⼊れないといけない →サーバにログインして作業しないといけない →めんどくさい

4．ログ監視運用のちょっとした困りごとを解決してみる 28 ◼ 不要なメッセージを監視除外したい →パイプライン使ってやってみる 【前提】 • 「include_at_match」でERRORが含まれるメッセージだけが転送されている状態 • パイプラインでmessage属性が設定されている状態 【仕様】 suppression属性にNONEが設定されている場合は通知する。 suppression属性にNONE以外の文字列が設定されている場合は通知しない。

4．ログ監視運用のちょっとした困りごとを解決してみる 29 ◼ 不要なメッセージを監視除外したい →パイプライン使ってやってみる

4．ログ監視運用のちょっとした困りごとを解決してみる 30 ◼ 不要なメッセージを監視除外したい →パイプライン使ってやってみる

4．ログ監視運用のちょっとした困りごとを解決してみる 31 ◼ 不要なメッセージを監視除外したい →パイプライン使ってやってみる

4．ログ監視運用のちょっとした困りごとを解決してみる 32 ◼ 不要なメッセージを監視除外したい →パイプライン使ってやってみる

4．ログ監視運用のちょっとした困りごとを解決してみる 33 ◼ 特定のメッセージを特定の時間帯だけ抑止したい →監視除外の応⽤で 対象メッセージ：[ERROR]Suppression between 7pm to 8pm. 抑止時間帯：19:00:00〜19:59:59

4．ログ監視運用のちょっとした困りごとを解決してみる 34 ◼ 特定のメッセージを特定の時間帯だけ抑止したい →監視除外の応⽤で

5. 質疑応答 35

中途向け会社説明会 36 「アイレットってどんな会社？」「cloudpackって具体的にどんな事業なの？」 「オフィス環境は？」「これまでの経験を活かせそう？」など、 少しでも興味がある方は、ぜひお気軽にご参加ください。

37