クラウド食堂 #5 ~運用にまつわるLT会~ ログ設計をしっかりしないと、運用が大変なことになります

クラウド食堂 #5での登壇資料です
https://cloud-shokudo.connpass.com/event/365949/

Transcript

1. 大嵩 洋喜 アイレット株式会社 ログ設計をしっかりしないと、 運用が大変なことになります クラウド食堂 #5 ~運用にまつわる LT会~
2. 01 アジェンダ 自己紹介 02 タイトル回収 03 じゃあどうすればいいの？ 04 まとめ
3. 大嵩 洋喜 2023年 4月 新卒入社 2023年 7月~ クラウドインテグレーション事業部配属 ~現在 多数の案件で、AWSインフラ構築&運用保守や監視構築を担当 アイレット株式会社 お　お　た　け ひ　ろ　き 経歴 クラウドインテグレーション事業部　インフラエンジニア Profile 2025 Japan All AWS Certifications Engineers 資格 音楽(メタル)、ドラム、ゲーム(FPS)、映画 先月のLOUDPARK 25が忘れられない 趣味 @rockyx0609
4. ANGEL Dojo 2025 頂上決戦に登壇しました！ 4
5. ブログ書いてます！ 5
6. タイトル回収
7. こうなります 7 お疲れ様です。 ログアラート大量発生により、 監視システムがダウン寸前です。。。
8. こうなります 8 お疲れ様です。 現在、全社的にNew Relicのコスト最適化を進めております。 調査しましたところ、ログデータが非常に多くなっておりました。
9. こうなります 9 お疲れ様です。 現在、全社的にNew Relicのコスト最適化を進めております。 調査しましたところ、ログデータが非常に多くなっておりました。 ログデータ量: 運用コストに直結する莫大な情報量 影響: 無視できない割合
10. 10 こうなります • １つのファイルに正常ログも、エラーログも入っている • Aの文字列が監視対象だけど AかつBの文字列は監視側で除外みたいなものが多 い ◦ ５パターン以上も。。。 ◦ 条件が多いため、ログ転送時に安易にフィルターがかけられない • Lambda関数の数が多い（数個ではない） • 非常に大規模なサービスのため、アクセスが多い • 結果、全部のログを転送しなくちゃいけない。。。
11. じゃあどうすればいいの？
12. じゃあどうすればいいの？ 12 • エラーログだけ、別ファイル（ログストリーム）に • Aの文字列だけど AかつBの文字列は除外みたいな条件をなくす ◦ もしくは条件を簡単にして、転送時にフィルターをかける • 保持期間をしっかりと定義する（ CloudWatch は料金が。。） • アクセス数が多くて見れないなら、そもそもログ監視をしない
13. まとめ
14. まとめ 14 • エラーログだけ分けて出力しましょう • 除外文字列の条件は少なく • 保持期間はしっかりと • ただの文字列ファイルじゃない
15. ご清聴ありがとうございました