いい感じにCLWをtailしてみる

ブログページ↓
https://zenn.dev/yuta28/articles/cloudwatch-fast-tail

Transcript

1. いい感じにCLWをtailしてみる
2. Name：ユータ Occupation：SRE Twitter：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28　　 → 普段触るもの：AWS Ansible Linux Mint 自己紹介 Twitter
3. 目次 • 現在のCloudWatch Logsの課題 • cwの紹介 • つかってみた • 問題点 • まとめ
4. CloudWatch Logsの課題 $ aws logs tail --follow access_log 2021-07-22T07:45:55.422000+00:00 wordpress1 ~~~ 2021-07-22T07:49:31.689000+00:00 wordpress2 ~~~ 2021-07-22T07:54:52.911000+00:00 wordpress1 ~~~ 2021-07-22T07:55:05.949000+00:00 wordpress2 ~~~ 2021-07-22T07:55:15.949000+00:00 wordpress2 ~~~
5. CloudWatch Logsの課題 ログストリーム毎にtail -fができない!!
6. CloudWatch Logsの課題 $ aws logs tail --follow access_log 2021-07-22T07:45:55.422000+00:00 wordpress1 ~~~ 2021-07-22T07:49:31.689000+00:00 wordpress2 ~~~ 2021-07-22T07:54:52.911000+00:00 wordpress1 ~~~ 2021-07-22T07:55:05.949000+00:00 wordpress2 ~~~ 2021-07-22T07:55:15.949000+00:00 wordpress2 ~~~ 特定のWordPressのログだけ見たいのに他の WordPressのログも出てくる！
7. cwの紹介 Goで作られたターミナル上でのtail出力を良くしてくれるツール • pipやnpmなどのパッケージ不要 • 高速 • 複数のロググループをまとめてtail可能 • ログストリーム別にフィルタリング可能 https://github.com/lucagrulla/cw
8. つかってみた $ brew tap lucagrulla/tap $ brew install cw $ cw ls groups /ecs/first-run-task-definition RDSOSMetrics access_log インストールはbrewで簡単♪ lsサブコマンドでグループリスト表示
9. つかってみた $ cw tail access_log:wordpress1 --follow --stream-name wordpress1 - XX.XX.XX.XX - - [22/Jul/2021:09:24:53 +0000] wordpress1 - XX.XX.XX.XX - - [22/Jul/2021:09:24:53 +0000] wordpress1 - XX.XX.XX.XX - - [22/Jul/2021:09:24:54 +0000] wordpress1 - XX.XX.XX.XX - - [22/Jul/2021:09:24:54 +0000] $ cw tail access_log --follow --stream-name wordpress2 - XX.XX.XX.XX - - [22/Jul/2021:09:19:33 +0000] wordpress2 - XX.XX.XX.XX - - [22/Jul/2021:09:20:29 +0000] wordpress1 - XX.XX.XX.XX - - [22/Jul/2021:09:20:48 +0000]
10. 問題点 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ wordpress1 - XX.XX.XX.XX - - [22/Jul/2021:09:29:45 +0000] wordpress1 - XX.XX.XX.XX - - [22/Jul/2021:09:29:47 +0000] operation error CloudWatch Logs: FilterLogEvents, exceeded maximum number of attempts, 3, https response error StatusCode: 400, RequestID: 69b981bb-0bcf-4263-951e-73aabf9ab379, api error ThrottlingException: Rate exceeded 🤔🤔🤔🤔🤔
11. まとめ • ストリーム別の出力は便利
 • 複数グループもtailできる
 • エラーは修正されることを祈る
 ◦ 自信あったらPR

12. ありがとうございました 詳細は私のブログで ↓ CloudWatch Logsをいい感じにtail してくれるcwを使ってみた