もう少しだけ､ログと向き合ってみる 〜slogを使って構造化ログを出す〜

Funabashi.dev supported by KIKKAKE CREATION(https://funabashidev.connpass.com/event/324776/)
登壇資料

Transcript

1. もう少しだけ､ ログと向き合ってみる Funabashi.dev supported by KIKKAKE CREATION 岩下 拳勝(@iwashi623)
2. 自己紹介 name: 岩下 拳勝 work: Backend Engineer(Go, PHP, AWS, Google Cloud) hobby: プロ野球観戦(ガチ目の阪神ファン) SNS: @iwashi623
3. 目次 1. 自己紹介 2. 事例紹介 3. 問題点 4. 解決策 5. slogの実装 6. 結果 7. まとめ
4. 皆さん､ログ出してますか ?
5. 俺達はログが「 failure!」って泣いているとと悲しくなるし､ 「Success!」なんてログを見たら一緒に嬉しくなっちまう､ そういう生き物なんだ
6. ちょうどログの良さを知ってもらった後だし､ 具体的なログとの戯れ方の Howtoをご紹介していく !
7. 目次 1. 自己紹介 2. 事例紹介 3. 問題点 4. 解決策 5. slogの実装 6. 結果 7. まとめ
8. 事例紹介 環境: Golang:1.23 FW: echo
9. 事例紹介 いつものようにエラーが飛んできた
10. 事例紹介 よーし､Google CloudのLog Explorerを見に行くぞ〜
11. 事例紹介 なるほど､このCloud Runのエラーか! echo内部で500エラーを返すと ､LogExplorerが勝手にSeverityをエラー としてくれるから検知が簡単だなぁー
12. 事例紹介 エラーになっているアクセスログの近く にログが落ちてた｡ えっへん､エラーになったときは user_idをログを吐くようにしてあるん だ!😤 お問い合わせが来るかもしれない ユーザー情報があらかじめ掴めれる からすごく楽ちん〜
13. 事例紹介 よしよし､ エディタの全文検索で簡単にエラー箇所もすぐ 特定できたし､修正も簡単だぞ!
14. 事例紹介 数年後､ アプリケーションは成長して､ユーザーも増えてきた
15. 事例紹介 うーん､最近いろんなものをログに出しすぎ てて､このエラーに対応するログがどれな のか全然わからないな｡｡｡
16. 事例紹介 原因究明に時間がかかるから､エラー つぶしも後回しになりがちだし､どんど ん原因不明エラーが溜まっていってる ｡｡｡
17. 事例紹介 エラーメッセージで場所を特定しようにも､同じよう なエラーメッセージを使用している箇所が50箇所 以上か｡｡｡
18. 事例紹介 知らないログめっちゃ怖いの悪循環
19. 事例紹介 おわた
20. 目次 1. 自己紹介 2. 事例紹介 3. 問題点 4. 解決策 5. slogの実装 6. 結果 7. まとめ
21. 問題点 この現状の問題点は､ - ログが追跡可能になっていないこと - ログがすべてプレーンテキストで出力されていること - アクセスログ以外の Severityが設定されていない です｡
22. 問題点 この現状の問題点は､ - ログが追跡可能になっていないこと - ログがすべてプレーンテキストで出力されていること - アクセスログ以外の Severityが設定されていない です｡ 昨日の僕の「助けてくれ〜」の Discordは､ SeverityがInfoだったんだな
23. 問題点 追跡できないログはただのポエム fmt.Println()を許すな!
24. 追えてなんぼのログに候
25. 目次 1. 自己紹介 2. 事例紹介 3. 問題点 4. 解決策 5. slogの実装 6. 結果 7. まとめ
26. 解決策 構造化ログを吐いて､ログをカスタムしましょう
27. 解決策 Goでは､1.21からslogという便利ロガーが標準パッケージとなりました
28. 解決策 Goでは､1.21からslogという便利ロガーが標準パッケージとなりました そこで､slogをつかって素朴なecho用のロガーを実装してみます
29. 目次 1. 自己紹介 2. 事例紹介 3. 問題点 4. 解決策 5. slogの実装 6. 結果 7. まとめ
30. slogの実装 slogのセットアップと､echoのミドルウェアレベルでログとして出したいものをセットしている場所｡ たとえば､リクエストのURLパスやHTTPメソッドなどをdefaultLogFuncの中で設定してる｡
31. slogの実装 個別のハンドラーの中では､そのハンドラー特有のログのフィールドにしたい情報をセッ ト｡ ここでは､リクエストパラメーターのuser_idをログのフィールドとして設定｡
32. ログのレベルごとに別関数を実装する｡ レベルがきちんと分かれていると､Log Expolorerな どで検索や監視アラートを作成する際にすごく簡単 になるのでぜひやりたい｡ slogの実装
33. TraceIDの取得｡ CloudRunは､受け取ったすべてのリクエスト に「X-Cloud-Trace-Context」という独自ヘッ ダーがくっついているためそこから取り出した IDをctxに詰める｡ オリジナルのTraceIDヘッダーを使いたい方 はそちらをどうぞ｡ slogの実装
34. このHandle関数といくつくかの関数シグネ チャさえ満たせば､自由にカスタムできるのが slogのいいところですね｡ ログを吐いたときのファイル名や ※ StactTraceがほしいなら､エラーを外部 パッケージのcockroachdb/errorsなどを 使ってもいいかも slogの実装
35. 目次 1. 自己紹介 2. 事例紹介 3. 問題点 4. 解決策 5. slogの実装 6. 結果 7. まとめ
36. エラーログが､Severity=ERRORで出るようにでき た! fmt.Println()からの脱出🎉 結果
37. すべてのログがTraceIDで紐づいているので､ど のログがどのリクエストのものか､すぐに絞り込め る! 結果
38. すべてのログがTraceIDで紐づいているので､ど のログがどのリクエストのものか､すぐに絞り込め る! アクセスログ → 通常ログ → エラーログまでが一 気通貫で見れる🎉 結果
39. HTTPメソッドやuser_idなどをログに入れておく と､ 「概要欄にフィールドを追加」を押せば｡｡｡ 結果
40. 結果 HTTPメソッドやuser_idなどをログに入れておく と､ 「概要欄にフィールドを追加」を押せば｡｡｡ 一覧で見たときに､どんなリクエストが流れてき ているのかすぐわかる｡
41. 結果 user_idで絞り込むと､そのユーザーがこれまでに どんな操作をしたのかも一目瞭然!
42. 目次 1. 自己紹介 2. 事例紹介 3. 問題点 4. 解決策 5. slogの実装 6. 結果 7. まとめ
43. まとめ 「ただ出てるログ」に､もう少し向き合ってみて工夫すると､今までになかったことまで見 えるようになります｡ fmt.Printlnやvar_dumpもいいけど､構造化ログもいいですよ!
44. まとめ 「ただ出てるログ」に､もう少し向き合ってみて工夫すると､今までになかったことまで見 えるようになります｡ fmt.Printlnやvar_dumpもいいけど､構造化ログもいいですよ! 追えてなんぼのログに候