オブザーバビリティ・エンジニアリング本を輪読して取り組んだo11yのはじめの一歩

20240411_TechBrew in 東京〜オブザーバビリティのベストプラクティス〜でのLT登壇の資料

Transcript

1. ©2024 Metaps Holdings, Inc. オブザーバビリティ‧エンジニアリング本 を輪読して取り組んだo11yのはじめの⼀歩 株式会社メタップスホールディングス SREエンジニア 是永 総⼀郎
2. ©2024 Metaps Holdings, Inc. ⾃⼰紹介 是永 総⼀郎 株式会社メタップスホールディングス SREエンジニア 趣味：折り紙 X : ＠s_korenaga Soichiro Korenaga
3. ©2024 Metaps Holdings, Inc. 折り紙
4. ©2024 Metaps Holdings, Inc. 社名
 株式会社メタップスホールディングス 
 (Metaps Holdings, Inc.) 
 設立
 2023年1月26日　 
 資本金
 100百万円（資本準備金を含む）
 ※2023年12月末時点
 所在地
 東京都渋谷区渋谷二丁目24番12号 
 渋谷スクランブルスクエア 
 従業員数
 72名 ※2023年12月末時点
 経営陣
 代表取締役　山﨑 祐一郎 取締役　　　原 大輔 
 取締役　　　青沼 克典 
 社外取締役　大谷 仁人 
 監査役　　　萩野矢 宏樹 事業内容
 クラウドとAIを中心にしたインキュベーション 
 テクノロジー企業への投資 
 
 MISSION テクノロジーでお金と経済のあり方を変える 
 
 世界を解き放つ 
 
 
 VISION 会社概要
5. ©2024 Metaps Holdings, Inc. 5 srestはAWSファンデーショナルテクニカルレビュー （FTR）認証を取得しています 無料トライアル実施中 ＞
6. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. 6 インフラ基盤 アプリケーションが 動いてる環境 アプリケーションのエラーを トラッキングするツール オンコール担当 (SRE) に障害を エスカレーションするサービス インフラ基盤の監視 エラートラッキング オンコール通知 srestは各種インフラサービスのインテグレーション先となり、 各サービスのイベントログを集積‧可視化する基盤に イベントログの集積‧可視化 システムメトリクス 監視ツール 6 6 無料トライアル実施中 ＞
7. ©2024 Metaps Holdings, Inc. ログとの付き合い⽅が変わった って話をします
8. ©2024 Metaps Holdings, Inc. 輪読会 「オブザーバビリティ‧エンジニアリング」の輪読会を開催 「オブザーバビリティ」という⾔葉はよく聞くが、 実態はよく分かっていなかった 今まで⾏っていた「監視」との違いがなんとなく分かった https://www.oreilly.co.jp/books/9784814400126/
9. ©2024 Metaps Holdings, Inc. 輪読会 オブザーバビリティのイメージ 輪読会前　　　　　　　　　　　　　　輪読会後 根本的に考え方が違う モニタリング オブザーバビ リティ モニタリング オブザーバビリティ ※本と⼀般的な認識とではズレがある
10. ©2024 Metaps Holdings, Inc. 輪読会前の主なログ調査 インシデントが発⽣ メトリクスを確認 エラーログを⾒て原因を調査
11. ©2024 Metaps Holdings, Inc. 輪読会前の主なログ調査 インシデントが発⽣ メトリクスを確認 エラーログを⾒て原因を調査 Datadog 便利だなぁ と思っていたが… 検索しやすいし APMと関連するログがすぐ⾒れるし 過去と⽐較できるし
12. ©2024 Metaps Holdings, Inc. 輪読会前の主なログ調査 インシデントが発⽣ メトリクスを確認 エラーログを⾒て原因を調査 と思っていたが… 検索しやすいし APMと関連するログがすぐ⾒れるし 過去と⽐較できるし datadog 便利だなぁ 従来のモニタリングの調査⽅法の延⻑
13. ©2024 Metaps Holdings, Inc. オブザーバビリティとは システムの内部状況を把握する能力 一般的には ・ログ ・モニタリング ・トレース の三本柱 ログって従来のモニタリングでも使ってなかった？ オブザーバビリティ モニタリング ログ トレース
14. ©2024 Metaps Holdings, Inc. オブザーバビリティとは オブザーバビリティの本領 ‧ログにタグを付与して構造化 ‧ユーザーの操作を再現できる粒度のログ   様々な切り⼝でのログ⽐較が容易
15. ©2024 Metaps Holdings, Inc. オブザーバビリティとは オブザーバビリティの本領 ‧ログにタグを付与して構造化 ‧ユーザーの操作を再現できる粒度のログ   →ログ調査の⺠主化 様々な切り⼝でのログ⽐較が容易
16. ©2024 Metaps Holdings, Inc. オブザーバビリティとは オブザーバビリティの本領 ‧ログにタグを付与して構造化 ‧ユーザーの操作を再現できる粒度のログ   →ログ調査の⺠主化 様々な切り⼝でのログ⽐較が容易 ←ログを使ってデバッグしたい
17. ©2024 Metaps Holdings, Inc. 輪読会後の主なログ調査 インシデントが発⽣ メトリクスを確認 エラーログを⾒て原因を調査 ⽇常的にエラーログを確認 エラーが発⽣する条件を炙り出す エラーの原因を調査
18. ©2024 Metaps Holdings, Inc. 輪読会後の主なログ調査 インシデントが発⽣ メトリクスを確認 エラーログを⾒て原因を調査 ⽇常的にエラーログを確認 エラーが発⽣する条件を炙り出す エラーの原因を調査 <
19. ©2024 Metaps Holdings, Inc. ログ調査の認識の変化 ・シグナルとしてのログ ・不具合時に確認する ・調査には熟練の技が必要 ログに対する考え⽅が変わった ・デバッグの材料としてのログ ・普段から確認する ・ログ調査の民主化
20. ©2024 Metaps Holdings, Inc. 輪読会で⾒えてきた課題 ‧共通的なログフォーマットの作成 ‧タグ設計をもう少し厳格に⾏いたい
21. ©2024 Metaps Holdings, Inc. 輪読会で⾒えてきた課題 ‧共通的なログフォーマットの作成 プロダクトごとに違う⾔語‧フレームワークを使⽤しているためログ(特にタグ) が変わる可能性がある ログフォーマットを共通化することで、どのプロダクトでもログ調査のクオリ ティを担保できる
22. ©2024 Metaps Holdings, Inc. 輪読会で⾒えてきた課題 ‧AWSリソースのタグ設計をもう少し厳格に⾏いたい ある程度タグの設計は⾏っているが、もう少し厳密にしたい どのような切り⼝があれば便利かという視点で再設計したい AWSもホワイトペーパーでオブザーバビリティ視点でのタグ付けを言及 (ふわっと) https://docs.aws.amazon.com/ja_jp/whitepapers/latest/tagging-best-practices/operational-observability.html
23. ©2024 Metaps Holdings, Inc. まとめ ‧ログは障害調査のためのもの→デバッグにも使おう ‧⽇常的にログは調査していこう ‧オブザーバビリティの視点を加えた設計を考えていこう