Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
オブザーバビリティ勉強会で模擬障害対応をやってみた
Search
Tech Leverages
June 06, 2024
Technology
1
750
オブザーバビリティ勉強会で模擬障害対応をやってみた
# ゆるSRE勉強会 #6
20:35-20:40 『オブザーバビリティ勉強会で模擬障害対応をやってみた』
蒲生廣人さん X(旧Twitter): @gamonges_eng
Tech Leverages
June 06, 2024
Tweet
Share
More Decks by Tech Leverages
See All by Tech Leverages
古き良き Laravel のシステムは関数型スタイルでリファクタできるのか
leveragestech
1
1k
リファクタリングいつやるの? 〜依存の整理〜
leveragestech
0
77
ディメンショナルモデリングを軽く語る
leveragestech
1
3.8k
アクターモデルによる効率的な分散システム設計
leveragestech
0
3.6k
Terraform による運用効率化の取り組みと最新のテストアプローチの紹介
leveragestech
0
3.6k
OpenFGAで拓く次世代認可基盤 〜予告編〜
leveragestech
0
3.6k
リソース・管理効率の向上だけでない、分散システムとしてのTiDBの魅力
leveragestech
0
3.6k
作ってわかる!非同期ランタイム
leveragestech
0
3.6k
レバテック開発部 技術広報 これまでとこれから
leveragestech
0
180
Other Decks in Technology
See All in Technology
ひとり情シスなCTOがLLMと始めるオペレーション最適化 / CTO's LLM-Powered Ops
yamitzky
0
430
AWS テクニカルサポートとエンドカスタマーの中間地点から見えるより良いサポートの活用方法
kazzpapa3
2
540
米国国防総省のDevSecOpsライフサイクルをAWSのセキュリティサービスとOSSで実現
syoshie
2
1.1k
急成長を支える基盤作り〜地道な改善からコツコツと〜 #cre_meetup
stefafafan
0
120
AWS Summit Japan 2025 Community Stage - App workflow automation by AWS Step Functions
matsuihidetoshi
1
260
Oracle Cloud Infrastructure:2025年6月度サービス・アップデート
oracle4engineer
PRO
2
240
より良いプロダクトの開発を目指して - 情報を中心としたプロダクト開発 #phpcon #phpcon2025
bengo4com
1
3.1k
Observability в PHP без боли. Олег Мифле, тимлид Altenar
lamodatech
0
340
Clineを含めたAIエージェントを 大規模組織に導入し、投資対効果を考える / Introducing AI agents into your organization
i35_267
4
1.6k
監視のこれまでとこれから/sakura monitoring seminar 2025
fujiwara3
11
3.9k
Windows 11 で AWS Documentation MCP Server 接続実践/practical-aws-documentation-mcp-server-connection-on-windows-11
emiki
0
960
生成AI活用の組織格差を解消する 〜ビジネス職のCursor導入が開発効率に与えた好循環〜 / Closing the Organizational Gap in AI Adoption
upamune
2
950
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.2k
The Pragmatic Product Professional
lauravandoore
35
6.7k
BBQ
matthewcrist
89
9.7k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Automating Front-end Workflow
addyosmani
1370
200k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Six Lessons from altMBA
skipperchong
28
3.8k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.3k
What's in a price? How to price your products and services
michaelherold
246
12k
Designing Experiences People Love
moore
142
24k
Transcript
オブザーバビリティ勉強会で模 擬障害対応をやってみた レバテック開発部DevOps推進グ ループSREチーム 蒲生廣人
| © Leverages inc. 2 • 所属 ◦ レバテック開発部DevOps推進グループSREチーム • サービス
◦ レバテック ▪ エンジニアの転職支援、新卒支援 ▪ フリーランスエンジニアの案件支援 • 趣味 ◦ フットサル、ずっと真夜中でいいのに • 好きな言葉 ◦ 「推測するな、計測せよ」 ◦ 「一行のログの先には、一人のユーザーがいる」 自己紹介 Introduction
| © Leverages inc. 3 • オブザーバビリティ導入へのハードル • 模擬障害対応やってみた • 模擬障害対応の効果
• まとめ アジェンダ INDEX
オブザーバビリティ導入までのハードル
| © Leverages inc. 5 ※ツールの選定や導入決定に至るまでの経緯は端折ります🙏 • オブザーバビリティの解像度 ◦ モニタリングとどう違うの ◦
それまでのモニタリング体制文化からの変容 ▪ インフラのメトリクス、ログ中心の監視設定からユーザー体験重視のプラクティスへ • ツール移行 ◦ 監視設定などの移行コスト ◦ 運用自体の移行コスト 導入当初のハードル オブザーバビリティ導入までのハードル
| © Leverages inc. 6 • オブザーバビリティ勉強会 ◦ オブザーバビリティの考えや概念について学んでもらう • ツールハンズオン
◦ 導入したオブザーバビリティツール(NewRelic)の操作を一通り行うことで、ツールを開発チー ムで触れるようにする • アラート勉強会 ◦ ユーザー視点でのアラートをどう設定していくのか ◦ NewRelicのアラート設定ハンズオン • NewRelicアラートのTerraformライブラリ作成 • NewRelic合宿 ◦ GWの中日にあった平日3日間で、出勤している開発部メンバーでアラートの移行作業を行う ◦ その間SREチームががっつりサポート ハードルを超えるための取り組み オブザーバビリティ導入までのハードル
| © Leverages inc. 7 • 具体的な普段の運用方法の解像度が上がりきらない ◦ APMなど新しい機能をどう運用にのせていくか • いざ障害が発生した際に使いこなせるかわからない
◦ ツールを使ったトラブルシューティング経験がないので、インシデント時の対応に不安が残る 解決しきれない課題 オブザーバビリティ導入までのハードル
模擬障害対応やってみよう
| © Leverages inc. 9 • 具体的な普段の運用方法の解像度が上がりきらない ◦ 実際に運用しているサービスのテレメトリをツールで見れる状態にして 開発者が分析できる状態を作る •
いざ障害が発生した際に使いこなせるかわからない ◦ 実際に障害を起こしてみて、導入したツールを使って何ができるか、トラブルシューティングをど うやっていくのか、を体験させてみる どうしてやるの 模擬障害対応やってみよう
| © Leverages inc. 10 • 対象 ◦ NewRelicのライセンスを配った社員約30名ほど • シナリオ選び
◦ 実際に過去に起きたインシデントの中から、売上損失につながりやすいインシデントシナリオを3 つ用意 • 環境 ◦ 関係するサービスのSTG環境 ▪ 開発者以外の社内の人が使っているケースがあるので事前に告知 ▪ ゴミデータができるなど不可逆性の高いものは、模擬障害対応用のデータベースを作って そちらで実施 どうやったの 模擬障害対応やってみよう
| © Leverages inc. 11 どうやったの 模擬障害対応やってみよう NewRelicのワークロードという機能 を使って、関連するアプリケーションや リソースをひとまとめで管理。 障害発生時に、どこで問題が発生して
いるか可視化してくれるようにした
| © Leverages inc. 12 どうやったの 模擬障害対応やってみよう フリーランスのエンジニアが案件を探すた めの案件検索画面のレイテンシをアラート に設定して、 中でゴニョゴニョしてレイテンシを悪化さ
せた
模擬障害対応の効果
| © Leverages inc. 14 • 具体的な普段の運用方法の解像度が上がりきらない ◦ APMなど新しい機能をどう運用にのせていくか 運用のイメージの解像度UP 模擬障害対応の効果
• 新しく使う機能でダッシュボードやアラートを作成し、それらを使って調査をしても らった ◦ これの一個前の勉強会で、ダッシュボードとアラートの作成ハンズオンをやって いるので概念は分かってる ◦ 自システムの設定例を見てもらうことで、自分たちで設定する時の参考にして もらった
| © Leverages inc. 15 • いざ障害が発生した際に使いこなせるかわからない ◦ ツールを使ったトラブルシューティング経験がないので、インシデント時の対応に不安が残る 障害発生時のトラブルシューティングの解像度UP 模擬障害対応の効果
• 過去に起きた障害を、新しいツール(NewRelic)を使って調査してもらうことで 実際の障害対応に近い体験をしながらツールの扱いに慣れてもらった
まとめ
| © Leverages inc. 17 • 障害対応をカジュアルな気持ちで体験できる ◦ ISUCONに近いゲーム感覚があった • 解決すべき問題に対して、ツールを駆使する体験ができる
◦ ハンズオンだけだと具体的にツールを役立たせる、みたいなところまではできないけど 障害を解決するっていう問題に対して取り組ませるのは、また違う頭の使い方をするところがいい • 出題者側はシステムの仕組みを理解するいい機会になる ◦ 「こここうなってたのね!」とか「こうするとここが壊れるのね!」っていうアハ体験は楽しかった ◦ でも準備は大変 模擬障害対応はいいぞ(準備は大変だけど) まとめ
| © Leverages inc. 18 • Xアカウント:@gamonges_eng • レバテック技術広報アカウント:@levtech_dev • レバテック技術ブログ:Zenn
NewRelicに移行した経緯が書いてあるADRをチームメンバーが公開してくれました!!🎉🎉🎉 蛇足