Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
オブザーバビリティ勉強会で模擬障害対応をやってみた
Search
Tech Leverages
June 06, 2024
Technology
1
710
オブザーバビリティ勉強会で模擬障害対応をやってみた
# ゆるSRE勉強会 #6
20:35-20:40 『オブザーバビリティ勉強会で模擬障害対応をやってみた』
蒲生廣人さん X(旧Twitter): @gamonges_eng
Tech Leverages
June 06, 2024
Tweet
Share
More Decks by Tech Leverages
See All by Tech Leverages
ディメンショナルモデリングを軽く語る
leveragestech
0
370
アクターモデルによる効率的な分散システム設計
leveragestech
0
360
Terraform による運用効率化の取り組みと最新のテストアプローチの紹介
leveragestech
0
370
OpenFGAで拓く次世代認可基盤 〜予告編〜
leveragestech
0
370
リソース・管理効率の向上だけでない、分散システムとしてのTiDBの魅力
leveragestech
0
370
作ってわかる!非同期ランタイム
leveragestech
0
360
レバテック開発部 技術広報 これまでとこれから
leveragestech
0
91
改めて「型」について考えてみよう
leveragestech
1
61
苦しいTiDBへの移行を乗り越えて快適な運用を目指す
leveragestech
0
1.2k
Other Decks in Technology
See All in Technology
書籍『入門 OpenTelemetry』 / Intro of OpenTelemetry book
ymotongpoo
8
600
フォーイット_エンジニア向け会社紹介資料_Forit_Company_Profile.pdf
forit_tech
1
1.7k
AWSアカウントのセキュリティ自動化、どこまで進める? 最適な設計と実践ポイント
yuobayashi
7
2k
Cracking the Coding Interview 6th Edition
gdplabs
14
28k
株式会社Awarefy(アウェアファイ)会社説明資料 / Awarefy-Company-Deck
awarefy
3
12k
AIエージェント開発のノウハウと課題
pharma_x_tech
10
5.7k
きのこカンファレンス_ランチスポンサーセッション
kabaya
1
300
OSSの実装を参考にBedrockエージェントを作る
moritalous
2
350
4th place solution Eedi - Mining Misconceptions in Mathematics
rist
0
160
開発組織を進化させる!AWSで実践するチームトポロジー
iwamot
2
630
x86-64 Assembly Essentials
latte72
4
810
Amazon Athenaから利用時のGlueのIcebergテーブルのメンテナンスについて
nayuts
0
140
Featured
See All Featured
Practical Orchestrator
shlominoach
186
10k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.4k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
13
1k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
Embracing the Ebb and Flow
colly
84
4.6k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
11
1.3k
Adopting Sorbet at Scale
ufuk
75
9.2k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
Code Reviewing Like a Champion
maltzj
521
39k
Automating Front-end Workflow
addyosmani
1369
200k
Documentation Writing (for coders)
carmenintech
69
4.6k
Transcript
オブザーバビリティ勉強会で模 擬障害対応をやってみた レバテック開発部DevOps推進グ ループSREチーム 蒲生廣人
| © Leverages inc. 2 • 所属 ◦ レバテック開発部DevOps推進グループSREチーム • サービス
◦ レバテック ▪ エンジニアの転職支援、新卒支援 ▪ フリーランスエンジニアの案件支援 • 趣味 ◦ フットサル、ずっと真夜中でいいのに • 好きな言葉 ◦ 「推測するな、計測せよ」 ◦ 「一行のログの先には、一人のユーザーがいる」 自己紹介 Introduction
| © Leverages inc. 3 • オブザーバビリティ導入へのハードル • 模擬障害対応やってみた • 模擬障害対応の効果
• まとめ アジェンダ INDEX
オブザーバビリティ導入までのハードル
| © Leverages inc. 5 ※ツールの選定や導入決定に至るまでの経緯は端折ります🙏 • オブザーバビリティの解像度 ◦ モニタリングとどう違うの ◦
それまでのモニタリング体制文化からの変容 ▪ インフラのメトリクス、ログ中心の監視設定からユーザー体験重視のプラクティスへ • ツール移行 ◦ 監視設定などの移行コスト ◦ 運用自体の移行コスト 導入当初のハードル オブザーバビリティ導入までのハードル
| © Leverages inc. 6 • オブザーバビリティ勉強会 ◦ オブザーバビリティの考えや概念について学んでもらう • ツールハンズオン
◦ 導入したオブザーバビリティツール(NewRelic)の操作を一通り行うことで、ツールを開発チー ムで触れるようにする • アラート勉強会 ◦ ユーザー視点でのアラートをどう設定していくのか ◦ NewRelicのアラート設定ハンズオン • NewRelicアラートのTerraformライブラリ作成 • NewRelic合宿 ◦ GWの中日にあった平日3日間で、出勤している開発部メンバーでアラートの移行作業を行う ◦ その間SREチームががっつりサポート ハードルを超えるための取り組み オブザーバビリティ導入までのハードル
| © Leverages inc. 7 • 具体的な普段の運用方法の解像度が上がりきらない ◦ APMなど新しい機能をどう運用にのせていくか • いざ障害が発生した際に使いこなせるかわからない
◦ ツールを使ったトラブルシューティング経験がないので、インシデント時の対応に不安が残る 解決しきれない課題 オブザーバビリティ導入までのハードル
模擬障害対応やってみよう
| © Leverages inc. 9 • 具体的な普段の運用方法の解像度が上がりきらない ◦ 実際に運用しているサービスのテレメトリをツールで見れる状態にして 開発者が分析できる状態を作る •
いざ障害が発生した際に使いこなせるかわからない ◦ 実際に障害を起こしてみて、導入したツールを使って何ができるか、トラブルシューティングをど うやっていくのか、を体験させてみる どうしてやるの 模擬障害対応やってみよう
| © Leverages inc. 10 • 対象 ◦ NewRelicのライセンスを配った社員約30名ほど • シナリオ選び
◦ 実際に過去に起きたインシデントの中から、売上損失につながりやすいインシデントシナリオを3 つ用意 • 環境 ◦ 関係するサービスのSTG環境 ▪ 開発者以外の社内の人が使っているケースがあるので事前に告知 ▪ ゴミデータができるなど不可逆性の高いものは、模擬障害対応用のデータベースを作って そちらで実施 どうやったの 模擬障害対応やってみよう
| © Leverages inc. 11 どうやったの 模擬障害対応やってみよう NewRelicのワークロードという機能 を使って、関連するアプリケーションや リソースをひとまとめで管理。 障害発生時に、どこで問題が発生して
いるか可視化してくれるようにした
| © Leverages inc. 12 どうやったの 模擬障害対応やってみよう フリーランスのエンジニアが案件を探すた めの案件検索画面のレイテンシをアラート に設定して、 中でゴニョゴニョしてレイテンシを悪化さ
せた
模擬障害対応の効果
| © Leverages inc. 14 • 具体的な普段の運用方法の解像度が上がりきらない ◦ APMなど新しい機能をどう運用にのせていくか 運用のイメージの解像度UP 模擬障害対応の効果
• 新しく使う機能でダッシュボードやアラートを作成し、それらを使って調査をしても らった ◦ これの一個前の勉強会で、ダッシュボードとアラートの作成ハンズオンをやって いるので概念は分かってる ◦ 自システムの設定例を見てもらうことで、自分たちで設定する時の参考にして もらった
| © Leverages inc. 15 • いざ障害が発生した際に使いこなせるかわからない ◦ ツールを使ったトラブルシューティング経験がないので、インシデント時の対応に不安が残る 障害発生時のトラブルシューティングの解像度UP 模擬障害対応の効果
• 過去に起きた障害を、新しいツール(NewRelic)を使って調査してもらうことで 実際の障害対応に近い体験をしながらツールの扱いに慣れてもらった
まとめ
| © Leverages inc. 17 • 障害対応をカジュアルな気持ちで体験できる ◦ ISUCONに近いゲーム感覚があった • 解決すべき問題に対して、ツールを駆使する体験ができる
◦ ハンズオンだけだと具体的にツールを役立たせる、みたいなところまではできないけど 障害を解決するっていう問題に対して取り組ませるのは、また違う頭の使い方をするところがいい • 出題者側はシステムの仕組みを理解するいい機会になる ◦ 「こここうなってたのね!」とか「こうするとここが壊れるのね!」っていうアハ体験は楽しかった ◦ でも準備は大変 模擬障害対応はいいぞ(準備は大変だけど) まとめ
| © Leverages inc. 18 • Xアカウント:@gamonges_eng • レバテック技術広報アカウント:@levtech_dev • レバテック技術ブログ:Zenn
NewRelicに移行した経緯が書いてあるADRをチームメンバーが公開してくれました!!🎉🎉🎉 蛇足