Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
オブザーバビリティ勉強会で模擬障害対応をやってみた
Search
Tech Leverages
June 06, 2024
Technology
1
560
オブザーバビリティ勉強会で模擬障害対応をやってみた
# ゆるSRE勉強会 #6
20:35-20:40 『オブザーバビリティ勉強会で模擬障害対応をやってみた』
蒲生廣人さん X(旧Twitter): @gamonges_eng
Tech Leverages
June 06, 2024
Tweet
Share
More Decks by Tech Leverages
See All by Tech Leverages
今日から始める技術的負債の解消
leveragestech
3
460
ドキュメントとの付き合い方を考える
leveragestech
2
170
開発者体験を向上させる ボトムアップな組織改善
leveragestech
1
170
市場価値の高いエンジニアを 目指そう!!
leveragestech
2
46
より快適なエラーログ監視を目指して
leveragestech
5
1.6k
絶賛設計中!参画者のエンゲージメントを最大化する体験重視のオンボーディング
leveragestech
1
100
SREが強化するべき組織のケイパビリティ
leveragestech
0
85
DevOps実現のための私たちのSREのあり方
leveragestech
1
64
アウトプット=アウトカムではない世界で開発生産性を考える
leveragestech
4
780
Other Decks in Technology
See All in Technology
RAG: from dumb implementation to serious results
glaforge
0
670
안드로이드 기술 이력서의 최소 조건
pluu
1
1.1k
太田博三(@usagisan2020)
otanet
0
150
Brakeman を欺く - Kashiwa.rb #4
kozy4324
1
100
XSS攻撃から考察するAWS設定不備の恐怖/20241012 Hironobu Otaki
shift_evolve
0
150
Unlearn Modularity
lemiorhan
6
310
Vue.js、Nuxtの機能を使い、 大量のコピペコードをリファクタリングする
igayamaguchi
3
1.4k
Rist_Meetup_Kaggleは業務の役にたつ - ビジネスコンテンツ情報を活用する BtoB 事業編 - / rist-meetup-20241012
taro_masuda
1
350
JPOUG_10_20241018_OracleDB_AWS_v1.3.pdf
asahihidehiko
1
190
テストを楽に書きたい
tomorrowkey
2
270
AWS Step Functionsのタスク入出力に秩序を与えよう
y_kotani
0
110
不要なリソースを自動で定期的に整理する方法 ~Sandboxアカウントのコストを削減しよう!~
amixedcolor
4
240
Featured
See All Featured
No one is an island. Learnings from fostering a developers community.
thoeni
19
2.9k
Scaling GitHub
holman
458
140k
Building an army of robots
kneath
302
42k
Learning to Love Humans: Emotional Interface Design
aarron
272
40k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
327
21k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
4.9k
Producing Creativity
orderedlist
PRO
341
39k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
167
49k
It's Worth the Effort
3n
183
27k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
Fireside Chat
paigeccino
32
3k
Transcript
オブザーバビリティ勉強会で模 擬障害対応をやってみた レバテック開発部DevOps推進グ ループSREチーム 蒲生廣人
| © Leverages inc. 2 • 所属 ◦ レバテック開発部DevOps推進グループSREチーム • サービス
◦ レバテック ▪ エンジニアの転職支援、新卒支援 ▪ フリーランスエンジニアの案件支援 • 趣味 ◦ フットサル、ずっと真夜中でいいのに • 好きな言葉 ◦ 「推測するな、計測せよ」 ◦ 「一行のログの先には、一人のユーザーがいる」 自己紹介 Introduction
| © Leverages inc. 3 • オブザーバビリティ導入へのハードル • 模擬障害対応やってみた • 模擬障害対応の効果
• まとめ アジェンダ INDEX
オブザーバビリティ導入までのハードル
| © Leverages inc. 5 ※ツールの選定や導入決定に至るまでの経緯は端折ります🙏 • オブザーバビリティの解像度 ◦ モニタリングとどう違うの ◦
それまでのモニタリング体制文化からの変容 ▪ インフラのメトリクス、ログ中心の監視設定からユーザー体験重視のプラクティスへ • ツール移行 ◦ 監視設定などの移行コスト ◦ 運用自体の移行コスト 導入当初のハードル オブザーバビリティ導入までのハードル
| © Leverages inc. 6 • オブザーバビリティ勉強会 ◦ オブザーバビリティの考えや概念について学んでもらう • ツールハンズオン
◦ 導入したオブザーバビリティツール(NewRelic)の操作を一通り行うことで、ツールを開発チー ムで触れるようにする • アラート勉強会 ◦ ユーザー視点でのアラートをどう設定していくのか ◦ NewRelicのアラート設定ハンズオン • NewRelicアラートのTerraformライブラリ作成 • NewRelic合宿 ◦ GWの中日にあった平日3日間で、出勤している開発部メンバーでアラートの移行作業を行う ◦ その間SREチームががっつりサポート ハードルを超えるための取り組み オブザーバビリティ導入までのハードル
| © Leverages inc. 7 • 具体的な普段の運用方法の解像度が上がりきらない ◦ APMなど新しい機能をどう運用にのせていくか • いざ障害が発生した際に使いこなせるかわからない
◦ ツールを使ったトラブルシューティング経験がないので、インシデント時の対応に不安が残る 解決しきれない課題 オブザーバビリティ導入までのハードル
模擬障害対応やってみよう
| © Leverages inc. 9 • 具体的な普段の運用方法の解像度が上がりきらない ◦ 実際に運用しているサービスのテレメトリをツールで見れる状態にして 開発者が分析できる状態を作る •
いざ障害が発生した際に使いこなせるかわからない ◦ 実際に障害を起こしてみて、導入したツールを使って何ができるか、トラブルシューティングをど うやっていくのか、を体験させてみる どうしてやるの 模擬障害対応やってみよう
| © Leverages inc. 10 • 対象 ◦ NewRelicのライセンスを配った社員約30名ほど • シナリオ選び
◦ 実際に過去に起きたインシデントの中から、売上損失につながりやすいインシデントシナリオを3 つ用意 • 環境 ◦ 関係するサービスのSTG環境 ▪ 開発者以外の社内の人が使っているケースがあるので事前に告知 ▪ ゴミデータができるなど不可逆性の高いものは、模擬障害対応用のデータベースを作って そちらで実施 どうやったの 模擬障害対応やってみよう
| © Leverages inc. 11 どうやったの 模擬障害対応やってみよう NewRelicのワークロードという機能 を使って、関連するアプリケーションや リソースをひとまとめで管理。 障害発生時に、どこで問題が発生して
いるか可視化してくれるようにした
| © Leverages inc. 12 どうやったの 模擬障害対応やってみよう フリーランスのエンジニアが案件を探すた めの案件検索画面のレイテンシをアラート に設定して、 中でゴニョゴニョしてレイテンシを悪化さ
せた
模擬障害対応の効果
| © Leverages inc. 14 • 具体的な普段の運用方法の解像度が上がりきらない ◦ APMなど新しい機能をどう運用にのせていくか 運用のイメージの解像度UP 模擬障害対応の効果
• 新しく使う機能でダッシュボードやアラートを作成し、それらを使って調査をしても らった ◦ これの一個前の勉強会で、ダッシュボードとアラートの作成ハンズオンをやって いるので概念は分かってる ◦ 自システムの設定例を見てもらうことで、自分たちで設定する時の参考にして もらった
| © Leverages inc. 15 • いざ障害が発生した際に使いこなせるかわからない ◦ ツールを使ったトラブルシューティング経験がないので、インシデント時の対応に不安が残る 障害発生時のトラブルシューティングの解像度UP 模擬障害対応の効果
• 過去に起きた障害を、新しいツール(NewRelic)を使って調査してもらうことで 実際の障害対応に近い体験をしながらツールの扱いに慣れてもらった
まとめ
| © Leverages inc. 17 • 障害対応をカジュアルな気持ちで体験できる ◦ ISUCONに近いゲーム感覚があった • 解決すべき問題に対して、ツールを駆使する体験ができる
◦ ハンズオンだけだと具体的にツールを役立たせる、みたいなところまではできないけど 障害を解決するっていう問題に対して取り組ませるのは、また違う頭の使い方をするところがいい • 出題者側はシステムの仕組みを理解するいい機会になる ◦ 「こここうなってたのね!」とか「こうするとここが壊れるのね!」っていうアハ体験は楽しかった ◦ でも準備は大変 模擬障害対応はいいぞ(準備は大変だけど) まとめ
| © Leverages inc. 18 • Xアカウント:@gamonges_eng • レバテック技術広報アカウント:@levtech_dev • レバテック技術ブログ:Zenn
NewRelicに移行した経緯が書いてあるADRをチームメンバーが公開してくれました!!🎉🎉🎉 蛇足