Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
これまでの監視とクラウド時代の監視 / Monitoring the Past and the...
Search
TomoyaKitaura
May 18, 2022
Technology
1
220
これまでの監視とクラウド時代の監視 / Monitoring the Past and the Cloud
とある企業様の社内勉強会に潜入させていただいてこっそりと発表させていただいた時の資料です
TomoyaKitaura
May 18, 2022
Tweet
Share
More Decks by TomoyaKitaura
See All by TomoyaKitaura
セキュリティ活動をちょっとずつやる戦略を実行した気づき / Incremental Security Initiatives
tomoyakitaura
0
87
社内共通コンテナレジストリを設立して、開発者体験向上を狙ってみた /Establishing container registry to improve DX
tomoyakitaura
2
170
LTワークショップ3日目 / LT Workshop Day 3
tomoyakitaura
0
140
LTワークショップ2日目 / LT Workshop Day 2
tomoyakitaura
0
130
LTワークショップ(1日目) / LT workshop day 1
tomoyakitaura
1
140
エンタープライズにおけるSRE立ち上げとNew Relic選定に至った背景とは / SRE Startup and New Relic in the Enterprise
tomoyakitaura
2
720
AWSとNew Relicのデータ連携を超高速で実装した話 / The story of a super-fast implementation of data integration between AWS and New Relic
tomoyakitaura
0
1.4k
Resilience Hubの登場が騒がれないなんておかしい!? / Resilience Hub is the best.
tomoyakitaura
0
220
セキュリティ勉強会 / How do we confront the threat
tomoyakitaura
0
120
Other Decks in Technology
See All in Technology
個人でもIAM Identity Centerを使おう!(アクセス管理編)
ryder472
3
200
Amazon Personalizeのレコメンドシステム構築、実際何するの?〜大体10分で具体的なイメージをつかむ〜
kniino
1
100
AWS Media Services 最新サービスアップデート 2024
eijikominami
0
190
Amplify Gen2 Deep Dive / バックエンドの型をいかにしてフロントエンドへ伝えるか #TSKaigi #TSKaigiKansai #AWSAmplifyJP
tacck
PRO
0
370
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
3.8k
【Pycon mini 東海 2024】Google Colaboratoryで試すVLM
kazuhitotakahashi
2
500
ドメインの本質を掴む / Get the essence of the domain
sinsoku
2
150
SREによる隣接領域への越境とその先の信頼性
shonansurvivors
2
520
Why does continuous profiling matter to developers? #appdevelopercon
salaboy
0
180
元旅行会社の情シス部員が教えるおすすめなre:Inventへの行き方 / What is the most efficient way to re:Invent
naospon
2
340
dev 補講: プロダクトセキュリティ / Product security overview
wa6sn
1
2.3k
100 名超が参加した日経グループ横断の競技型 AWS 学習イベント「Nikkei Group AWS GameDay」の紹介/mediajaws202411
nikkei_engineer_recruiting
1
170
Featured
See All Featured
Done Done
chrislema
181
16k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
38
1.8k
Unsuck your backbone
ammeep
668
57k
Fashionably flexible responsive web design (full day workshop)
malarkey
405
65k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
93
16k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.3k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.1k
Site-Speed That Sticks
csswizardry
0
23
Gamification - CAS2011
davidbonilla
80
5k
Teambox: Starting and Learning
jrom
133
8.8k
[RailsConf 2023] Rails as a piece of cake
palkan
52
4.9k
Transcript
これまでの監視とクラウド時代の監視 株式会社 mediba Tomoya Kitaura 2022/5/18 とある企業様の社内勉強会乱入編
自己紹介 Tomoya Kitaura @kitta0108 mediba inc. SRE Unit ▪勉強会運営 -
- JAWS-UG コンテナ支部 - JAWS-UG SRE支部 - NRUG SRE支部 2 2
今回お話すること - システム監視の課題 - オブザーバビリティとは - オブザーバビリティ導入戦略 - 実現したい世界観の話 3
システム監視の課題 4 システム監視の課題
システム監視の課題 5 その1 ハードウェアの状態あんまり興味ない説
システム監視の課題 6 従来のシステムアーキテクチャ Web3階層モデル(オンプレ運用) Web Server App Server DB Server
物理サーバーの死 = サービスの死 = ユーザー影響
システム監視の課題 7 Web Server App Server DB Server CPU使用率 90%だお
やべぇ 筐体交換しないとい けないかも このアーキテクチャ上のシステム監視の関心軸 ハードウェアが正常に動作するかどうか
システム監視の課題 8 現在のシステムアーキテクチャ クラウドネイティブ(※色々省略してます) CloudFront ALB Fargate Aurora
システム監視の課題 9 CloudFront ALB Fargate Aurora 1台CPU使用 率90%やでー つまり、CPUが90%であるということは CPUが90%であるということです。
システム監視の課題 10 CloudFront ALB Fargate Aurora - ハードウェアの管理責任をクラウドベンダーに移譲 - AWS責任共有モデル
- 例)FargateのSLA 月間稼働率99.99% - 仮想化技術の発展により、オートヒーリングが可能になった。 - ハードウェア障害の影響はシステム設計に落とし込まれる形となった。
システム監視の課題 11 その2 トラブルシュートつらすぎる問題
システム監視の課題 12 CloudFront ALB Fargate Aurora ハードウェアの障害に関する関心は薄くはなったものの、 ユーザー影響に関しては、むしろより詳細を求めるようになった。
システム監視の課題 13 CloudFront ALB Fargate Aurora 5xxエラーをユー ザーに返し続け ているでー どこが問題なんだ?
システム監視の課題 14 問題ありません でした! 問題ありません でした! 問題ありません でした! 閃光のフロントエンジニア 鈴木
不死身のインフラエンジニア 田中 業火のバックエンドエンジニア 山田
システム監視の課題 15 閃光のフロントエンジニア 鈴木 不死身のインフラエンジニア 田中 業火のバックエンドエンジニア 山田 Sentryで確認 Datadogでメトリク
スを確認 Datadogでアプリ ケーションログを確 認
システム監視の課題 16 例えば以下のような解決方法を選択肢とした場合 どちらが最適? - Infraのスペックアップ リクエスト量 ≒ 処理量と比較して性能が低いときに検討さ れる方法
※または一時的な暫定回避策 - バックエンドのアルゴリズム改修 今後のスケールリング性能に影響を及ぼすと考えられる時に 検討される方法 フラットな目線で最適を検討する難しさ
Observabilityとは 17 Observabilityとは
Observabilityとは 18 - 直訳すると可観測性 - システムを観測する能力そのもののこと - 省略系でo11yと表現されることが多い - 直近ではo11y
Conferenceが開催されるなど業 界注目度も高い
Observabilityとは 19 o11y 導入後のイメージ Client Backend Infra Client ユーザー リクエスト
・どんなリクエストを渡さ れたか ・どんなレスポンスを返し たか ・関数の処理にどれくら い時間かかったか ・エラーが起きた具体的 な関数の場所はどこか ・どんなユーザーだった か ・どのようなレスポンスを 返したか ・Backendにどのような 要素を渡したか ・Backendからはどんな レスポンスが返ってきた か ・エラーが起きたそ の時インフラの状態 はどうだったか
Observabilityとは 20 閃光のフロントエンジニア 鈴木 不死身のインフラエンジニア 田中 業火のバックエンドエンジニア 山田 インフラでエラーが 起きてるな
インフラでエラーが 起きてるな インフラでエラーが 起きてるな o11y 導入後の理想イメージ
オブザーバビリティ導入戦略 21 オブザーバビリティ導入戦略
オブザーバビリティ導入戦略 22 ▪ちょっとずつ導入する作戦 - 新しいことを始める時のベストプラクティス ▪ちょうどいい感じの労力投資とそれに見合った効果が 得られるところを狙っていく - 多くの製品において、デキることがいっぱいある。 ▪構築設計フェーズで頑張りすぎない。
- 最適なo11yは運用のフェーズでわかっていくものも多い - 運用フェーズで必要に応じて拡充していく気持ちを持つ
オブザーバビリティ導入戦略 23 投資 効果 ▪狙っていきたい状況を雑に表現したやつ 投資 効果 ▪避けたい状況を雑に表現したやつ
実現したい世界観の話 24 実現したい世界観の話
実現したい世界観の話 25 すこし話す内容のカラーを変えます。
実現したい世界観の話 26 プロダクト開発のサイクル Biz (企画) Dev (開発) Ops (運用) プロダクトがうまく機能しなくなって、
大きな改革を求められるときの原因って だいたいこのサイクルの 機能不全じゃないですかね?
実現したい世界観の話 27 Bizの機能不全例 DevOpsが守りに入りすぎて新しい機能開発を差し込めなくなる等 Devの機能不全例 必要なリファクタ作業を怠った結果、機能追加が困難になる等 Opsの機能不全例 運用が複雑になり、安全なデプロイが実施できない等
実現したい世界観の話 28 Biz Dev Ops 限りある工数 どのような比率で分配するのか、難しすぎる問題
実現したい世界観の話 29 一つの案 BizDevOps全員がシステムの健全性という 一つの指標をベースに意思決定すればよいのでは? システムが健全であるならば、 ガンガン新規開発やっていこう。 システムが不健全であるならば、 リファクタ作業・運用の改善に投資しよう。
実現したい世界観の話 30 そのために事実ベースのデータが必要 -> o11yプラットフォームに情報を集めていく <参考> ・ネガティブな解釈をされがちなエラーバジェットの誤解を解いてみる https://bit.ly/3k44QMe ・エンタープライズにおけるSRE立ち上げとNew Relic選定に至った背景とは
https://speakerdeck.com/tomoyakitaura/sre-startup-and-new-re lic-in-the-enterprise
まとめ 31 ▪解決したい課題 - ユーザー影響にフォーカスした監視を行うのが難しい - トラブルシュートとその解決方法の最適化が難しい ▪o11yの実装により上記の課題を解決できる確度が高い (と僕は思ってる) ▪o11yの導入は構築設計フェーズで頑張りすぎない
▪o11yはシステム監視の課題のみならず、 プロダクトの健全性を担保するという意味でも 効果を発揮する可能性を秘めている
さいごに 32 より高みを目指した開発を みんなで楽しんでいきましょう!! ご静聴ありがとうございました!!