Upgrade to Pro — share decks privately, control downloads, hide ads and more …

障害対応のふりかえりとその後の取り組み / trouble shooting and future

069cd7a173dfb7d46c8b6b90624f5bf1?s=47 Takashi Nasu
April 27, 2021
Technology
0
830

障害対応のふりかえりとその後の取り組み / trouble shooting and future

069cd7a173dfb7d46c8b6b90624f5bf1?s=128

Takashi Nasu

April 27, 2021
Tweet

More Decks by Takashi Nasu

See All by Takashi Nasu
自宅付近の気温と湿度を可視化する時に気づいたAmazon Timestream導入時の注意点 / Important point of Timestream
069cd7a173dfb7d46c8b6b90624f5bf1?s=48 nasrinjp
1
350
AWSリモートアクセス紹介/AWS remote access
069cd7a173dfb7d46c8b6b90624f5bf1?s=48 nasrinjp
0
38
監視やモニタリングについてもうちょっとだけ考えてみよう / Think about monitoring
069cd7a173dfb7d46c8b6b90624f5bf1?s=48 nasrinjp
0
560
reInvent事前勉強会LT.pdf / prior-workshop-for-reinvent
069cd7a173dfb7d46c8b6b90624f5bf1?s=48 nasrinjp
0
780
ときめくものだけ残して考えたSAPonCloudのデザインパターン的なアレ / kommari-method-for-SAPonCloud
069cd7a173dfb7d46c8b6b90624f5bf1?s=48 nasrinjp
0
1.3k
jawsdays2019_appstream20.pdf
069cd7a173dfb7d46c8b6b90624f5bf1?s=48 nasrinjp
0
1.3k

Other Decks in Technology

See All in Technology
新規ゲームのリリース(開発)前からのSRE活動
B276b9088550bc522536ab9d471aeebe?s=48 tmkoikee
1
120
僕の Microsoft Teams (+α) 便利技紹介 2022年春
54bcc1069d75636cc735e72877dd30ec?s=48 taichinakamura
0
2.8k
Oracle Content Management サービス概要 (2022年5月版)
140494d272a4d89883a94fdfdb29dea2?s=48 oracle4engineer
PRO
0
100
SRENEXT2022 組織にSREを実装していくまでの道のり
9cd2d753636f4849c881ccf2381228ee?s=48 marnie0301
1
280
THETA Xの登場はジオ業界を変えるか？
5314ec2302336bf68c95bdb5b1476227?s=48 furuhashilab
0
160
tfcon-2022-cpp
Dcc589548f0372645aaeb95bda8e22c2?s=48 cpp
5
5k
OSINT/GEOINT ワークショップ 20220514 古橋資料
5314ec2302336bf68c95bdb5b1476227?s=48 furuhashilab
2
300
LINE WORKS API 2.0について
1f7f0085220d6e48e5bdbf9b199b847c?s=48 mmclsntr
0
110
⚡Lightdashを試してみた
2c6a9bc003b77685330cc9359b6fbbc4?s=48 k_data_analyst
0
190
次期LTSに備えよ！AOS 6.1 HCI Core 編
A4d5b3aae2e67f31b513c88c726514c2?s=48 smzksts
0
170
Stripe Search APIを利用した、LINEとStripeの顧客情報連携/line-dc-202205
E77ca94266ffd3d69f8aee91f7468264?s=48 stripehideokamoto
0
120
msal.jsのあれこれ
716a39e2ee383722f960c17467eaf55b?s=48 takas0522
0
1.5k

Featured

See All Featured
Intergalactic Javascript Robots from Outer Space
6804f1775cb4babfcc3851298566fbce?s=48 tanoku
261
25k
Designing Dashboards & Data Visualisations in Web Apps
Fde6c3a50ca518a909ef35c22c0ee0e4?s=48 destraynor
224
49k
GraphQLの誤解/rethinking-graphql
3cb4e761dbdb7aebd1ffd85f752e1e3e?s=48 sonatard
24
6.2k
It's Worth the Effort
Ba530e786553390f3fb271848485681c?s=48 3n
172
25k
Become a Pro
828ace851b606e1206900f26459f55ad?s=48 speakerdeck
PRO
3
780
Reflections from 52 weeks, 52 projects
E43f8dfd01057f8304f5f8fb9a294d7d?s=48 jeffersonlam
337
17k
The Language of Interfaces
Fde6c3a50ca518a909ef35c22c0ee0e4?s=48 destraynor
148
20k
The Illustrated Children's Guide to Kubernetes
0438ae60cde4c7add6f9da48f28c15cc?s=48 chrisshort
14
34k
ReactJS: Keep Simple. Everything can be a component!
Af6a12710770ad9a7cfd08c97efd40d3?s=48 pedronauck
655
120k
Creatively Recalculating Your Daily Design Routine
48c098b6579220a67a6ba949be6e4b5a?s=48 revolveconf
205
10k
WebSockets: Embracing the real-time Web
E76911cbe088e5b850d966de3fc7435b?s=48 robhawkes
57
5k
YesSQL, Process and Tooling at Scale
D09fad3e36ae6841f54820be0e907f7a?s=48 rocio
157
12k

Transcript

  1. 障害対応のふりかえりとその後の取り組み 2021.04.27 (Tue) AWS Startup Tech Meetup Online #4 株式会社dotD

    那須 隆

  2. Copyright© 2021 dotD All Rights Reserved. ⾃⼰紹介 • 那須 隆（なす

    たかし） • 株式会社dotD Infrastructure Architect • ⾃社事業と共創事業の インフラ設計から運⽤まで • バックエンド開発はじめました • 2019/2020 Japan APN Ambassador @nasutakashii https://nasrinjp1.hatenablog.com/

  3. Copyright© 2021 dotD All Rights Reserved.

  4. Copyright© 2021 dotD All Rights Reserved.

  5. Copyright© 2021 dotD All Rights Reserved.

  6. Copyright© 2021 dotD All Rights Reserved. モニタリング⼤事！ 今⽇お伝えしたいこと

  7. Copyright© 2021 dotD All Rights Reserved. いつ： 2021/2/6(⼟) と 7(⽇)

    何が： ⾃社事業の onedog どうなった： サービスダウン 何があった？

  8. Copyright© 2021 dotD All Rights Reserved. 当時の構成概要（⼀部）

  9. Copyright© 2021 dotD All Rights Reserved. • onedogでお散歩ができない！とお問い合わせ多数 • API

    Gatewayでも5XXエラーが出続けていた • Lambdaで ʻToo many connectionsʼ エラーが多数発⽣ • RDSのCPU使⽤率が100%に張り付いていた ⼀体何が起こっていたのか？

  10. Copyright© 2021 dotD All Rights Reserved. 状況把握 障害発⽣⽇時に突然アクセス数が普段のピークの 4 倍に！

  11. Copyright© 2021 dotD All Rights Reserved. • Too many connectionsエラーが多発してる時点でAWS障害じゃなさそう

    • アクセス数が突然4倍になるのは考えにくい • たぶんエラーが出始めてLambdaがリトライしたかユーザも何度か操作を 繰り返したか、だと思った • RDSがボトルネックになってるだけなのでは？ • でも仮にピークが本当に4倍になっているならインスタンスタイプを1つ あげるだけじゃ⾜りない… 考えたこと

  12. Copyright© 2021 dotD All Rights Reserved. 2/7(⽇)にRDS Proxyを⼊れてみた しかし何も起こらなかった そして2⽇⽬の障害発⽣へ…

  13. Copyright© 2021 dotD All Rights Reserved. • DB接続数の最⼤値が増えるわけではない （理屈ではちょろっと増えるけど） •

    今回のようにDB接続数が突発的に増えた場合には 何の意味もない なぜか？

  14. Copyright© 2021 dotD All Rights Reserved. • 2/7(⽇)の夜にRDSのスケールアップ実施 • 平⽇のRDS

    CPU使⽤率が55%あたりだと⼟⽇は厳しい状況になる可能性が あることがわかったので注釈つけてみた 再発防⽌策（直近の障害発⽣防⽌施策）

  15. Copyright© 2021 dotD All Rights Reserved. 再発防⽌策（平時の運⽤観点での施策）

  16. Copyright© 2021 dotD All Rights Reserved. • 気にしないといけない情報を1画⾯のダッシュボードで⾒れるようにした • 傾向が⾒たかったから

    • 複数画⾯に分かれてるとそれだけで時間が取られるから • 時間取られると⾯倒くさくなって⾒なくなるから • 今回はRDSでの障害だったが、同じタイミングで他のリソースに影響が あるのかどうかも確認できるから • ついでにアラート設計を⾒直した • いつもダッシュボードを⾒ているわけにはいかない • 各サービスごとにモニタリングのベストプラクティスはあるが、 状況によってアラートの閾値は調整しないといけない 再発防⽌策（平時の運⽤観点での施策）

  17. Copyright© 2021 dotD All Rights Reserved. 再発防⽌策（平時の運⽤観点での施策）

  18. Copyright© 2021 dotD All Rights Reserved. • RDSでパフォーマンスインサイトを有効化した • クエリごとの負荷を⾒れるようになった

    • これで無限にRDSスケールアップをすることを防げるかもしれない 再発防⽌策（平時の運⽤観点での施策）

  19. Copyright© 2021 dotD All Rights Reserved. • ことあるごとにRDSにアクセスするロジックを変えようとしている • パフォーマンス改善の1案（今回の障害がトリガーではない）

    • RDSにアクセスさえしなければ同じ事象は発⽣しない • キャッシュをどこかに置くことを考えている • 海外展開も進めているのでどんな状況であれダウンタイムを短縮したい • 定期リストア訓練やDRの検討をしようと思う これからやろうとしている再発防⽌策

  20. Copyright© 2021 dotD All Rights Reserved. • どういう状態が正しいのかは必ず把握しよう • 障害時に初めてメトリクス等を⾒てもそれが異常なのかどうかわからん

    • アラートを設定するだけではなく傾向も確認しよう • 今は⼤丈夫でもこのままだと危ない！に気付こう • 何が原因で負荷が⾼いのかのヒントを常に⾒れるようにしよう • 下げられる負荷があるなら何もないうちに下げておきましょう まとめると

  21. Copyright© 2021 dotD All Rights Reserved. 以上の内容をブログでも公開しています。 https://note.com/takashinasu/n/ne12d99d593cf ブログ紹介

  22. • iOSエンジニア • Androidエンジニア • フロントエンドエンジニア • バックエンドエンジニア • SRE

    / インフラエンジニア • UI/UXデザイナー • ビジネスアーキテクト • 事業開発 お待ちしてます！ https://dotd-inc.com/ja/careers/