LT_2023-01-26 不要になったAWSリソースを削除してサービス障害起こした話

不要になったAWSリソースを削除してサービス障害起こした話 Tomoki Inoue 2023/01/26

• Name: Tomoki Inoue • Join: 2019.3~ • Position: Backend
Engineer • Twitter: @_tmkinoue 自己紹介

経歴 ~2019 : PHP, JavaScript 2019 : PHP, JavaScript, AWS
2020 : Golang, AWS, Kubernetes (Amazon EKS) 2021 : Golang, AWS, Kubernetes (Amazon EKS) 2022 : React Native, AWS, Kubernetes (Amazon EKS)

不要になったと思っていたAWSリソースを削除してサービス障害起こした話

背景

Feb. 2020 icon by Icons8

Feb. 2020 FE team BE team icon by Icons8

Feb. 2020 ~ BE team icon by Icons8

2021 Summer icon by Icons8 卒業します異動します

2021 Summer BE team icon by Icons8

2021 Summer ~ icon by Icons8 Kubernetes Ver. Amazon EKS
end of support 1.17 2021.11 1.18 2022.03 1.19 2022.08 1.20 2022.11 1.21 2023.02 Ver. up

やったこと

2021 Summer icon by Icons8 Kubernetes Ver. Amazon EKS end
of support 1.17 2021.11 1.18 2022.03 1.19 2022.08 1.20 2022.11 1.21 2023.02 Ver. up New Cluster (Latest ver.)

Mar.2022 ~May.2022 icon by Icons8 Ver. up New Cluster (Latest
ver.)

AWS Cloud Amazon EKS EC2 instance contents icon by Icons8
User Internet Application Load Balancer Pod (Golang Application) Amazon CloudFront

AWS Cloud icon by Icons8 User Internet Amazon CloudFront Amazon
EKS EC2 instance contents Application Load Balancer Pod (Golang Application) Amazon EKS EC2 instance contents Application Load Balancer Pod (Golang Application)

AWS Cloud icon by Icons8 Amazon CloudFront Amazon EKS EC2
instance contents Application Load Balancer Pod (Golang Application) Amazon EKS EC2 instance contents Application Load Balancer Pod (Golang Application) $ eksctl delete cluster

結果

AWS Cloud icon by Icons8 User Internet Amazon CloudFront Amazon
EKS EC2 instance contents Application Load Balancer Pod (Golang Application) Amazon EKS EC2 instance contents Application Load Balancer Pod (Golang Application)

原因

instance contents Application Load Balancer Pod (Golang Application) Amazon EKS EC2 instance contents Application Load Balancer Pod (Golang Application) Amazon SQS Amazon DynamoDB Amazon Aurora

instance contents Application Load Balancer Pod (Golang Application) Amazon EKS EC2 instance contents Application Load Balancer Pod (Golang Application) Amazon SQS Amazon DynamoDB Amazon Aurora Role

AWS Cloud $ eksctl create cluster Amazon EKS Application Load
Balancer Role Amazon EC2 AWS CloudFormation

AWS Cloud $ eksctl delete cluster Amazon EKS Application Load
Balancer Role Amazon EC2 AWS CloudFormation

新しいクラスタを作ったときは？

icon by Icons8 Ver. up New Cluster (Latest ver.)

反省と教訓

反省と教訓 • その作業、実施すると何が起こるかわかってますか？ • 手順書の内容を把握しただけで理解した気になっていませんか？ • レビュー、ちゃんと見て内容を理解してますか？ ◦ そんな余裕はない？ ◦
そこにリソースを割くことができない？

反省と教訓 • ちゃんと見てないけど担当者がいい感じにやってくれるはず • でも引き継ぎは突然やってくることもあります ◦ 退職、休職、異動... • 前任者がしっかりと仕事してくれる人だったから大丈夫？ •
退職者は責任を取ってくれませんよ？

まとめ

本番環境の作業をするときはくれぐれも慎重に ☆（ゝω・）vｷｬﾋﾟ

ご清聴ありがとうございました

LT_2023-01-26 不要になったAWSリソースを 削除してサービス障害起こした話

LT_2023-01-26 不要になったAWSリソースを 削除してサービス障害起こした話

Other Decks in Programming

Featured

Transcript

LT_2023-01-26 不要になったAWSリソースを削除してサービス障害起こした話

LT_2023-01-26 不要になったAWSリソースを削除してサービス障害起こした話