Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
システムの堅牢性
Search
kanayannet
September 11, 2023
Programming
0
190
システムの堅牢性
gunma.web #50
kanayannet
September 11, 2023
Tweet
Share
More Decks by kanayannet
See All by kanayannet
FW と ライブラリ の考え方
kanayannet
0
86
TDDと今まで
kanayannet
0
270
個人開発 稼げなくてもいいアプリ
kanayannet
0
390
Agile的学習方法
kanayannet
0
200
GUIをエンジニアが考える
kanayannet
0
170
http2http3
kanayannet
0
130
old typeからのクラウドインフラ
kanayannet
0
300
疎結合と認知
kanayannet
0
330
クリーンアーキテクチャを活かす考察
kanayannet
1
210
Other Decks in Programming
See All in Programming
ぼっちを避けて楽しむためのアノテコノテ / Various Tips and Tricks to Avoid Loneliness and Have Fun
nrslib
3
1.7k
Rustのweb開発を助ける 便利なツール紹介
yuki0418
1
190
Temporalを取り巻く仕様を整理する
sajikix
0
110
実用的かつリーズナブルな 「Azure × Gemini × LINE」~キャラクターBot 実装ライブデモ~
tomodo_ysys
1
170
DynamoDB コスト最適化っぽいことの基本 with Terraform
kuro_kurorrr
2
250
OpenAI/Gemini APIを使って EPUBを翻訳するCLIツールをつくってみた
tomiyan
0
790
Terraformテスト入門
msato
0
520
今こそ始める、CDKコンストラクトライブラリ開発 ― 入門から実践まで
tmokmss
1
930
Exploring the Gradually Lost Technical Skills in the Cloud Native Era
hwchiu
2
3.9k
CSC307 Lecture 13
javiergs
PRO
0
150
APIのない大学ログインWebサービスをWKWebViewとJavaScriptでアプリ化した話
akidon0000
1
330
しくじり先生 Image Matching Challenge 2024 編
goosehaaan
0
810
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
21
2.9k
RailsConf 2023
tenderlove
16
720
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
52k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
90
47k
The Invisible Side of Design
smashingmag
294
50k
Build The Right Thing And Hit Your Dates
maggiecrowley
28
2.2k
How to Ace a Technical Interview
jacobian
274
23k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
23
1.9k
Documentation Writing (for coders)
carmenintech
63
4.2k
Done Done
chrislema
179
15k
Teambox: Starting and Learning
jrom
130
8.6k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
149
45k
Transcript
システムの堅牢性 システムの堅牢性 Gunma.web #50 Gunma.web #50 @kanayannet
前提 前提 堅牢性の話は実はあまりない 主にウィークポイントを把握する話
今回の対象 今回の対象 開発して終わりじゃない方 リリース後から本番だと思っている方 検証大好きな人 稼働し続けるWEB サービスの中身が好きな人
対象外 対象外 100% の精度以外は認めない価値観 開発までしか考えないケース
やろうと思ったきっかけ やろうと思ったきっかけ
WEB+DB PRESS WEB+DB PRESS 休刊 さびしい
これからは これからは
カオスエンジニアリング特集 !! カオスエンジニアリング特集 !! これだ!
カオスエンジニアリング カオスエンジニアリング システムに疑似障害を故意に発生させる どこが予期せぬ異常を起こしたか?把握する 結果、障害に対しての対策が可能になる
具体例 具体例 会員制のBBS 閲覧は誰でも可能 ログインしないと書き込みは不可
構成図 構成図
テストケース テストケース ログインせず 閲覧できる 書き込みできない ログイン後 閲覧できる 書き込みできる
ここまでは普通のテストで試せる ここまでは普通のテストで試せる
RDS( ユーザ情報 ) RDS( ユーザ情報 ) わざと落とす どうなるか?
ありがちな不具合 1 ありがちな不具合 1 ログインしようとしたら... 500 番エラーで何も表示されない
def is_login(sid, token) User.find_by(sid: sid, token: token).present? end
原因 原因 DB 接続できず 接続できなかった場合の処理が全く書いてない 予期せぬエラーで落ちた
ありがちな不具合 2 ありがちな不具合 2 ログインしてないのに 書き込み出来ちゃったw
def is_login(sid, token) ret = true begin ret = User.find_by(sid:
sid, token: token).present? rescue # 握りつぶす! end ret end
原因 原因 RDB が落ちた場合に回避コードは書いてあったが... ログイン成功とみなしていた default: true !! 握りつぶしすぎ!
ありがちな不具合 3 ありがちな不具合 3 全く何も見れない ALL 500 番エラー
class Data def initialize(sid, token) @is_login = self.is_login(sid, token) end
def is_login(sid, token) User.find_by(sid: sid, token: token).present? end def articles Articles.all.order(id: 'desc') end def
原因 原因 ページ閲覧の際にもログイン情報を参照し 接続できない場合の例外処理を書いてなかった
そもそもな発見 そもそもな発見 閲覧のみならユーザ情報 参照するなよw 不必要な処理で裏じゃこっそりサーバ負荷上げてる
なんでカオス? なんでカオス? ここまで来ると解ったと思います。 予期せぬ障害を加えると、ソフトウェアは どういう振る舞いをするか?予想するのは困難である カオス的な振るまい
落ちない仕組みにすればいいのでは? 落ちない仕組みにすればいいのでは? 落ちずらい仕組みは目指せると思う マルチAZ フルマネージドなサービス: Aurora など
100% 落ちないはあり得ない 100% 落ちないはあり得ない
お金の問題もある お金の問題もある マルチリージョン, マルチAZ, オートスケーリング.. やればやるほど... 本当に全部が全部これ必要? 落とし所は欲しいよね?
先ほどの検証で解った事 先ほどの検証で解った事 今のままじゃダメだw コードを修正すればダウンする範囲を限定できそう 不必要な処理も直せそう
検知も欲しいよね? 検知も欲しいよね? 正常ではないレスポンスの検出 AWS: Synthetics Canary ..etc 独自に作ってもいいのでは? 今回の検証で どこに仕掛ければ良いか?
勘所が把握できたはず
まとめ まとめ
まとめ まとめ テストを実施する人に「丸投げ」パターンは限界あるよ 弱い箇所を知ることが本当に出来る? テストする人 = 構成を把握してますか? 「構成」を把握してないと「どこに何が潜んでいそうか?」 判断しずらいよね? 「落とす」ことにより色々発覚する
まとめ ( 心構え ) まとめ ( 心構え ) カオス =
怖い = 触りたくない -> これじゃダメ どう向き合うか?が重要 向き合う考え方をまとめたものがカオスエンジニアリング 予期せぬ挙動 = ダメ ではない 予期せぬ挙動が解った = 前進である
余談 余談 web+db press 復活して欲しい 休刊なので お待ちしてます! Software Design しばらく読んでます
Netflix こういう話題多いよね?
ご清聴 ご清聴 ありがとうございました。 ありがとうございました。
None