システムの堅牢性

システムの堅牢性システムの堅牢性 Gunma.web #50 Gunma.web #50 @kanayannet

前提前提堅牢性の話は実はあまりない主にウィークポイントを把握する話

今回の対象今回の対象開発して終わりじゃない方リリース後から本番だと思っている方検証大好きな人稼働し続けるWEB サービスの中身が好きな人

対象外対象外 100% の精度以外は認めない価値観開発までしか考えないケース

やろうと思ったきっかけやろうと思ったきっかけ

WEB+DB PRESS WEB+DB PRESS 休刊さびしい

これからはこれからは

カオスエンジニアリング特集 !! カオスエンジニアリング特集 !! これだ！

カオスエンジニアリングカオスエンジニアリングシステムに疑似障害を故意に発生させるどこが予期せぬ異常を起こしたか？把握する結果、障害に対しての対策が可能になる

具体例具体例会員制のBBS 閲覧は誰でも可能ログインしないと書き込みは不可

構成図構成図

テストケーステストケースログインせず閲覧できる書き込みできないログイン後閲覧できる書き込みできる

ここまでは普通のテストで試せるここまでは普通のテストで試せる

RDS( ユーザ情報 ) RDS( ユーザ情報 ) わざと落とすどうなるか？

ありがちな不具合 1 ありがちな不具合 1 ログインしようとしたら... 500 番エラーで何も表示されない

def is_login(sid, token) User.find_by(sid: sid, token: token).present? end

原因原因 DB 接続できず接続できなかった場合の処理が全く書いてない予期せぬエラーで落ちた

ありがちな不具合 2 ありがちな不具合 2 ログインしてないのに書き込み出来ちゃったw

def is_login(sid, token) ret = true begin ret = User.find_by(sid:
sid, token: token).present? rescue # 握りつぶす！ end ret end

原因原因 RDB が落ちた場合に回避コードは書いてあったが... ログイン成功とみなしていた default: true !! 握りつぶしすぎ！

ありがちな不具合 3 ありがちな不具合 3 全く何も見れない ALL 500 番エラー

class Data def initialize(sid, token) @is_login = self.is_login(sid, token) end
def is_login(sid, token) User.find_by(sid: sid, token: token).present? end def articles Articles.all.order(id: 'desc') end def

原因原因ページ閲覧の際にもログイン情報を参照し接続できない場合の例外処理を書いてなかった

そもそもな発見そもそもな発見閲覧のみならユーザ情報参照するなよw 不必要な処理で裏じゃこっそりサーバ負荷上げてる

なんでカオス？なんでカオス？ここまで来ると解ったと思います。予期せぬ障害を加えると、ソフトウェアはどういう振る舞いをするか？予想するのは困難であるカオス的な振るまい

落ちない仕組みにすればいいのでは？落ちない仕組みにすればいいのでは？落ちずらい仕組みは目指せると思うマルチAZ フルマネージドなサービス: Aurora など

100% 落ちないはあり得ない 100% 落ちないはあり得ない

お金の問題もあるお金の問題もあるマルチリージョン, マルチAZ, オートスケーリング.. やればやるほど... 本当に全部が全部これ必要？落とし所は欲しいよね?

先ほどの検証で解った事先ほどの検証で解った事今のままじゃダメだw コードを修正すればダウンする範囲を限定できそう不必要な処理も直せそう

検知も欲しいよね？検知も欲しいよね？正常ではないレスポンスの検出 AWS: Synthetics Canary ..etc 独自に作ってもいいのでは？今回の検証でどこに仕掛ければ良いか？
勘所が把握できたはず

まとめまとめ

まとめまとめテストを実施する人に「丸投げ」パターンは限界あるよ弱い箇所を知ることが本当に出来る？テストする人 = 構成を把握してますか？「構成」を把握してないと「どこに何が潜んでいそうか？」判断しずらいよね？「落とす」ことにより色々発覚する

まとめ ( 心構え ) まとめ ( 心構え ) カオス =
怖い = 触りたくない -> これじゃダメどう向き合うか？が重要向き合う考え方をまとめたものがカオスエンジニアリング予期せぬ挙動 = ダメではない予期せぬ挙動が解った = 前進である

余談余談 web+db press 復活して欲しい休刊なのでお待ちしてます! Software Design しばらく読んでます
Netflix こういう話題多いよね？

ご清聴ご清聴ありがとうございました。ありがとうございました。

システムの堅牢性

システムの堅牢性

More Decks by kanayannet

Other Decks in Programming

Featured

Transcript