Tweet
Tweet

Slide 1

Slide 1 text

re:InventのWorkshop 「Advanced Multi-AZ Resilience Patterns」 から学ぶgray failures OpsJAWS #26 はたはた

Slide 2

Slide 2 text

アジェンダ ⚫はじめに ⚫re:Inventのセッションについて ⚫Workshop「Advanced Multi-AZ Resilience Patterns」から 学ぶgray failures ⚫概要 ⚫gray failuresとは

Slide 3

Slide 3 text

アジェンダ ⚫はじめに ⚫re:Inventのセッションについて ⚫Workshop「Advanced Multi-AZ Resilience Patterns」から 学ぶgray failures ⚫概要 ⚫gray failuresとは

Slide 4

Slide 4 text

自己紹介 名前： 畠山 大治 業務： AWSを使ったインフラ構築 @某CIre 趣味： Perfumeを追いかける（ファンクラブ 9年目） 読書、映画・アニメを見る 資格： AWS認定全冠、GC認定ACE 好きなAWSサービス： VPC @hatake_book

Slide 5

Slide 5 text

re:Inventに初参加してきました！

Slide 6

Slide 6 text

re:Inventに初参加してきました！ 参加レポを書いているので、気になる方はぜひ読んでください https://qiita.com/hatahatahata/items/6418944d7d07df7649fe

Slide 7

Slide 7 text

アジェンダ ⚫はじめに ⚫re:Inventのセッションについて ⚫Workshop「Advanced Multi-AZ Resilience Patterns」から 学ぶgray failures ⚫概要 ⚫gray failuresとは

Slide 8

Slide 8 text

re:Inventのセッションの種類（一例） ⚫Keynote ⚫基調講演、新発表がバンバンされる ⚫Breakout Session, Leadership Session ⚫ある特定のテーマ、技術領域について語られるセッション ⚫Builders Session, Workshop ⚫シナリオが用意されていて、実際にサービスを触ることが できる

Slide 9

Slide 9 text

re:InventのWorkshopセッション、実は… ⚫気になるWorkshop発見！ ⚫でも他に気になるセッションが 被ってる…

Slide 10

Slide 10 text

re:InventのWorkshopセッション、実は… ⚫現地でなくてもシナリオを見れるセッションがある！ https://speakerdeck.com/kadogen_0527/let-s-try-aws-jam?slide=19

Slide 11

Slide 11 text

re:InventのWorkshopセッション、実は… ⚫Workshop発見！ ⚫帰国してから腰を据えてWorkshopやってみました

Slide 12

Slide 12 text

アジェンダ ⚫はじめに ⚫re:Inventのセッションについて ⚫Workshop「Advanced Multi-AZ Resilience Patterns」から 学ぶgray failures ⚫概要 ⚫gray failuresとは

Slide 13

Slide 13 text

Workshopの概要 ⚫よくあるマルチAZ構成を作り、 gray failures(グレー障害) につ いて学ぶWorkshop ⚫疑似的にgray failuresを発生さ せて、検知→復旧のフローを体 験する

Slide 14

Slide 14 text

アジェンダ ⚫はじめに ⚫re:Inventのセッションについて ⚫Workshop「Advanced Multi-AZ Resilience Patterns」から 学ぶgray failures ⚫概要 ⚫gray failuresとは

Slide 15

Slide 15 text

gray failuresとは ざっくりまとめると… システム全体が正常な状態であるように見えても、ワークロード（システムの中で 動いている処理単体）の観点で見ると異常が発生している状態のこと

Slide 16

Slide 16 text

gray failuresの一例 ざっくりまとめると… システム全体が正常な状態であるように見えても、ワークロード（システムの中で 動いている処理単体）の観点で見ると異常が発生している状態のこと AZ間の通信に障害が 発生しても…

Slide 17

Slide 17 text

gray failuresの一例 ざっくりまとめると… システム全体が正常な状態であるように見えても、ワークロード（システムの中で 動いている処理単体）の観点で見ると異常が発生している状態のこと Route53ヘルスチェック： 異常なし AZ間の通信に障害が 発生しても…

Slide 18

Slide 18 text

gray failuresの一例 ざっくりまとめると… システム全体が正常な状態であるように見えても、ワークロード（システムの中で 動いている処理単体）の観点で見ると異常が発生している状態のこと Route53ヘルスチェック： 異常なし AZ間の通信に障害が 発生しても… AutoScalingグループ： 異常なし

Slide 19

Slide 19 text

gray failuresの一例 ざっくりまとめると… システム全体が正常な状態であるように見えても、ワークロード（システムの中で 動いている処理単体）の観点で見ると異常が発生している状態のこと Route53ヘルスチェック： 異常なし AZ間の通信に障害が 発生しても… AutoScalingグループ： 異常なし Aurora：異常なし フェイルオーバーなし

Slide 20

Slide 20 text

gray failuresの一例 ざっくりまとめると… システム全体が正常な状態であるように見えても、ワークロード（システムの中で 動いている処理単体）の観点で見ると異常が発生している状態のこと Route53ヘルスチェック： 異常なし AZ間の通信に障害が 発生しても… AutoScalingグループ： 異常なし システム的に異常はないようにみえるが、 実は裏でAZ間の通信障害が発生している！！ Aurora：異常なし フェイルオーバーなし

Slide 21

Slide 21 text

gray failuresの危険な点 ⚫迅速な障害検知と対応が難しい ⚫障害による影響を軽減するまでの時間が長くなりがち ⚫「気づいたらシステム障害に発展してた」なんてことに ⚫根本的原因が解決されないと再発しかねない

Slide 22

Slide 22 text

gray failuresの検知 ⚫標準的なメトリクスでは検知できないことが多いので、一工夫必要 ⚫Workshopの例で考えると… ⚫AZ障害を検知できるようにする必要がある ⚫CloudWatchの複合アラームを活用することで、AZ障害を検知しアラートを発生させる 方法が実装されている ⚫リージョン起因でないこと、単体のインスタンス起因でないことを検知できる複合ア ラームがWorkshop内で使われている CloudWatch 複合アラームによる障害検出 https://docs.aws.amazon.com/ja_jp/whitepapers/latest/advanced-multi-az-resilience-patterns/failure-detection- with-cloudwatch-composite-alarms.html

Slide 23

Slide 23 text

gray failuresからの復旧 ⚫まずはデータプレーンのアクション、その後コントロール プレーンのアクションを使用して復旧する https://speakerdeck.com/yoshiiryo1/opsjaws-meetup24-jing-de-an-ding-xing-wokao-eru-yi-cun- sinaiakitekutiya?slide=6

Slide 24

Slide 24 text

gray failuresからの復旧 ⚫コントロールプレーンのアクション ⚫コントロールプレーンはデータプレーンよりも複雑なので、 障害が発生しやすい ⚫障害が発生しているとアクションが失敗し、復旧できなくなる ⚫データプレーンのアクション ⚫コントロールプレーンと比較するとシンプル、障害が起きにくい ⚫先にデータプレーンのアクションで対応、次にコントロールプレーンの アクションで対応、という流れの方が失敗確率が低い

Slide 25

Slide 25 text

今回の例で考えてみると…

Slide 26

Slide 26 text

1. データプレーンアクションによる復旧 ⚫対応方針 ⚫障害が発生したAZ向きの トラフィックを止める ⚫対応策 ⚫Route53 ARC のゾーンシフト を使ってAZ1にトラフィックを 流さないようにする

Slide 27

Slide 27 text

2. コントロールプレーンアクションによる復旧 ⚫対応方針 ⚫障害が発生したAZでリソース の構成を変更する ⚫対象のAZを設定から除外して リソース追加を防ぐ、など ⚫対応策 ⚫AZ1内にあるサブネットを AutoScalingグループから除外

Slide 28

Slide 28 text

まとめ ⚫re:InventのWorkshopはすでに公開されているシナリオを使うことがあ るので、あらかじめ確認しておくと良い ⚫Workshop「Advanced Multi-AZ Resilience Patterns」では、マルチAZ 構成で起こりうるgray failuresについて学ぶことができる ⚫検知と復旧にはポイントがある ⚫検知には一工夫必要（例えば複合アラームを使った検知など） ⚫復旧は「データプレーンのアクション」→「コントロールプレーン のアク ション」の順に実行して復旧させる

Slide 29

Slide 29 text

参考情報 ⚫workshop studio Advanced Multi-AZ Resilience Patterns ⚫ https://catalog.workshops.aws/multi-az-gray-failures/en-US/introduction ⚫re:Invent 2023 Workshop Advanced multi-AZ resilience patterns: Mitigating gray failures ⚫ https://d1.awsstatic.com/events/Summits/reinvent2022/ARC201-R_Advanced-multi-AZ-resilience- patterns-Mitigating-gray-failures.pdf ⚫ホワイトペーパー：gray failures ⚫ https://docs.aws.amazon.com/ja_jp/whitepapers/latest/advanced-multi-az-resilience-patterns/gray- failures.html