実践自動復旧 / self healing

by kobtea

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright © GREE, Inc. All Rights Reserved. ● critical ● 即時対応が必要 ● 通知先: PagerDuty, Slack, ... ● a.k.a: アラート, ページ ● warning ● 即時対応は不要 ● 通知先: Slack, ... ● a.k.a: (アラート), ロギング ● ticket ● 期日までに対応が必要 ● 通知先: Slack, JIRA 通知の種別

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Copyright © GREE, Inc. All Rights Reserved. 対応手順書を書く ● 観測して明文化する ● このアラートは何を意味するのか ● サービス(SLO)への影響はあるか ● 何を確認すべきか ● どのような行動を取るべきか ● 法則が見えてくる ● 実はコマンド1発叩いているだけ ● 単純なアラートほど頻出する ● アラートにhookしてコマンド実行できれば良いのでは何から手を付けるか

Slide 8

Slide 8 text

Copyright © GREE, Inc. All Rights Reserved. ● シンプルにする ● 単一インスタンスで完結させる ● オーケストレーションはしない ● サービスレベルを悪化させない ● SLOの範囲内で実施 ● サービスアウトされたインスタンスに実施 ● バッファを持ち欠損しない処理に実施 ● Fail Safeにする ● プロセス再起動するなら、プロセスチェックする ● しきい値であれば2重に設定するどうやって実装するか方針

Slide 9

Slide 9 text

Copyright © GREE, Inc. All Rights Reserved. リソース管理のためのサービス ● コマンド実行に関係する機能 ● Run Command: タスク・コマンド実行 ● Automation: タスクのステップ実行 ● SSM Documents: タスク・コマンド群の定義 ● AWS APIでコマンド実行できる ● SNS -> Lambda -> SSM RunCommand ● CloudWatch Event -> SSM RunCommand AWS System Manager (SSM) $ aws ssm send-command \ --document-name "AWS-RunShellScript" \ --instance-ids i-123 \ --parameters '{"commands":["hostname"]}'

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Copyright © GREE, Inc. All Rights Reserved. ● 自動復旧は恒久対応ではない ● あくまで一次対応の負担を下げるもの ● 根本原因は解決されていない ● 浮いた時間で恒久対応する ● 恒久対応は時間がかかる ● 担当者の工数確保 ● OSSのフィードバック、修正、リリース ● ミドルウェアのバージョンアップ ● アーキテクチャの再設計 ● オンコールが疲弊しないための自動復旧 ● 必要以上に依存しない自動復旧との付き合い方