実践 自動復旧 / self healing

Transcript

1. Copyright © GREE, Inc. All Rights Reserved. Copyright © GREE,

   Inc. All Rights Reserved. 実践 自動復旧 Hiroaki Kobayashi 2019-02-26

2. Copyright © GREE, Inc. All Rights Reserved. 小林 裕明 •

   所属: グリー株式会社 開発本部 インフラストラクチャ部 • 業務: • プロダクトリリース・運用支援 • モニタリングシステム運用 自己紹介

3. Copyright © GREE, Inc. All Rights Reserved. よいアラートの仕組みを作る6つの方法 • アラートにメールを使うのをやめよう

   • 手順書を書こう • 固定の閾値を決めることだけが方法ではない • アラートを削除し、チューニングしよう • メンテナンス期間を使おう • まずは自動復旧を試そう <- !? 入門 監視 3章より

4. Copyright © GREE, Inc. All Rights Reserved. • AWS環境の通知種別と配信基盤 •

   自動復旧を導入した話 • 何から手を付けるか • どうやって実装するか • 導入 / 効果測定 / イテレーション • 自動復旧との付き合い方 話すこと

5. Copyright © GREE, Inc. All Rights Reserved. • critical •

   即時対応が必要 • 通知先: PagerDuty, Slack, ... • a.k.a: アラート, ページ • warning • 即時対応は不要 • 通知先: Slack, ... • a.k.a: (アラート), ロギング • ticket • 期日までに対応が必要 • 通知先: Slack, JIRA 通知の種別

6. Copyright © GREE, Inc. All Rights Reserved. Architecture アラート配信基盤 Alert

   Yusura - distribute alerts - summarize alerts - fetch metadata Job

7. Copyright © GREE, Inc. All Rights Reserved. 対応手順書を書く • 観測して明文化する

   • このアラートは何を意味するのか • サービス(SLO)への影響はあるか • 何を確認すべきか • どのような行動を取るべきか • 法則が見えてくる • 実はコマンド1発叩いているだけ • 単純なアラートほど頻出する • アラートにhookしてコマンド実行できれば良いのでは 何から手を付けるか

8. Copyright © GREE, Inc. All Rights Reserved. • シンプルにする •

   単一インスタンスで完結させる • オーケストレーションはしない • サービスレベルを悪化させない • SLOの範囲内で実施 • サービスアウトされたインスタンスに実施 • バッファを持ち欠損しない処理に実施 • Fail Safeにする • プロセス再起動するなら、プロセスチェックする • しきい値であれば2重に設定する どうやって実装するか 方針

9. Copyright © GREE, Inc. All Rights Reserved. リソース管理のためのサービス • コマンド実行に関係する機能

   • Run Command: タスク・コマンド実行 • Automation: タスクのステップ実行 • SSM Documents: タスク・コマンド群の定義 • AWS APIでコマンド実行できる • SNS -> Lambda -> SSM RunCommand • CloudWatch Event -> SSM RunCommand AWS System Manager (SSM) $ aws ssm send-command \ --document-name "AWS-RunShellScript" \ --instance-ids i-123 \ --parameters '{"commands":["hostname"]}'

10. Copyright © GREE, Inc. All Rights Reserved. Architecture 実装 自動復旧

    SQS Yusura Target SNS SSM 1. notify 2. receive 3. notify 3. notify 4. trigger 5. resolve 6,8. notify 7. execute Lambda

11. Copyright © GREE, Inc. All Rights Reserved. 実行宣言 / 結果報告

12. Copyright © GREE, Inc. All Rights Reserved. 設定イメージ { "SOME_ROLE:SOME_ALERT":

    { "commands": [ "PROC_CHECK --ignore-check FOO_PROCESS", "service FOO_PROCESS restart", "service FOO_PROCESS status" ] } }

13. Copyright © GREE, Inc. All Rights Reserved. • 導入は慎重に行う •

    導入初期はアラートも飛ばして人が見守る • 実績ができ次第アラートは無効にする (Warning化) • アラートレポートで可視化・イテレートする • 無効化・ルール見直し・自動復旧・恒久対応 導入 / 効果測定 / イテレーション

14. Copyright © GREE, Inc. All Rights Reserved. Architecture Alert Report

    Scheduled Search Webhook Connection Webhook Webhook

15. Copyright © GREE, Inc. All Rights Reserved. • 自動復旧は恒久対応ではない •

    あくまで一次対応の負担を下げるもの • 根本原因は解決されていない • 浮いた時間で恒久対応する • 恒久対応は時間がかかる • 担当者の工数確保 • OSSのフィードバック、修正、リリース • ミドルウェアのバージョンアップ • アーキテクチャの再設計 • オンコールが疲弊しないための自動復旧 • 必要以上に依存しない 自動復旧との付き合い方

16. Copyright © GREE, Inc. All Rights Reserved. • 手順書を書いてアルゴリズムを把握する •

    自動化できるかの指針になる • アラート削減や恒久対応の際の指針になる • SNS, Lambda, SSMがあればわりとなんとかなる • 自動復旧は恒久対応ではないので使いすぎには注意 まとめ

17. Copyright © GREE, Inc. All Rights Reserved. Copyright © GREE,

    Inc. All Rights Reserved. インターネットを通じて、 世界をより良くする。

18. Copyright © GREE, Inc. All Rights Reserved.