障害対応を自動化した話 / 20220609_Automation

by Rakus_Dev

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容メール配信システムの話 • 障害の内容 • RabbitMQにメールキューをためているのですが、アプリのバグ？でなぜかキューが1つ残り続けてしまうことがあります。 • このままでは残ったキューが配信されず、残り続けてしまい、読者に届かない… • 復旧方法はアプリを再起動すれば直るアプリインターネットキューに残り続ける再起動で復旧

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ GrafanaからRundeckへ連携ができるようになったことで、障害の自動復旧がやりやすくなりました。手順が決まっているような障害には使えるはず… 無駄な作業は機械にやらせてしまいましょう。自動復旧に頼ってしまうとそもそもの根本原因の解決が後回しになってしまうことは注意が必要です。 (この件でいうと障害の根本原因を解決していないのは内緒。)

Slide 22

Slide 22 text