Upgrade to Pro — share decks privately, control downloads, hide ads and more …

障害対応を自動化した話 / 20220609_Automation

Cdf97a1b1b132c56582773c3ba09a3a6?s=47 Rakus_Dev
June 09, 2022
Technology
0
400

障害対応を自動化した話 / 20220609_Automation

Cdf97a1b1b132c56582773c3ba09a3a6?s=128

Rakus_Dev

June 09, 2022
Tweet

More Decks by Rakus_Dev

See All by Rakus_Dev
既存システムのフロントエンド・バックエンド分離 / meetup0706-seki
Cdf97a1b1b132c56582773c3ba09a3a6?s=48 rakus_dev
0
350
プロダクトデザイン組織の 新しい取り組み / meetup0706-onoda
Cdf97a1b1b132c56582773c3ba09a3a6?s=48 rakus_dev
1
330
横断部門としての取り組み紹介（研究開発、共通基盤開発） / rakus-meetup-202206
Cdf97a1b1b132c56582773c3ba09a3a6?s=48 rakus_dev
0
830
若手が可読性を上げるために気を付けたこと / 20210707_readablelt_nazato
Cdf97a1b1b132c56582773c3ba09a3a6?s=48 rakus_dev
0
970
リーダブルなPHPDocを目指して / 20210707-readablelt-nishihara
Cdf97a1b1b132c56582773c3ba09a3a6?s=48 rakus_dev
0
970
インフラエンジニアとしての成長記 / 20220302_Meetup_maekawa
Cdf97a1b1b132c56582773c3ba09a3a6?s=48 rakus_dev
0
440
右も左も分からない1年目が上流工程を理解するまでの話 / 20220302-meetup-nagata
Cdf97a1b1b132c56582773c3ba09a3a6?s=48 rakus_dev
0
440
入社して3年間で『Rundeck』を使って自動化した「面倒」な作業たち / 20220302-meetup-kanamori
Cdf97a1b1b132c56582773c3ba09a3a6?s=48 rakus_dev
0
550
ラクスUI開発課のチーム活動 / 220222_uiux
Cdf97a1b1b132c56582773c3ba09a3a6?s=48 rakus_dev
0
500

Other Decks in Technology

See All in Technology
質の良い”カイゼン”の為の質の良い「振り返り」
Bf7fe621f4fe1615c228ef8a79b87282?s=48 shirayanagiryuji
0
110
経験者が話す！クラウド接続の3つの注意点と最新情報
61c616e83bef28a1cd2666439ebf334b?s=48 sbtechnight
0
290
Software de Colombia para el mundo
02c817926d446faab88b0202be4391eb?s=48 tiangolo
0
1k
Backlog × RPAでいろいろ捗った話
87470304247051028bed32895e4816cd?s=48 z_tetsu
0
360
GCCP Creator @ COSCUP 2022
2102a6b8760bd6f57f672805723dd83a?s=48 line_developers_tw
PRO
0
1.4k
Oracle Database Technology Night #57 Database Services in Oracle Cloud 最新情報アップデートと活用Tips
3115a782126be714b5f94d24073c957d?s=48 oracle4engineer
PRO
0
140
#awsbasics [LT] サーバレスECにおける Step Functions の使い方
74cec195bfb6cb5165256d88cb7fcf0f?s=48 miu_crescent
0
820
AlexNet前夜
Be0f86176276318b4b9775d795278f7e?s=48 yushiku
PRO
0
550
聊聊 Cgo 的二三事
B3a7c0d5c590642dbce68bce8929a2df?s=48 david74chou
0
320
ReverseETLでユーザーに価値を届ける基盤を実現した話
0c847ea07895706f7435ef67d31a5f6e?s=48 hakky
0
320
Power Automate for desktopで 配信環境を改善してみた話
C97407daeb9ad3a654e6a0ad8701b972?s=48 akiika
0
160
Settlement simulation testing to ensure correct settlement processing
23e9a5be8e46efd1cf6a07694a047237?s=48 applepine1125
2
750

Featured

See All Featured
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
C44e1f7e22c3f23cff7bc130871047ef?s=48 eileencodes
119
28k
jQuery: Nuts, Bolts and Bling
9cde37f47e4a800ea081ea42de8d749a?s=48 dougneiner
56
6.4k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
Fd55de4174accaf3b4f030e43a8a70c6?s=48 marcduiker
6
560
Java REST API Framework Comparison - PWX 2021
72a2082c6a4dd79ad68befb3db911616?s=48 mraible
PRO
11
4.8k
A Modern Web Designer's Workflow
8081b26e05bb4354f7d65ffc34cbbd67?s=48 chriscoyier
689
180k
Designing the Hi-DPI Web
C157b16234f1e75e8eac3698c1d4414a?s=48 ddemaree
272
32k
Music & Morning Musume
A60068bce2e73de3a37ca9d2dbe36092?s=48 bryan
35
4.3k
Scaling GitHub
78b475797a14c84799063c7cd073962f?s=48 holman
451
140k
Building Adaptive Systems
06f8b41980eb4c577fa40c41d5030c19?s=48 keathley
25
1.1k
Atom: Resistance is Futile
7fa6101cd43067653cf4ac6c7ca54305?s=48 akmur
255
20k
Rebuilding a faster, lazier Slack
C0b42577cfc2b321be3474618107e933?s=48 samanthasiow
62
7.3k
Git: the NoSQL Database
20bfe76b3d6105641f879fe45cfc9272?s=48 bkeepers
PRO
415
59k

Transcript

  1. #RAKUSMeetup ©2019 RAKUS Co., Ltd. ©2019 RAKUS Co., Ltd. 障害対応を自動化した話

  2. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自己紹介 • 名前：下西 章王 （しもにし

    あきおう） • 出身：大阪 • 趣味：ゴルフ、野球、サウナ、麻雀、etc… • 所属：ラクス インフラ開発部 • 業務内容：インフラを担当してます。 コーポレートサイト・サービスサイトの運用・保守 メール配信システムの運用・保守

  3. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 今日話すこと • 自動化した内容 • 使ったツールの話

    • こんなことしました • まとめ

  4. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容

  5. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容 メール配信システムの話 • 障害の内容 •

    RabbitMQにメールキューをためているのですが、アプリのバグ？でなぜかキューが1つ残り 続けてしまうことがあります。 • このままでは残ったキューが配信されず、残り続けてしまい、読者に届かない… • 復旧方法はアプリを再起動すれば直る アプリ インターネット キューに残り続ける 再起動で復旧

  6. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容 メール配信システムの話 作業時間は5～10分くらいなのですが、 毎回アラートが上がるたびにPCを起動して… アプリ再起動させて…

    キューがなくなったの確認して… とめんどくさい。。。 そしてまぁまぁな頻度で発生する…(ならすと1日1回以上…) ヨシ。自動化しよう。

  7. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話

  8. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話 • Prometheus (監視のデータ収集) •

    Grafana (監視データの描画・アラート発砲) • Django (Pythonのフレームワーク) • Rundeck (ジョブ実行ツール) 上記を使って自動化しました。

  9. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成

  10. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリ

  11. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 MQを監視 アプリ

  12. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 キューが残っている アラートを検知 アプリ

  13. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 Webhookで Djangoに通知 アプリ

  14. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 APIを叩いて ジョブを実行 アプリ

  15. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリを再起動 アプリ

  16. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 キューを取得し配信 アプリ

  17. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリ 復旧を検知

  18. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 MQを監視 アプリ アラート発砲 ジョブを実行

    アプリを再起動 キューを取得し配信

  19. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話 当時、Rundeckはwebhookを受けられなかったので、仕方なくDjangoを挟みまし たが、現在ではRundeckもwebhookを受けられるようになっています。 これで、Djangoを挟まずに自動復旧ができるようになりました。 が、まだ使ってはいない。。。

  20. #RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ

  21. #RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ GrafanaからRundeckへ連携ができるようになったことで、障害の自動復旧がやり やすくなりました。 手順が決まっているような障害には使えるはず… 無駄な作業は機械にやらせてしまいましょう。

    自動復旧に頼ってしまうとそもそもの根本原因の解決が後回しになってしまうこ とは注意が必要です。 (この件でいうと障害の根本原因を解決していないのは内緒。)

  22. #RAKUSMeetup ©2019 RAKUS Co., Ltd. ご清聴ありがとうございました