Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

障害対応を自動化した話 / 20220609_Automation

Avatar for Rakus_Dev Rakus_Dev
June 09, 2022
Technology
0
890

障害対応を自動化した話 / 20220609_Automation

Avatar for Rakus_Dev

Rakus_Dev

June 09, 2022
Tweet

More Decks by Rakus_Dev

See All by Rakus_Dev
【pmconf2025】AI時代の『ジュニア不要論』に異議あり！ 未経験から戦力PdMを生み出すOJT戦略とは？
Avatar for Rakus_Dev rakus_dev
1
890
プロダクトづくりにAIを溶かす３つの壁 ― ラクス流AI浸透のススメ / 3 Barriers to AI in Products: The Rakus Way
Avatar for Rakus_Dev rakus_dev
0
2.3k
設計フェーズを加速するAI活用戦略 / AI Strategy for Accelerated Design
Avatar for Rakus_Dev rakus_dev
2
640
10年以上続くWebサービスのAIファースト時代への向き合い方 / Navigating the AI-First Era: A Strategy for Established Web Services
Avatar for Rakus_Dev rakus_dev
0
540
楽楽明細開発部 | 組織的なAI駆動開発の推進 / Promoting organizational AI-driven development
Avatar for Rakus_Dev rakus_dev
0
530
AIエージェントを使った爆速デモアプリ作成 / Rapid demo app creation using AI agents
Avatar for Rakus_Dev rakus_dev
0
530
Claude Codeによる自律的並列分析の実践 / Practicing Autonomous Parallel Analysis with Claude Code
Avatar for Rakus_Dev rakus_dev
0
670
コードを書かないマネージャーがつくるコンテキストエンジニアリング / Context Engineering Created by a Non-Coding Manager
Avatar for Rakus_Dev rakus_dev
0
560
AIへの再指示を抑える要件、設計、デザイン等のモバイル開発コンテキストの渡し方
Avatar for Rakus_Dev rakus_dev
0
170

Other Decks in Technology

See All in Technology
2025年のデザインシステムとAI 活用を振り返る
Avatar for Tech Leverages leveragestech
0
240
2025-12-18_AI駆動開発推進プロジェクト運営について / AIDD-Promotion project management
Avatar for yayoi_dd yayoi_dd
0
160
SQLだけでマイグレーションしたい！
Avatar for MakKi makki_d
0
1.2k
AR Guitar: Expanding Guitar Performance from a Live House to Urban Space
Avatar for Ekito ekito_station
0
220
ペアーズにおけるAIエージェント 基盤とText to SQLツールの紹介
Avatar for Hikaru Sasamoto hisamouna
2
1.7k
Connection-based OAuthから学ぶOAuth for AI Agents
Avatar for GMO Flatt Security flatt_security
0
370
半年で、AIゼロ知識から AI中心開発組織の変革担当に至るまで
Avatar for ryu rfdnxbro
0
140
AIBuildersDay_track_A_iidaxs
Avatar for iidaxs iidaxs
4
1.3k
Entity Framework Core におけるIN句クエリ最適化について
Avatar for tkym htkym
0
120
Oracle Database@Google Cloud：サービス概要のご紹介
Avatar for oracle4engineer oracle4engineer
PRO
1
760
投資戦略を量産せよ 2 - マケデコセミナー(2025/12/26)
Avatar for tomo gamella
0
410
ActiveJobUpdates
Avatar for Kuniaki IGARASHI igaiga
1
320

Featured

See All Featured
Typedesign – Prime Four
Avatar for Hannes Fritz hannesfritz
42
2.9k
What the history of the web can teach us about the future of AI
Avatar for Ines Montani inesmontani
PRO
0
370
Primal Persuasion: How to Engage the Brain for Learning That Lasts
Avatar for Mike Taylor tmiket
0
190
Darren the Foodie - Storyboard
Avatar for Kevinho.art khoart
PRO
0
2k
Balancing Empowerment & Direction
Avatar for Lara Hogan lara
5
820
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
Avatar for Rebecca Miller-Webster rmw
35
3.3k
10 Git Anti Patterns You Should be Aware of
Avatar for Lemi Orhan Ergin lemiorhan
PRO
659
61k
Google's AI Overviews - The New Search
Avatar for Barry Adams badams
0
870
Done Done
Avatar for chrislema chrislema
186
16k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
Avatar for Tammy Everts tammyeverts
10
750
Joys of Absence: A Defence of Solitary Play
Avatar for Sebastian Deterding codingconduct
1
260
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
Avatar for Tomoya Matsuura tomoyanonymous
0
300

Transcript

  1. #RAKUSMeetup ©2019 RAKUS Co., Ltd. ©2019 RAKUS Co., Ltd. 障害対応を自動化した話

  2. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自己紹介 • 名前：下西 章王 （しもにし

    あきおう） • 出身：大阪 • 趣味：ゴルフ、野球、サウナ、麻雀、etc… • 所属：ラクス インフラ開発部 • 業務内容：インフラを担当してます。 コーポレートサイト・サービスサイトの運用・保守 メール配信システムの運用・保守

  3. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 今日話すこと • 自動化した内容 • 使ったツールの話

    • こんなことしました • まとめ

  4. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容

  5. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容 メール配信システムの話 • 障害の内容 •

    RabbitMQにメールキューをためているのですが、アプリのバグ？でなぜかキューが1つ残り 続けてしまうことがあります。 • このままでは残ったキューが配信されず、残り続けてしまい、読者に届かない… • 復旧方法はアプリを再起動すれば直る アプリ インターネット キューに残り続ける 再起動で復旧

  6. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容 メール配信システムの話 作業時間は5～10分くらいなのですが、 毎回アラートが上がるたびにPCを起動して… アプリ再起動させて…

    キューがなくなったの確認して… とめんどくさい。。。 そしてまぁまぁな頻度で発生する…(ならすと1日1回以上…) ヨシ。自動化しよう。

  7. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話

  8. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話 • Prometheus (監視のデータ収集) •

    Grafana (監視データの描画・アラート発砲) • Django (Pythonのフレームワーク) • Rundeck (ジョブ実行ツール) 上記を使って自動化しました。

  9. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成

  10. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリ

  11. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 MQを監視 アプリ

  12. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 キューが残っている アラートを検知 アプリ

  13. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 Webhookで Djangoに通知 アプリ

  14. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 APIを叩いて ジョブを実行 アプリ

  15. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリを再起動 アプリ

  16. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 キューを取得し配信 アプリ

  17. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリ 復旧を検知

  18. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 MQを監視 アプリ アラート発砲 ジョブを実行

    アプリを再起動 キューを取得し配信

  19. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話 当時、Rundeckはwebhookを受けられなかったので、仕方なくDjangoを挟みまし たが、現在ではRundeckもwebhookを受けられるようになっています。 これで、Djangoを挟まずに自動復旧ができるようになりました。 が、まだ使ってはいない。。。

  20. #RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ

  21. #RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ GrafanaからRundeckへ連携ができるようになったことで、障害の自動復旧がやり やすくなりました。 手順が決まっているような障害には使えるはず… 無駄な作業は機械にやらせてしまいましょう。

    自動復旧に頼ってしまうとそもそもの根本原因の解決が後回しになってしまうこ とは注意が必要です。 (この件でいうと障害の根本原因を解決していないのは内緒。)

  22. #RAKUSMeetup ©2019 RAKUS Co., Ltd. ご清聴ありがとうございました