Upgrade to Pro — share decks privately, control downloads, hide ads and more …

障害対応を自動化した話 / 20220609_Automation

Avatar for Rakus_Dev Rakus_Dev
June 09, 2022
Technology
0
880

障害対応を自動化した話 / 20220609_Automation

Avatar for Rakus_Dev

Rakus_Dev

June 09, 2022
Tweet

More Decks by Rakus_Dev

See All by Rakus_Dev
プロダクトづくりにAIを溶かす３つの壁 ― ラクス流AI浸透のススメ / 3 Barriers to AI in Products: The Rakus Way
Avatar for Rakus_Dev rakus_dev
0
1.5k
設計フェーズを加速するAI活用戦略 / AI Strategy for Accelerated Design
Avatar for Rakus_Dev rakus_dev
2
600
10年以上続くWebサービスのAIファースト時代への向き合い方 / Navigating the AI-First Era: A Strategy for Established Web Services
Avatar for Rakus_Dev rakus_dev
0
370
楽楽明細開発部 | 組織的なAI駆動開発の推進 / Promoting organizational AI-driven development
Avatar for Rakus_Dev rakus_dev
0
380
AIエージェントを使った爆速デモアプリ作成 / Rapid demo app creation using AI agents
Avatar for Rakus_Dev rakus_dev
0
380
Claude Codeによる自律的並列分析の実践 / Practicing Autonomous Parallel Analysis with Claude Code
Avatar for Rakus_Dev rakus_dev
0
420
コードを書かないマネージャーがつくるコンテキストエンジニアリング / Context Engineering Created by a Non-Coding Manager
Avatar for Rakus_Dev rakus_dev
0
410
AIへの再指示を抑える要件、設計、デザイン等のモバイル開発コンテキストの渡し方
Avatar for Rakus_Dev rakus_dev
0
160
モバイルアプリ向けに開発したAPIをMCP化したら便利そうだった / mobiletechcafe20250902-2
Avatar for Rakus_Dev rakus_dev
0
160

Other Decks in Technology

See All in Technology
学術的根拠から読み解くNotebookLMの音声活用法
Avatar for Shu Kobuchi shukob
0
490
ECS組み込みのBlue/Greenデプロイを動かしてELB側の動きを観察してみる
Avatar for 矢儀丈博 yuki_ink
3
420
クラスタ統合リアーキテクチャ全貌～1,000万ユーザーのウェルネスSaaSを再設計～
Avatar for hacomono Inc. hacomono
PRO
0
200
AI エージェントを評価するための温故知新と Spec Driven Evaluation
Avatar for Takahiro Kubo icoxfog417
PRO
2
850
レガシーで硬直したテーブル設計から変更容易で柔軟なテーブル設計にする
Avatar for Red Frasco red_frasco
4
620
Data Hubグループ 紹介資料
Avatar for Sansan, Inc. sansan33
PRO
0
2.3k
Master Dataグループ紹介資料
Avatar for Sansan, Inc. sansan33
PRO
1
4k
All About Sansan – for New Global Engineers
Avatar for Sansan, Inc. sansan33
PRO
1
1.3k
SRE視点で振り返るメルカリのアーキテクチャ変遷と普遍的な考え
Avatar for foostan foostan
2
2.2k
Building AI Applications with Java, LLMs, and Spring AI
Avatar for Thomas Vitale thomasvitale
1
250
.NET 10のASP. NET Core注目の新機能
Avatar for tomokusaba tomokusaba
0
140
現地速報！Microsoft Ignite 2025 M365 Copilotアップデートレポート
Avatar for Kaz Asada | しがない情シス kasada
2
1.8k

Featured

See All Featured
The Power of CSS Pseudo Elements
Avatar for Geoffrey Crofte geoffreycrofte
80
6.1k
Distributed Sagas: A Protocol for Coordinating Microservices
Avatar for Caitie McCaffrey caitiem20
333
22k
The Pragmatic Product Professional
Avatar for Laura Van Doore lauravandoore
36
7k
The Web Performance Landscape in 2024 [PerfNow 2024]
Avatar for Tammy Everts tammyeverts
11
940
Automating Front-end Workflow
Avatar for Addy Osmani addyosmani
1371
200k
Rails Girls Zürich Keynote
Avatar for Gregor Martynus gr2m
95
14k
Leading Effective Engineering Teams in the AI Era
Avatar for Addy Osmani addyosmani
8
1.2k
The Hidden Cost of Media on the Web [PixelPalooza 2025]
Avatar for Tammy Everts tammyeverts
1
56
Facilitating Awesome Meetings
Avatar for Lara Hogan lara
57
6.6k
The Art of Programming - Codeland 2020
Avatar for Erika Heidi erikaheidi
56
14k
Designing Experiences People Love
Avatar for Jonathan Moore moore
142
24k
Balancing Empowerment & Direction
Avatar for Lara Hogan lara
5
760

Transcript

  1. #RAKUSMeetup ©2019 RAKUS Co., Ltd. ©2019 RAKUS Co., Ltd. 障害対応を自動化した話

  2. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自己紹介 • 名前：下西 章王 （しもにし

    あきおう） • 出身：大阪 • 趣味：ゴルフ、野球、サウナ、麻雀、etc… • 所属：ラクス インフラ開発部 • 業務内容：インフラを担当してます。 コーポレートサイト・サービスサイトの運用・保守 メール配信システムの運用・保守

  3. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 今日話すこと • 自動化した内容 • 使ったツールの話

    • こんなことしました • まとめ

  4. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容

  5. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容 メール配信システムの話 • 障害の内容 •

    RabbitMQにメールキューをためているのですが、アプリのバグ？でなぜかキューが1つ残り 続けてしまうことがあります。 • このままでは残ったキューが配信されず、残り続けてしまい、読者に届かない… • 復旧方法はアプリを再起動すれば直る アプリ インターネット キューに残り続ける 再起動で復旧

  6. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容 メール配信システムの話 作業時間は5～10分くらいなのですが、 毎回アラートが上がるたびにPCを起動して… アプリ再起動させて…

    キューがなくなったの確認して… とめんどくさい。。。 そしてまぁまぁな頻度で発生する…(ならすと1日1回以上…) ヨシ。自動化しよう。

  7. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話

  8. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話 • Prometheus (監視のデータ収集) •

    Grafana (監視データの描画・アラート発砲) • Django (Pythonのフレームワーク) • Rundeck (ジョブ実行ツール) 上記を使って自動化しました。

  9. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成

  10. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリ

  11. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 MQを監視 アプリ

  12. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 キューが残っている アラートを検知 アプリ

  13. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 Webhookで Djangoに通知 アプリ

  14. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 APIを叩いて ジョブを実行 アプリ

  15. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリを再起動 アプリ

  16. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 キューを取得し配信 アプリ

  17. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリ 復旧を検知

  18. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 MQを監視 アプリ アラート発砲 ジョブを実行

    アプリを再起動 キューを取得し配信

  19. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話 当時、Rundeckはwebhookを受けられなかったので、仕方なくDjangoを挟みまし たが、現在ではRundeckもwebhookを受けられるようになっています。 これで、Djangoを挟まずに自動復旧ができるようになりました。 が、まだ使ってはいない。。。

  20. #RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ

  21. #RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ GrafanaからRundeckへ連携ができるようになったことで、障害の自動復旧がやり やすくなりました。 手順が決まっているような障害には使えるはず… 無駄な作業は機械にやらせてしまいましょう。

    自動復旧に頼ってしまうとそもそもの根本原因の解決が後回しになってしまうこ とは注意が必要です。 (この件でいうと障害の根本原因を解決していないのは内緒。)

  22. #RAKUSMeetup ©2019 RAKUS Co., Ltd. ご清聴ありがとうございました