Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

障害対応を自動化した話 / 20220609_Automation

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →
Avatar for Rakus_Dev Rakus_Dev
June 09, 2022
Technology
930
0

障害対応を自動化した話 / 20220609_Automation

Avatar for Rakus_Dev

Rakus_Dev

June 09, 2022

More Decks by Rakus_Dev

See All by Rakus_Dev
エンジニアが「なぜ作るか」を知っている組織は、速い
Avatar for Rakus_Dev rakus_dev
1
590
複数プロダクト組織のAIネイティブ化における戦略 / AICon2026_kude
Avatar for Rakus_Dev rakus_dev
0
990
伝票作成AIエージェントを支える、LLMOpsとインフラの選択肢 / AICon2026_takeda
Avatar for Rakus_Dev rakus_dev
0
1.4k
複数プロダクトで進めるAI機能実装 ── 実践から得たリアルな学びとロードマップ実現への挑戦 / AICon2026_yanari
Avatar for Rakus_Dev rakus_dev
1
960
仕様駆動開発、導入半年。「本当に速くなってるの?」にデータで答える / AICon2026_hirakawa
Avatar for Rakus_Dev rakus_dev
1
2.8k
「顧客の声を聞かなければ何も始まらない」 ── 顧客の声から生まれた『AI返信補助機能』の開発プロセス / AICon2026_shikata_imai
Avatar for Rakus_Dev rakus_dev
1
1.3k
「早く出す」より「事業に効く」 ── 顧客の業務サイクルから逆算するAI時代の二重ループ開発と「変化の設計者」 / devsumi2026
Avatar for Rakus_Dev rakus_dev
1
1.3k
螺旋型キャリアの生存戦略 / kinoko-conf2026
Avatar for Rakus_Dev rakus_dev
1
3.9k
AIで久々にコードを書いたらエンジニアへの依頼が"増えた" ── 元エンジニアのPdMの話 / Using AI to Code Again After a Long Break Increased My Requests to Engineers: Insights from a Former Engineer PdM
Avatar for Rakus_Dev rakus_dev
0
620

Other Decks in Technology

See All in Technology
人間はどの意思決定を手放せるのか
Avatar for Yoshitaka Kawashima kawasima
15
8.1k
技術的負債から考える、AI時代のエンジニアリング投資 — ビズリーチの技術的負債と向き合った経験から、変更し続けられるソフトウェアを考える/ technical-debt-con2026
Avatar for Visional Engineering ＆ Design visional_engineering_and_design
4
3.7k
負債のメタファと2026年 / Debt Metaphor in Agentic Engineering Age 202609 Edition
Avatar for Takuto WADA twada
PRO
11
6.5k
顧客に向き合う開発組織へ。リアーキテクチャとフィーチャーチーム化で挑む組織改革
Avatar for セーフィー safie
0
2.4k
AgentCore Runtime上にAgentic Coding基盤を構築・展開する際の設計ポイントと限界点 / Design considerations and limitations when building an agentic coding platform on AgentCore Runtime
Avatar for Har1101 har1101
5
710
事業課題から技術的負債に向き合う
Avatar for SansanTech sansantech
PRO
2
2.3k
人にやさしく、AIにやさしく、書き手を選ばないIaCのガードレール再考 / Rethinking IaC Guardrails for Humans and AI Alike
Avatar for kohbis kohbis
0
220
Harness Engineering on Rails
Avatar for Joël Quenneville joelq
0
160
JSONataとAWS Step Functionsで目指すRuntimelessな世界
Avatar for mu7889yoon / Yuta Nakamura mu7889yoon
0
460
今話題のAI「Jev」って何？ 宇宙最速で学ぶ会
Avatar for みのるん minorun365
PRO
32
20k
俺の仕事は AIに奪われないし、たぶんその BIも要らない
Avatar for Hikaru Sawahata hikaruri
0
540
アクセスキーこわい やめかたと漏らさない工夫
Avatar for Yuichi Sato sassssan68
1
680

Featured

See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
Avatar for Sam Stephenson sstephenson
162
16k
Neural Spatial Audio Processing for Sound Field Analysis and Control
Avatar for NII S. Koyama's Lab skoyamalab
0
520
Code Review Best Practice
Avatar for Trisha Gee trishagee
74
20k
Bash Introduction
Avatar for André Augusto Costa Santos 62gerente
615
220k
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
Avatar for Akihiro Kokubo akihiro_kokubo
PRO
74
42k
Darren the Foodie - Storyboard
Avatar for Kevinho.art khoart
PRO
4
3.9k
Sharpening the Axe: The Primacy of Toolmaking
Avatar for Bryan Cantrill bcantrill
46
3k
Into the Great Unknown - MozCon
Avatar for Noah Learner thekraken
41
2.7k
Large-scale JavaScript Application Architecture
Avatar for Addy Osmani addyosmani
515
110k
Building AI with AI
Avatar for Ines Montani inesmontani
PRO
1
1.2k
The Hidden Cost of Media on the Web [PixelPalooza 2025]
Avatar for Tammy Everts tammyeverts
2
500
The browser strikes back
Avatar for Jono Alderson jonoalderson
0
1.7k

Transcript

  1. #RAKUSMeetup ©2019 RAKUS Co., Ltd. ©2019 RAKUS Co., Ltd. 障害対応を自動化した話

  2. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自己紹介 • 名前：下西 章王 （しもにし

    あきおう） • 出身：大阪 • 趣味：ゴルフ、野球、サウナ、麻雀、etc… • 所属：ラクス インフラ開発部 • 業務内容：インフラを担当してます。 コーポレートサイト・サービスサイトの運用・保守 メール配信システムの運用・保守

  3. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 今日話すこと • 自動化した内容 • 使ったツールの話

    • こんなことしました • まとめ

  4. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容

  5. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容 メール配信システムの話 • 障害の内容 •

    RabbitMQにメールキューをためているのですが、アプリのバグ？でなぜかキューが1つ残り 続けてしまうことがあります。 • このままでは残ったキューが配信されず、残り続けてしまい、読者に届かない… • 復旧方法はアプリを再起動すれば直る アプリ インターネット キューに残り続ける 再起動で復旧

  6. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容 メール配信システムの話 作業時間は5～10分くらいなのですが、 毎回アラートが上がるたびにPCを起動して… アプリ再起動させて…

    キューがなくなったの確認して… とめんどくさい。。。 そしてまぁまぁな頻度で発生する…(ならすと1日1回以上…) ヨシ。自動化しよう。

  7. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話

  8. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話 • Prometheus (監視のデータ収集) •

    Grafana (監視データの描画・アラート発砲) • Django (Pythonのフレームワーク) • Rundeck (ジョブ実行ツール) 上記を使って自動化しました。

  9. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成

  10. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリ

  11. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 MQを監視 アプリ

  12. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 キューが残っている アラートを検知 アプリ

  13. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 Webhookで Djangoに通知 アプリ

  14. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 APIを叩いて ジョブを実行 アプリ

  15. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリを再起動 アプリ

  16. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 キューを取得し配信 アプリ

  17. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリ 復旧を検知

  18. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 MQを監視 アプリ アラート発砲 ジョブを実行

    アプリを再起動 キューを取得し配信

  19. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話 当時、Rundeckはwebhookを受けられなかったので、仕方なくDjangoを挟みまし たが、現在ではRundeckもwebhookを受けられるようになっています。 これで、Djangoを挟まずに自動復旧ができるようになりました。 が、まだ使ってはいない。。。

  20. #RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ

  21. #RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ GrafanaからRundeckへ連携ができるようになったことで、障害の自動復旧がやり やすくなりました。 手順が決まっているような障害には使えるはず… 無駄な作業は機械にやらせてしまいましょう。

    自動復旧に頼ってしまうとそもそもの根本原因の解決が後回しになってしまうこ とは注意が必要です。 (この件でいうと障害の根本原因を解決していないのは内緒。)

  22. #RAKUSMeetup ©2019 RAKUS Co., Ltd. ご清聴ありがとうございました