Upgrade to Pro — share decks privately, control downloads, hide ads and more …

障害対応を自動化した話 / 20220609_Automation

Avatar for Rakus_Dev Rakus_Dev
June 09, 2022
Technology
920
0

障害対応を自動化した話 / 20220609_Automation

Avatar for Rakus_Dev

Rakus_Dev

June 09, 2022

More Decks by Rakus_Dev

See All by Rakus_Dev
複数プロダクト組織のAIネイティブ化における戦略 / AICon2026_kude
Avatar for Rakus_Dev rakus_dev
0
610
伝票作成AIエージェントを支える、LLMOpsとインフラの選択肢 / AICon2026_takeda
Avatar for Rakus_Dev rakus_dev
0
340
複数プロダクトで進めるAI機能実装 ── 実践から得たリアルな学びとロードマップ実現への挑戦 / AICon2026_yanari
Avatar for Rakus_Dev rakus_dev
1
570
仕様駆動開発、導入半年。「本当に速くなってるの?」にデータで答える / AICon2026_hirakawa
Avatar for Rakus_Dev rakus_dev
0
410
「顧客の声を聞かなければ何も始まらない」 ── 顧客の声から生まれた『AI返信補助機能』の開発プロセス / AICon2026_shikata_imai
Avatar for Rakus_Dev rakus_dev
1
920
「早く出す」より「事業に効く」 ── 顧客の業務サイクルから逆算するAI時代の二重ループ開発と「変化の設計者」 / devsumi2026
Avatar for Rakus_Dev rakus_dev
1
730
螺旋型キャリアの生存戦略 / kinoko-conf2026
Avatar for Rakus_Dev rakus_dev
1
3.2k
AIで久々にコードを書いたらエンジニアへの依頼が"増えた" ── 元エンジニアのPdMの話 / Using AI to Code Again After a Long Break Increased My Requests to Engineers: Insights from a Former Engineer PdM
Avatar for Rakus_Dev rakus_dev
0
540
主体的に活躍する内製QA組織の作り方と組織文化の醸成 / How to Build a Proactive In-house QA Organization and Foster Its Culture
Avatar for Rakus_Dev rakus_dev
0
300

Other Decks in Technology

See All in Technology
なぜ、あなたのエージェントは言うことを聞かないのか
Avatar for segavvy segavvy
1
620
現場で使える AWS DevOps Agent 活用ノウハウ - Release Management 機能の検証結果を添えて / AWS DevOps Agent Release Management and Know-How
Avatar for Masanori Yamaguchi kinunori
5
850
AIがコードを書く時代、人間は何を保証するのか———馬場さんと考える、開発者に求められる新しい責任と価値 - TECH PLAY
Avatar for Toshiaki Baba netmarkjp
0
1.1k
AWS環境のセキュリティ不安を解消した企業事例 ～よくある課題と対策を一挙公開～
Avatar for 浅野晴輝 asanoharuki
1
280
脱Jenkins、インターン生が挑んだCIツールGitHubActions移行
Avatar for MIXI ENGINEERS mixi_engineers
PRO
1
300
StepFunctionsとGraphRAGを活用した暗黙知活用のためのRAG基盤
Avatar for やくも yakumo
1
200
AIで楽になるはずが、なぜ疲れる？
Avatar for kinopee kinopeee
0
150
AIエージェントに財布を渡す日 ― 承認付き"買い物エージェント"を作って実演
Avatar for Yuuki Yamashita yama3133
1
110
新しい SLO が良い感じにハマっている話
Avatar for kaita z63d
4
1.9k
MIRU 2026 チュートリアル
Avatar for Keisuke Fujii keisuke198619
0
550
実践が先生だった— 新卒サーバーエンジニア1年目のリアル
Avatar for MIXI ENGINEERS mixi_engineers
PRO
0
230
『モンスターストライク』 の運営に伴走する！ データ民主化への 解析グループの3つのアプローチ
Avatar for MIXI ENGINEERS mixi_engineers
PRO
0
200

Featured

See All Featured
Facilitating Awesome Meetings
Avatar for Lara Hogan lara
57
7k
GraphQLとの向き合い方2022年版
Avatar for Yosuke Kurami quramy
50
15k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
Avatar for Joe Casabona jcasabona
34
2.8k
Making the Leap to Tech Lead
Avatar for Ryan Cromwell cromwellryan
135
10k
Applied NLP in the Age of Generative AI
Avatar for Ines Montani inesmontani
PRO
4
2.4k
Building the Perfect Custom Keyboard
Avatar for Naoto Takai takai
2
830
Neural Spatial Audio Processing for Sound Field Analysis and Control
Avatar for NII S. Koyama's Lab skoyamalab
0
390
Pawsitive SEO: Lessons from My Dog (and Many Mistakes) on Thriving as a Consultant in the Age of AI
Avatar for David Carrasco davidcarrasco
0
200
Bash Introduction
Avatar for André Augusto Costa Santos 62gerente
615
220k
Visual Storytelling: How to be a Superhuman Communicator
Avatar for David Neal reverentgeek
2
600
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
Avatar for panda_program panda_program
123
22k
Leading Effective Engineering Teams in the AI Era
Avatar for Addy Osmani addyosmani
9
2.2k

Transcript

  1. #RAKUSMeetup ©2019 RAKUS Co., Ltd. ©2019 RAKUS Co., Ltd. 障害対応を自動化した話

  2. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自己紹介 • 名前：下西 章王 （しもにし

    あきおう） • 出身：大阪 • 趣味：ゴルフ、野球、サウナ、麻雀、etc… • 所属：ラクス インフラ開発部 • 業務内容：インフラを担当してます。 コーポレートサイト・サービスサイトの運用・保守 メール配信システムの運用・保守

  3. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 今日話すこと • 自動化した内容 • 使ったツールの話

    • こんなことしました • まとめ

  4. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容

  5. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容 メール配信システムの話 • 障害の内容 •

    RabbitMQにメールキューをためているのですが、アプリのバグ？でなぜかキューが1つ残り 続けてしまうことがあります。 • このままでは残ったキューが配信されず、残り続けてしまい、読者に届かない… • 復旧方法はアプリを再起動すれば直る アプリ インターネット キューに残り続ける 再起動で復旧

  6. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容 メール配信システムの話 作業時間は5～10分くらいなのですが、 毎回アラートが上がるたびにPCを起動して… アプリ再起動させて…

    キューがなくなったの確認して… とめんどくさい。。。 そしてまぁまぁな頻度で発生する…(ならすと1日1回以上…) ヨシ。自動化しよう。

  7. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話

  8. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話 • Prometheus (監視のデータ収集) •

    Grafana (監視データの描画・アラート発砲) • Django (Pythonのフレームワーク) • Rundeck (ジョブ実行ツール) 上記を使って自動化しました。

  9. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成

  10. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリ

  11. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 MQを監視 アプリ

  12. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 キューが残っている アラートを検知 アプリ

  13. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 Webhookで Djangoに通知 アプリ

  14. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 APIを叩いて ジョブを実行 アプリ

  15. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリを再起動 アプリ

  16. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 キューを取得し配信 アプリ

  17. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリ 復旧を検知

  18. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 MQを監視 アプリ アラート発砲 ジョブを実行

    アプリを再起動 キューを取得し配信

  19. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話 当時、Rundeckはwebhookを受けられなかったので、仕方なくDjangoを挟みまし たが、現在ではRundeckもwebhookを受けられるようになっています。 これで、Djangoを挟まずに自動復旧ができるようになりました。 が、まだ使ってはいない。。。

  20. #RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ

  21. #RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ GrafanaからRundeckへ連携ができるようになったことで、障害の自動復旧がやり やすくなりました。 手順が決まっているような障害には使えるはず… 無駄な作業は機械にやらせてしまいましょう。

    自動復旧に頼ってしまうとそもそもの根本原因の解決が後回しになってしまうこ とは注意が必要です。 (この件でいうと障害の根本原因を解決していないのは内緒。)

  22. #RAKUSMeetup ©2019 RAKUS Co., Ltd. ご清聴ありがとうございました