Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

障害対応を自動化した話 / 20220609_Automation

Avatar for Rakus_Dev Rakus_Dev
June 09, 2022
Technology
0
890

障害対応を自動化した話 / 20220609_Automation

Avatar for Rakus_Dev

Rakus_Dev

June 09, 2022
Tweet

More Decks by Rakus_Dev

See All by Rakus_Dev
【pmconf2025】AI時代の『ジュニア不要論』に異議あり！ 未経験から戦力PdMを生み出すOJT戦略とは？
Avatar for Rakus_Dev rakus_dev
1
780
プロダクトづくりにAIを溶かす３つの壁 ― ラクス流AI浸透のススメ / 3 Barriers to AI in Products: The Rakus Way
Avatar for Rakus_Dev rakus_dev
0
2.2k
設計フェーズを加速するAI活用戦略 / AI Strategy for Accelerated Design
Avatar for Rakus_Dev rakus_dev
2
620
10年以上続くWebサービスのAIファースト時代への向き合い方 / Navigating the AI-First Era: A Strategy for Established Web Services
Avatar for Rakus_Dev rakus_dev
0
460
楽楽明細開発部 | 組織的なAI駆動開発の推進 / Promoting organizational AI-driven development
Avatar for Rakus_Dev rakus_dev
0
460
AIエージェントを使った爆速デモアプリ作成 / Rapid demo app creation using AI agents
Avatar for Rakus_Dev rakus_dev
0
460
Claude Codeによる自律的並列分析の実践 / Practicing Autonomous Parallel Analysis with Claude Code
Avatar for Rakus_Dev rakus_dev
0
560
コードを書かないマネージャーがつくるコンテキストエンジニアリング / Context Engineering Created by a Non-Coding Manager
Avatar for Rakus_Dev rakus_dev
0
490
AIへの再指示を抑える要件、設計、デザイン等のモバイル開発コンテキストの渡し方
Avatar for Rakus_Dev rakus_dev
0
170

Other Decks in Technology

See All in Technology
Haskell を武器にして挑む競技プログラミング ─ 操作的思考から意味モデル思考へ
Avatar for Naoya Ito naoya
6
1.5k
Karate+Database RiderによるAPI自動テスト導入工数をCline＋GitLab MCPを使って2割削減を目指す！ / 20251206 Kazuki Takahashi
Avatar for SHIFT EVOLVE shift_evolve
PRO
1
750
コミューンのデータ分析AIエージェント「Community Sage」の紹介
Avatar for Yusuke Fukasawa fufufukakaka
0
490
20251209_WAKECareer_生成AIを活用した設計・開発プロセス
Avatar for syobochim syobochim
7
1.5k
新 Security HubがついにGA！仕組みや料金を深堀り #AWSreInvent #regrowth / AWS Security Hub Advanced GA
Avatar for MasahiroKawahara masahirokawahara
1
1.9k
モダンデータスタック (MDS) の話とデータ分析が起こすビジネス変革
Avatar for suto sutotakeshi
0
480
re:Invent 2025 ~何をする者であり、どこへいくのか~
Avatar for tetutetu214 tetutetu214
0
210
Sansanが実践する Platform EngineeringとSREの協創
Avatar for SansanTech sansantech
PRO
2
850
AWSセキュリティアップデートとAWSを育てる話
Avatar for cm-usuda-keisuke cmusudakeisuke
0
270
非CUDAの悲哀 〜Claude Code と挑んだ image to 3D “Hunyuan3D”を EVO-X2(Ryzen AI Max+395)で動作させるチャレンジ〜
Avatar for hawky the miscellaneous hawkymisc
2
180
ログ管理の新たな可能性？CloudWatchの新機能をご紹介
Avatar for Ikumi Ono ikumi_ono
1
700
AWS Trainium3 をちょっと身近に感じたい
Avatar for Yasutaka OHMURA bigmuramura
1
140

Featured

See All Featured
4 Signs Your Business is Dying
Avatar for Josh Pigford shpigford
186
22k
Product Roadmaps are Hard
Avatar for C. Todd Lombardo iamctodd
PRO
55
12k
Building Applications with DynamoDB
Avatar for Matt Wood mza
96
6.8k
KATA
Avatar for Megan Lloyd mclloyd
PRO
32
15k
The World Runs on Bad Software
Avatar for Brandon Keepers bkeepers
PRO
72
12k
Building Better People: How to give real-time feedback that sticks.
Avatar for Will Jessup wjessup
370
20k
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
127
17k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
Avatar for Dan Newman danielanewman
231
22k
Leading Effective Engineering Teams in the AI Era
Avatar for Addy Osmani addyosmani
8
1.3k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
Avatar for Chris Coyier chriscoyier
508
140k
Imperfection Machines: The Place of Print at Facebook
Avatar for Scott Boms scottboms
269
13k
ピンチをチャンスに：未来をつくるプロダクトロードマップ #pmconf2020
Avatar for Aki / @LoveIdahoBurger aki_iinuma
128
54k

Transcript

  1. #RAKUSMeetup ©2019 RAKUS Co., Ltd. ©2019 RAKUS Co., Ltd. 障害対応を自動化した話

  2. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自己紹介 • 名前：下西 章王 （しもにし

    あきおう） • 出身：大阪 • 趣味：ゴルフ、野球、サウナ、麻雀、etc… • 所属：ラクス インフラ開発部 • 業務内容：インフラを担当してます。 コーポレートサイト・サービスサイトの運用・保守 メール配信システムの運用・保守

  3. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 今日話すこと • 自動化した内容 • 使ったツールの話

    • こんなことしました • まとめ

  4. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容

  5. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容 メール配信システムの話 • 障害の内容 •

    RabbitMQにメールキューをためているのですが、アプリのバグ？でなぜかキューが1つ残り 続けてしまうことがあります。 • このままでは残ったキューが配信されず、残り続けてしまい、読者に届かない… • 復旧方法はアプリを再起動すれば直る アプリ インターネット キューに残り続ける 再起動で復旧

  6. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 自動化した内容 メール配信システムの話 作業時間は5～10分くらいなのですが、 毎回アラートが上がるたびにPCを起動して… アプリ再起動させて…

    キューがなくなったの確認して… とめんどくさい。。。 そしてまぁまぁな頻度で発生する…(ならすと1日1回以上…) ヨシ。自動化しよう。

  7. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話

  8. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話 • Prometheus (監視のデータ収集) •

    Grafana (監視データの描画・アラート発砲) • Django (Pythonのフレームワーク) • Rundeck (ジョブ実行ツール) 上記を使って自動化しました。

  9. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成

  10. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリ

  11. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 MQを監視 アプリ

  12. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 キューが残っている アラートを検知 アプリ

  13. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 Webhookで Djangoに通知 アプリ

  14. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 APIを叩いて ジョブを実行 アプリ

  15. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリを再起動 アプリ

  16. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 キューを取得し配信 アプリ

  17. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 アプリ 復旧を検知

  18. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 構成 MQを監視 アプリ アラート発砲 ジョブを実行

    アプリを再起動 キューを取得し配信

  19. #RAKUSMeetup ©2019 RAKUS Co., Ltd. 使ったツールの話 当時、Rundeckはwebhookを受けられなかったので、仕方なくDjangoを挟みまし たが、現在ではRundeckもwebhookを受けられるようになっています。 これで、Djangoを挟まずに自動復旧ができるようになりました。 が、まだ使ってはいない。。。

  20. #RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ

  21. #RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ GrafanaからRundeckへ連携ができるようになったことで、障害の自動復旧がやり やすくなりました。 手順が決まっているような障害には使えるはず… 無駄な作業は機械にやらせてしまいましょう。

    自動復旧に頼ってしまうとそもそもの根本原因の解決が後回しになってしまうこ とは注意が必要です。 (この件でいうと障害の根本原因を解決していないのは内緒。)

  22. #RAKUSMeetup ©2019 RAKUS Co., Ltd. ご清聴ありがとうございました