わたしがインシデント対応のときに意識していることたち in PHPカンファレンス小田原2024 #phpcon_odawara

2024/04/14 PHPカンファレンス小田原2024
https://fortee.jp/phpconodawara-2024/proposal/e65d0b6e-03f6-42a2-91b3-5b7ef8c4bc7b

Transcript

1. わたしがインシデント対応のときに意識していることたち in PHPカンファレンス小田原2024 @yamato_sorariku #phpcon_odawara #kama 1
2. 自己紹介 @yamato_sorariku / 足利 大和 株式会社 PR TIMES バックエンドエンジニア PHPerです 必要なこと、なんでもやります 推しのマネージドサービス Google Cloud - Cloud Run 猫が好き コーヒーも好き #phpcon_odawara #kama 2
3. この発表のターゲット インシデント対応をまだしたことないという方 インシデント対応に挑戦してみたいけど、どうすればいいかわからない方 #phpcon_odawara #kama 3
4. インシデントとは？ #phpcon_odawara #kama 4
5. インシデントとは？ 利用者がサービスを正常に利用できない状況のこと。 #phpcon_odawara #kama 5
6. インシデント対応とは #phpcon_odawara #kama 6
7. インシデント対応とは サービスが正常に利用できない状況を回復させ、そして再発防止を図ること #phpcon_odawara #kama 7
8. インシデント対応を経験すると、どうなる？ 開発者として、システムに対する理解が深まる 半強制的に仕様を理解し、復旧対応や再発防止策を考えるから 適切な対応をすることで関係する社内の人からの信頼を獲得できる （ （起きないことが一番ではあるけども） ） だから積極的に参戦してほしい！ #phpcon_odawara #kama 8
9. インシデント対応の流れ #phpcon_odawara #kama 9
10. インシデント対応の流れ 事象発生 事象検知 調査・分析 復旧対応 原因分析 再発防止 #phpcon_odawara #kama 10
11. インシデント対応の流れ 事象発生 事象検知 調査・分析 復旧対応 原因分析 再発防止 #phpcon_odawara #kama 11
12. 私がインシデント対応において大切にしている点 #phpcon_odawara #kama 12
13. 私がインシデント対応において大切にしている点 とにかくこまめに情報共有する（調査・分析） とにかくログを確認する（調査・分析） とにかく使えるツールはどんどん使う（復旧対応） #phpcon_odawara #kama 13
14. とにかくこまめに情報共有する #phpcon_odawara #kama 14
15. とにかくこまめに情報共有する インシデント対応のSlackスレッドなどを立てる 関係者に情報が伝わるようメンションして巻き込む そして、わかったこと・気づいたこと・推測などをどんどん書いていく 途中から参加した人が状況を追うことができる 見た人の気付きで問題解決に向かうこともある #phpcon_odawara #kama 15
16. （※ Google Meetで会話しながらの書き込みです、一人ぼっちじゃないよ） #phpcon_odawara #kama 16
17. とにかくログを確認する #phpcon_odawara #kama 17
18. とにかくログを確認する CloudWatchにあるログ New Relicにあるログ（転送してるログ） サーバ内においてあるログ アプリが出してるログ Apacheなどミドルウェアが出しているログ /var/log/message などシステムが出しているログ #phpcon_odawara #kama 18
19. とにかくログを確認する ログから「いまなにが起きているのか？」といった事実を把握する ※ 各種ツールでメトリクスのグラフを見ることができます 　私はあくまでも気づくため、傾向を見るためのものと思ってます （CPUのグラフが跳ねてる！負荷が高い！ -> 起こってることはわからん） #phpcon_odawara #kama 19
20. とにかくログを確認する インシデント対応でログを見る経験をすると このログじゃ足りない……！ ログが出すぎてて全然わからん……！ といった経験が自然と……。 #phpcon_odawara #kama 20
21. とにかくログを確認する あなたのPHPアプリ、ログはでてますか？あるいはログをだしてますか？ https://speakerdeck.com/uzulla/are-you-writing-a-log-or-just-out-a-log #phpcon_odawara #kama 21
22. とにかく使えるツールはどんどん使う #phpcon_odawara #kama 22
23. Google Sheets 皆さん使ってますか？ #phpcon_odawara #kama 23
24. わたしはテンプレートエンジンとしても活用してます インシデント対応のときに、実戦で #phpcon_odawara #kama 24
25. 例えば レコード一つ一つに対応したUPDATE文が必要になったとき #phpcon_odawara #kama 25
26. これを手作りで用意するのはつらい。どっかでID書き間違えたら大事件 UPDATE t_xxx_table SET hoge1 = 'Y2qPNxKR8I', hoge2 = '41TWiFzMa3dHmP57pMwx7JTT4qHQVfn7FsPzN80g' WHERE id = 1; UPDATE t_xxx_table SET hoge1 = 'l88uegzNGc', hoge2 = 'wanROXIyFZQTJHAqPiFB5z0nMR9BSaqQfE1146P3' WHERE id = 2; UPDATE t_xxx_table SET hoge1 = 'DLrNQGwmSf', hoge2 = 'uWOB9one0FDFJXR0Bdqa9veqGHPR7Koz9EwoEyVN' WHERE id = 3; UPDATE t_xxx_table SET hoge1 = 'TRidePTjZw', hoge2 = '1rIwCuVj4p1uK6MTnpPJr56XOMWeF5JX7wMMrvdc' WHERE id = 4; UPDATE t_xxx_table SET hoge1 = 'PGoB1knDSR', hoge2 = 'q9PomkFxPRfxRbS794WMIcTmzCKDO1rAwffQQV4O' WHERE id = 5; #phpcon_odawara #kama 26
27. SUBSTITUTE関数 https://support.google.com/docs/answer/3094215?hl=ja #phpcon_odawara #kama 27
28. テンプレート #phpcon_odawara #kama 28
29. 元データ #phpcon_odawara #kama 29
30. #phpcon_odawara #kama 30
31. SQL完成！ -> レビューして実行し、データリカバリへ #phpcon_odawara #kama 31
32. まとめ #phpcon_odawara #kama 32
33. まとめ インシデント対応が怖いと感じるかもしれない でも、エンジニアとしてのスキルを向上させるために活きる場でもある 積極的な情報共有、確実な調査・原因分析を行い、安全に素早くサービスを復旧させる そのためにもツールとか普段から使って素振りしよう #phpcon_odawara #kama 33
34. インシデントはどうしても起きてしまう だからこそ、それを 早く・確実に・安全に対処しよう そして、学び場として自分たちの糧にしていこう！ #phpcon_odawara #kama 34
35. ご清聴ありがとうございました #phpcon_odawara #kama 35