知らないサーバ(修正版)

Transcript

1. 知らないサーバー

2. 過去あったちょっと怖い話
3. 当時のバックグラウンド • とあるWebサービスのインフラエンジニアをやっていた時の話 • サービス自体は20年以上続いている歴史的なサービス • ジョインした時点でインフラの前任者は退職済み • プライベートクラウド上のVMの運用者 • VMより下はプラットフォームチームという別のところが管理 • 100近いVMをAnsibleで構築/管理
4. とある日
5. サーバいっぱいあって楽しい〜 障害対応楽しい〜
6. 新プラットフォームを作ったので移設してくださ い！ プラットフォーム チームの方
7. 新プラットフォームを作ったので移設してくださ い！ わかりました！ プラットフォーム チームの方
8. • 新プラットフォームへのマイグレーション作業が発生した • 管理しているVMの一覧はAnsibleにあったのでそれをリストアップして対応 • 1年くらいかけて全部の移設が完了した • CentOS5/6とかもあったので当時最新のCentOS7へ載せ替えしたりマネージド サービスに移行したり 移設
9. 全部移行完了しました！ ありがとうございます！！
10. めでたしめでたし
11. 1週間ぐらい後
12. そっちのチーム管理のサーバーがまだ古いと ころで動いてるので移設をお願いします
13. そっちのチーム管理のサーバーがまだ古いと ころで動いてるので移設をお願いします 先週全部終わっています！
14. そっちのチーム管理のサーバーがまだ古いと ころで動いてるので移設をお願いします 先週全部終わっています！ track001っていうサーバーがあるみたいで...
15. そのサーバーってうちの管理ですかね...?
16. そのサーバーってうちの管理ですかね...? 管理者はAさん(退職済み)になってますね
17. そのサーバーってうちの管理ですかね...? 管理者はAさん(退職済み)になってますね 調べてみます...!!
18. 調べてみると • Ansibleのサーバー一覧にはなかった • サーバー名でGitHubを検索しても出てこなかった • それっぽいリポジトリもGitHubになかった • Slackで調べても何も出てこなかった • とりあえずsshしたら接続ができたので色々見てみることに
19. 調べてみると • uptime -> 2000日 • http/80をListenしている何らかのプロセスはいそうだった • 負荷はほぼなかったので使われていない気配は感じた • 入社して2~3年くらい経って1回も障害も問い合わせもないサーバなので潰しちゃえ ば良いかって思っていた
20. 誰も使ってないだろうし消そう
21. 誰も使ってないだろうし消そう /var/logとかでもみてみるか
22. 誰も使ってないだろうし消そう /var/logとかでもみてみるか /var/log/apacheにアクセスログが結構な流 量で流れているだと...!!!!!!
23. 誰か使ってそう...
24. さらに調査 • アクセス先のリクエストパスをみると監視っぽいものではなかった • とりあえずUAを出すようにしてみたら最近のブラウザっぽいものだった • Apacheの設定を追っていくとPerlで書かれたアプリケーションにリクエストを流して いた • Ansibleのコードもドキュメントもないけど実際に使われている(かもしれない)サー バーが存在した
25. 知らないサーバー

26. 知らないサーバーがいました...
27. 知らないサーバーがいました... 移設するか消すかの判断をお願いします
28. 知らないサーバーがいました... 移設するか消すかの判断をお願いします 確認します！
29. さらに調査 • 何に使われているのかわからないのでアプリケーションを読む ◦ psコマンド打ってlsofしてアプリケーションのソースを特定 ◦ URL Redirectorでアクセスカウントするアプリケーション ◦ 管理画面も存在することがコードを読んでいてわかった
30. さらに調査 • 誰が使っているかを調べる ◦ Slackでhereで探してみたが誰も知らない ◦ 管理画面はapacheでLANのアクセスに絞られていたので IPからチームを特定 ◦ Slackを普段使わない営業の方がメインで使っていることが判明 ◦ 話たら使っているしないと困る
31. 移設しよう...
32. 課題 • 構築方法が不明のサーバー • OSはCentOS5でEOL済み • 開発フローが不明のアプリケーション • ミドルウェアは何が入ってるのかわからない
33. 整備 • CentOS7にする ◦ apache 1系がそのままだとビルドできなかったので apacheのソースを修正してビルド • 構築方法は不明だったが比較的シンプルなWeb Appだったのでlsとかpsとか見つ つ設定ファイルを読んで再現させることに成功 • アプリはGitHubへ持っていく • CircleCIでデプロイ可能な状態にする ◦ DBのdumpとかがローカルにあってサイズが ...
34. 完了！
35. ではなかった
36. 調査 • いわゆるモノリス的なサーバでリバプロ/アプリ/MySQLが動いていた • 動いてるサーバでnetstatをすると7003番portでWebアプリがコネクションを貼って いた • 旧プラットフォームのマネージドGearmanが必要だった ◦ 管理画面の別の機能として存在したらしくコードリーディングで読み切れていなかった ... ◦ 同一のVMにGearmanを動かすようにして完了することができた
37. 学び
38. 学び • IaCは偉大 • スクリプト言語で書かれていたのが幸運だった • 手動構築で速いのはその時だけ
39. あなたのネットワークにも知らないサー バーいるかもしれませんよ

40. ご清聴ありがとうございました！