知らないサーバ(修正版)

知らないサーバー 

過去あったちょっと怖い話

当時のバックグラウンド • とあるWebサービスのインフラエンジニアをやっていた時の話 • サービス自体は20年以上続いている歴史的なサービス • ジョインした時点でインフラの前任者は退職済み • プライベートクラウド上のVMの運用者 •
VMより下はプラットフォームチームという別のところが管理 • 100近いVMをAnsibleで構築/管理

とある日

サーバいっぱいあって楽しい〜障害対応楽しい〜

新プラットフォームを作ったので移設してください！プラットフォームチームの方

新プラットフォームを作ったので移設してください！わかりました！プラットフォームチームの方

• 新プラットフォームへのマイグレーション作業が発生した • 管理しているVMの一覧はAnsibleにあったのでそれをリストアップして対応 • 1年くらいかけて全部の移設が完了した • CentOS5/6とかもあったので当時最新のCentOS7へ載せ替えしたりマネージドサービスに移行したり移設

全部移行完了しました！ありがとうございます！！

めでたしめでたし

1週間ぐらい後

そっちのチーム管理のサーバーがまだ古いところで動いてるので移設をお願いします

そっちのチーム管理のサーバーがまだ古いところで動いてるので移設をお願いします先週全部終わっています！

そっちのチーム管理のサーバーがまだ古いところで動いてるので移設をお願いします先週全部終わっています！ track001っていうサーバーがあるみたいで...

そのサーバーってうちの管理ですかね...?

そのサーバーってうちの管理ですかね...? 管理者はAさん(退職済み)になってますね

そのサーバーってうちの管理ですかね...? 管理者はAさん(退職済み)になってますね調べてみます...!!

調べてみると • Ansibleのサーバー一覧にはなかった • サーバー名でGitHubを検索しても出てこなかった • それっぽいリポジトリもGitHubになかった • Slackで調べても何も出てこなかった •
とりあえずsshしたら接続ができたので色々見てみることに

調べてみると • uptime -> 2000日 • http/80をListenしている何らかのプロセスはいそうだった • 負荷はほぼなかったので使われていない気配は感じた •
入社して2~3年くらい経って1回も障害も問い合わせもないサーバなので潰しちゃえば良いかって思っていた

誰も使ってないだろうし消そう

誰も使ってないだろうし消そう /var/logとかでもみてみるか

誰も使ってないだろうし消そう /var/logとかでもみてみるか /var/log/apacheにアクセスログが結構な流量で流れているだと...!!!!!!

誰か使ってそう...

さらに調査 • アクセス先のリクエストパスをみると監視っぽいものではなかった • とりあえずUAを出すようにしてみたら最近のブラウザっぽいものだった • Apacheの設定を追っていくとPerlで書かれたアプリケーションにリクエストを流していた • Ansibleのコードもドキュメントもないけど実際に使われている(かもしれない)サー
バーが存在した

知らないサーバー 

知らないサーバーがいました...

知らないサーバーがいました... 移設するか消すかの判断をお願いします

知らないサーバーがいました... 移設するか消すかの判断をお願いします確認します！

さらに調査 • 何に使われているのかわからないのでアプリケーションを読む ◦ psコマンド打ってlsofしてアプリケーションのソースを特定 ◦ URL Redirectorでアクセスカウントするアプリケーション ◦ 管理画面も存在することがコードを読んでいてわかった

さらに調査 • 誰が使っているかを調べる ◦ Slackでhereで探してみたが誰も知らない ◦ 管理画面はapacheでLANのアクセスに絞られていたので IPからチームを特定 ◦ Slackを普段使わない営業の方がメインで使っていることが判明
◦ 話たら使っているしないと困る

移設しよう...

課題 • 構築方法が不明のサーバー • OSはCentOS5でEOL済み • 開発フローが不明のアプリケーション • ミドルウェアは何が入ってるのかわからない

整備 • CentOS7にする ◦ apache 1系がそのままだとビルドできなかったので apacheのソースを修正してビルド • 構築方法は不明だったが比較的シンプルなWeb Appだったのでlsとかpsとか見つ
つ設定ファイルを読んで再現させることに成功 • アプリはGitHubへ持っていく • CircleCIでデプロイ可能な状態にする ◦ DBのdumpとかがローカルにあってサイズが ...

完了！

ではなかった

調査 • いわゆるモノリス的なサーバでリバプロ/アプリ/MySQLが動いていた • 動いてるサーバでnetstatをすると7003番portでWebアプリがコネクションを貼っていた • 旧プラットフォームのマネージドGearmanが必要だった ◦ 管理画面の別の機能として存在したらしくコードリーディングで読み切れていなかった
... ◦ 同一のVMにGearmanを動かすようにして完了することができた

学び

学び • IaCは偉大 • スクリプト言語で書かれていたのが幸運だった • 手動構築で速いのはその時だけ

あなたのネットワークにも知らないサーバーいるかもしれませんよ 

ご清聴ありがとうございました！

知らないサーバ(修正版)

知らないサーバ(修正版)

More Decks by ryuichi1208

Other Decks in Technology

Featured

Transcript