クラウドの障害でディスクがToLOVEった話

2017/02/15 に春のLinuxライトニングトーク大会2017＠コアラの森のておくれたちで発表したときの資料です。ディスクシリーズ第2弾。タイトルの出落ち感半端ない。

Transcript

1. クラウドの障害で
 ディスクがToLOVEった話
 〜さくらのクラウド編〜 靴ひも伍長
 @_EOF_83_EOF_
 
 春のLinuxライトニングトーク大会2017
 コアラの森のておくれたち
2. $ whois • I’m イン腐ラエンジニア
 - I love CentOS and Vim • 生まれも育ちも横浜のはまっ子
 - 仕事の関係で札幌暮らし経験あり • PCとサーバは私が嫁 • 最近PC作ったいえええええええええええい！
 - グラボ積んでるのでゲームも余裕 • 漫画読む時間がほしい 普段はこんなアイコンで
 過ごしてる
3. $ 自作PC自慢 非常にカッコいい
 (自画自賛)
 GTX 1060積んでるよ
4. $ 話それたので修正
5. $ あじぇんだ • クラウド障害で複数のサーバがおかしくなった
 - どこで壊れたのOhサーバ…(´；ω；｀)
 - LVM構成のサーバだけReadOnlyに… • そのときの症状と解決方法について • さくらのクラウドの新機能
 - ディスクサイズを変更してくれる…？！
 LVMなしで…？やばくない？ • まとめ
6. $ 現象について • お客様からアプリが動かないとのご連絡が…
 - アプリのバグと思っていたら
 同時刻に複数のサーバで障害が発生 • サーバにSSHして現象の原因を探るものの
 アプリのバグは見つからなかった
 - でもcpコマンドなどが利用できなかった • ログファイルを閲覧したところ
 ある時刻からログが途切れていた
 - こ…これはもしや…？
7. $ 現象の原因 • クラウド側のディスク障害が原因だった
 - LVM構成でないサーバは問題なく復旧 • しかし…LVM構成のディスクは瀕死になった…
 - なんでReadOnlyになってるんですかorz
 - コンソールには以下のメッセージが
 延々と出力されていた
 - 何がfrozenだコラーーー！！！
8. $ 簡略図
9. $ とりあえず復旧だ！ • ググったら再起動してfsckしろとのこと
 - # fsck -t ext4 /dev/mapper/hoge-lv_root • 再起動したら以下の画面が…
 - ログインしてfsckだ！
10. $ fsckで解決 • fix?って聞かれたらyを押す • FILE SYSTEM WAS MODIFIED が出ればおｋ • C-d で抜けると再度再起動がかかり
 サーバが復旧しますやったー！
11. $ 事前にできる対策
12. $ さクラウドの新機能 • パーティションサイズの拡張機能…?!
 - 最of高
 - LVMが苦手なフレンズでも大丈夫！ へーきへーき！ フレンズによって、 得意なこと違うから！
13. $ まとめ • LVM構成で片方のディスクで
 障害が起きるとReadOnlyになる場合がある
 - 一例として参考にしてもらえると嬉しいっす • cpコマンドできなければfsckを試そう • 予期しない障害はクラウド障害も疑う • さくらのクラウドではディスクサイズの
 変更が楽になったぞ！(回し者じゃないです)
14. $ おしまい
 ご清聴ありがとウサギ