Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
クラウドの障害でディスクがToLOVEった話
Search
Kutsuhimo Gochou
February 15, 2017
Technology
0
210
クラウドの障害でディスクがToLOVEった話
2017/02/15 に春のLinuxライトニングトーク大会2017@コアラの森のておくれたちで発表したときの資料です。ディスクシリーズ第2弾。タイトルの出落ち感半端ない。
Kutsuhimo Gochou
February 15, 2017
Tweet
Share
More Decks by Kutsuhimo Gochou
See All by Kutsuhimo Gochou
CentOS8 キタ━━━━(゚∀゚)━━━━!!
misato8310
0
320
あなたと ErgoDox EZ、今すぐ購入
misato8310
0
440
東海道らぐ横浜の集い 2019春の巻
misato8310
0
210
アニソンからはじめるヒトカラ入門
misato8310
0
470
Porgでソースからインストールしたソフトウェアを管理
misato8310
0
170
はじめてさわるOSSでNextCloudサーバを構築
misato8310
0
1.5k
ザックリFirewalld
misato8310
0
270
ファイル内容の通知にFluentdを導入した話
misato8310
0
640
EC2+S3で無制限ストレージバックアップサーバを作る
misato8310
0
470
Other Decks in Technology
See All in Technology
「Linux」という言葉が指すもの
sat
PRO
4
140
企業の生成AIガバナンスにおけるエージェントとセキュリティ
lycorptech_jp
PRO
2
170
Generative AI Japan 第一回生成AI実践研究会「AI駆動開発の現在地──ブレイクスルーの鍵を握るのはデータ領域」
shisyu_gaku
0
270
20250910_障害注入から効率的復旧へ_カオスエンジニアリング_生成AIで考えるAWS障害対応.pdf
sh_fk2
3
260
Android Audio: Beyond Winning On It
atsushieno
0
850
Firestore → Spanner 移行 を成功させた段階的移行プロセス
athug
1
480
dbt開発 with Claude Codeのためのガードレール設計
10xinc
2
1.2k
下手な強制、ダメ!絶対! 「ガードレール」を「檻」にさせない"ガバナンス"の取り方とは?
tsukaman
2
450
複数サービスを支えるマルチテナント型Batch MLプラットフォーム
lycorptech_jp
PRO
1
390
人工衛星のファームウェアをRustで書く理由
koba789
15
7.9k
テストを軸にした生き残り術
kworkdev
PRO
0
210
DroidKaigi 2025 Androidエンジニアとしてのキャリア
mhidaka
2
310
Featured
See All Featured
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
13k
A designer walks into a library…
pauljervisheath
207
24k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Visualization
eitanlees
148
16k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Agile that works and the tools we love
rasmusluckow
330
21k
YesSQL, Process and Tooling at Scale
rocio
173
14k
The Language of Interfaces
destraynor
161
25k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Automating Front-end Workflow
addyosmani
1370
200k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
Being A Developer After 40
akosma
90
590k
Transcript
クラウドの障害で ディスクがToLOVEった話 〜さくらのクラウド編〜 靴ひも伍長 @_EOF_83_EOF_ 春のLinuxライトニングトーク大会2017 コアラの森のておくれたち
$ whois • I’m イン腐ラエンジニア - I love CentOS and
Vim • 生まれも育ちも横浜のはまっ子 - 仕事の関係で札幌暮らし経験あり • PCとサーバは私が嫁 • 最近PC作ったいえええええええええええい! - グラボ積んでるのでゲームも余裕 • 漫画読む時間がほしい 普段はこんなアイコンで 過ごしてる
$ 自作PC自慢 非常にカッコいい (自画自賛) GTX 1060積んでるよ
$ 話それたので修正
$ あじぇんだ • クラウド障害で複数のサーバがおかしくなった - どこで壊れたのOhサーバ…(´;ω;`) - LVM構成のサーバだけReadOnlyに… • そのときの症状と解決方法について
• さくらのクラウドの新機能 - ディスクサイズを変更してくれる…?! LVMなしで…?やばくない? • まとめ
$ 現象について • お客様からアプリが動かないとのご連絡が… - アプリのバグと思っていたら 同時刻に複数のサーバで障害が発生 • サーバにSSHして現象の原因を探るものの アプリのバグは見つからなかった
- でもcpコマンドなどが利用できなかった • ログファイルを閲覧したところ ある時刻からログが途切れていた - こ…これはもしや…?
$ 現象の原因 • クラウド側のディスク障害が原因だった - LVM構成でないサーバは問題なく復旧 • しかし…LVM構成のディスクは瀕死になった… - なんでReadOnlyになってるんですかorz
- コンソールには以下のメッセージが 延々と出力されていた - 何がfrozenだコラーーー!!!
$ 簡略図
$ とりあえず復旧だ! • ググったら再起動してfsckしろとのこと - # fsck -t ext4 /dev/mapper/hoge-lv_root
• 再起動したら以下の画面が… - ログインしてfsckだ!
$ fsckで解決 • fix?って聞かれたらyを押す • FILE SYSTEM WAS MODIFIED が出ればおk
• C-d で抜けると再度再起動がかかり サーバが復旧しますやったー!
$ 事前にできる対策
$ さクラウドの新機能 • パーティションサイズの拡張機能…?! - 最of高 - LVMが苦手なフレンズでも大丈夫! へーきへーき! フレンズによって、
得意なこと違うから!
$ まとめ • LVM構成で片方のディスクで 障害が起きるとReadOnlyになる場合がある - 一例として参考にしてもらえると嬉しいっす • cpコマンドできなければfsckを試そう •
予期しない障害はクラウド障害も疑う • さくらのクラウドではディスクサイズの 変更が楽になったぞ!(回し者じゃないです)
$ おしまい ご清聴ありがとウサギ