Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
クラウドの障害でディスクがToLOVEった話
Search
Kutsuhimo Gochou
February 15, 2017
Technology
0
210
クラウドの障害でディスクがToLOVEった話
2017/02/15 に春のLinuxライトニングトーク大会2017@コアラの森のておくれたちで発表したときの資料です。ディスクシリーズ第2弾。タイトルの出落ち感半端ない。
Kutsuhimo Gochou
February 15, 2017
Tweet
Share
More Decks by Kutsuhimo Gochou
See All by Kutsuhimo Gochou
CentOS8 キタ━━━━(゚∀゚)━━━━!!
misato8310
0
330
あなたと ErgoDox EZ、今すぐ購入
misato8310
0
440
東海道らぐ横浜の集い 2019春の巻
misato8310
0
210
アニソンからはじめるヒトカラ入門
misato8310
0
480
Porgでソースからインストールしたソフトウェアを管理
misato8310
0
170
はじめてさわるOSSでNextCloudサーバを構築
misato8310
0
1.5k
ザックリFirewalld
misato8310
0
280
ファイル内容の通知にFluentdを導入した話
misato8310
0
640
EC2+S3で無制限ストレージバックアップサーバを作る
misato8310
0
480
Other Decks in Technology
See All in Technology
このままAIが発展するだけでAGI達成可能な理由
frievea
0
110
今この時代に技術とどう向き合うべきか
gree_tech
PRO
2
2k
Node.js 2025: What's new and what's next
ruyadorno
0
370
Wasmのエコシステムを使った ツール作成方法
askua
0
200
スタートアップにおけるこれからの「データ整備」
shomaekawa
2
490
それでも私が品質保証プロセスを作り続ける理由 #テストラジオ / Why I still continue to create QA process
pineapplecandy
0
110
エンタメとAIのための3Dパラレルワールド構築(GPU UNITE 2025 特別講演)
pfn
PRO
0
380
Git in Team
kawaguti
PRO
3
380
AIツールでどこまでデザインを忠実に実装できるのか
oikon48
6
3.5k
Findy Team+ QAチーム これからのチャレンジ!
findy_eventslides
0
400
いまからでも遅くない!SSL/TLS証明書超入門(It's not too late to start! SSL/TLS Certificates: The Absolute Beginner's Guide)
norimuraz
0
260
LLMプロダクトの信頼性を上げるには?LLM Observabilityによる、対話型音声AIアプリケーションの安定運用
ivry_presentationmaterials
0
200
Featured
See All Featured
Code Review Best Practice
trishagee
72
19k
GitHub's CSS Performance
jonrohan
1032
470k
Optimizing for Happiness
mojombo
379
70k
It's Worth the Effort
3n
187
28k
Building an army of robots
kneath
306
46k
Automating Front-end Workflow
addyosmani
1371
200k
The Cost Of JavaScript in 2023
addyosmani
55
9k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.5k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
How to Ace a Technical Interview
jacobian
280
24k
Rails Girls Zürich Keynote
gr2m
95
14k
For a Future-Friendly Web
brad_frost
180
10k
Transcript
クラウドの障害で ディスクがToLOVEった話 〜さくらのクラウド編〜 靴ひも伍長 @_EOF_83_EOF_ 春のLinuxライトニングトーク大会2017 コアラの森のておくれたち
$ whois • I’m イン腐ラエンジニア - I love CentOS and
Vim • 生まれも育ちも横浜のはまっ子 - 仕事の関係で札幌暮らし経験あり • PCとサーバは私が嫁 • 最近PC作ったいえええええええええええい! - グラボ積んでるのでゲームも余裕 • 漫画読む時間がほしい 普段はこんなアイコンで 過ごしてる
$ 自作PC自慢 非常にカッコいい (自画自賛) GTX 1060積んでるよ
$ 話それたので修正
$ あじぇんだ • クラウド障害で複数のサーバがおかしくなった - どこで壊れたのOhサーバ…(´;ω;`) - LVM構成のサーバだけReadOnlyに… • そのときの症状と解決方法について
• さくらのクラウドの新機能 - ディスクサイズを変更してくれる…?! LVMなしで…?やばくない? • まとめ
$ 現象について • お客様からアプリが動かないとのご連絡が… - アプリのバグと思っていたら 同時刻に複数のサーバで障害が発生 • サーバにSSHして現象の原因を探るものの アプリのバグは見つからなかった
- でもcpコマンドなどが利用できなかった • ログファイルを閲覧したところ ある時刻からログが途切れていた - こ…これはもしや…?
$ 現象の原因 • クラウド側のディスク障害が原因だった - LVM構成でないサーバは問題なく復旧 • しかし…LVM構成のディスクは瀕死になった… - なんでReadOnlyになってるんですかorz
- コンソールには以下のメッセージが 延々と出力されていた - 何がfrozenだコラーーー!!!
$ 簡略図
$ とりあえず復旧だ! • ググったら再起動してfsckしろとのこと - # fsck -t ext4 /dev/mapper/hoge-lv_root
• 再起動したら以下の画面が… - ログインしてfsckだ!
$ fsckで解決 • fix?って聞かれたらyを押す • FILE SYSTEM WAS MODIFIED が出ればおk
• C-d で抜けると再度再起動がかかり サーバが復旧しますやったー!
$ 事前にできる対策
$ さクラウドの新機能 • パーティションサイズの拡張機能…?! - 最of高 - LVMが苦手なフレンズでも大丈夫! へーきへーき! フレンズによって、
得意なこと違うから!
$ まとめ • LVM構成で片方のディスクで 障害が起きるとReadOnlyになる場合がある - 一例として参考にしてもらえると嬉しいっす • cpコマンドできなければfsckを試そう •
予期しない障害はクラウド障害も疑う • さくらのクラウドではディスクサイズの 変更が楽になったぞ!(回し者じゃないです)
$ おしまい ご清聴ありがとウサギ