Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
クラウドの障害でディスクがToLOVEった話
Search
Kutsuhimo Gochou
February 15, 2017
Technology
0
210
クラウドの障害でディスクがToLOVEった話
2017/02/15 に春のLinuxライトニングトーク大会2017@コアラの森のておくれたちで発表したときの資料です。ディスクシリーズ第2弾。タイトルの出落ち感半端ない。
Kutsuhimo Gochou
February 15, 2017
Tweet
Share
More Decks by Kutsuhimo Gochou
See All by Kutsuhimo Gochou
CentOS8 キタ━━━━(゚∀゚)━━━━!!
misato8310
0
320
あなたと ErgoDox EZ、今すぐ購入
misato8310
0
440
東海道らぐ横浜の集い 2019春の巻
misato8310
0
210
アニソンからはじめるヒトカラ入門
misato8310
0
470
Porgでソースからインストールしたソフトウェアを管理
misato8310
0
170
はじめてさわるOSSでNextCloudサーバを構築
misato8310
0
1.5k
ザックリFirewalld
misato8310
0
280
ファイル内容の通知にFluentdを導入した話
misato8310
0
640
EC2+S3で無制限ストレージバックアップサーバを作る
misato8310
0
470
Other Decks in Technology
See All in Technology
自動テストのコストと向き合ってみた
qa
0
200
SwiftUIのGeometryReaderとScrollViewを基礎から応用まで学び直す:設計と活用事例
fumiyasac0921
0
150
Uncle Bobの「プロフェッショナリズムへの期待」から学ぶプロの覚悟
nakasho
2
100
関係性が駆動するアジャイル──GPTに人格を与えたら、対話を通してふりかえりを習慣化できた話
mhlyc
0
130
Geospatialの世界最前線を探る [2025年版]
dayjournal
0
170
AI ReadyなData PlatformとしてのAutonomous Databaseアップデート
oracle4engineer
PRO
0
230
能登半島災害現場エンジニアクロストーク 【JAWS FESTA 2025 in 金沢】
ditccsugii
0
170
生成AIとM5Stack / M5 Japan Tour 2025 Autumn 東京
you
PRO
0
240
M5製品で作るポン置きセルラー対応カメラ
sayacom
0
170
ガバメントクラウドの概要と自治体事例(名古屋市)
techniczna
2
200
Why Governance Matters: The Key to Reducing Risk Without Slowing Down
sarahjwells
0
120
後進育成のしくじり〜任せるスキルとリーダーシップの両立〜
matsu0228
7
3.2k
Featured
See All Featured
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Building Adaptive Systems
keathley
43
2.8k
The Language of Interfaces
destraynor
162
25k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
Music & Morning Musume
bryan
46
6.8k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
Practical Orchestrator
shlominoach
190
11k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.1k
How to Think Like a Performance Engineer
csswizardry
27
2k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Raft: Consensus for Rubyists
vanstee
139
7.1k
Transcript
クラウドの障害で ディスクがToLOVEった話 〜さくらのクラウド編〜 靴ひも伍長 @_EOF_83_EOF_ 春のLinuxライトニングトーク大会2017 コアラの森のておくれたち
$ whois • I’m イン腐ラエンジニア - I love CentOS and
Vim • 生まれも育ちも横浜のはまっ子 - 仕事の関係で札幌暮らし経験あり • PCとサーバは私が嫁 • 最近PC作ったいえええええええええええい! - グラボ積んでるのでゲームも余裕 • 漫画読む時間がほしい 普段はこんなアイコンで 過ごしてる
$ 自作PC自慢 非常にカッコいい (自画自賛) GTX 1060積んでるよ
$ 話それたので修正
$ あじぇんだ • クラウド障害で複数のサーバがおかしくなった - どこで壊れたのOhサーバ…(´;ω;`) - LVM構成のサーバだけReadOnlyに… • そのときの症状と解決方法について
• さくらのクラウドの新機能 - ディスクサイズを変更してくれる…?! LVMなしで…?やばくない? • まとめ
$ 現象について • お客様からアプリが動かないとのご連絡が… - アプリのバグと思っていたら 同時刻に複数のサーバで障害が発生 • サーバにSSHして現象の原因を探るものの アプリのバグは見つからなかった
- でもcpコマンドなどが利用できなかった • ログファイルを閲覧したところ ある時刻からログが途切れていた - こ…これはもしや…?
$ 現象の原因 • クラウド側のディスク障害が原因だった - LVM構成でないサーバは問題なく復旧 • しかし…LVM構成のディスクは瀕死になった… - なんでReadOnlyになってるんですかorz
- コンソールには以下のメッセージが 延々と出力されていた - 何がfrozenだコラーーー!!!
$ 簡略図
$ とりあえず復旧だ! • ググったら再起動してfsckしろとのこと - # fsck -t ext4 /dev/mapper/hoge-lv_root
• 再起動したら以下の画面が… - ログインしてfsckだ!
$ fsckで解決 • fix?って聞かれたらyを押す • FILE SYSTEM WAS MODIFIED が出ればおk
• C-d で抜けると再度再起動がかかり サーバが復旧しますやったー!
$ 事前にできる対策
$ さクラウドの新機能 • パーティションサイズの拡張機能…?! - 最of高 - LVMが苦手なフレンズでも大丈夫! へーきへーき! フレンズによって、
得意なこと違うから!
$ まとめ • LVM構成で片方のディスクで 障害が起きるとReadOnlyになる場合がある - 一例として参考にしてもらえると嬉しいっす • cpコマンドできなければfsckを試そう •
予期しない障害はクラウド障害も疑う • さくらのクラウドではディスクサイズの 変更が楽になったぞ!(回し者じゃないです)
$ おしまい ご清聴ありがとウサギ