Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
クラウドの障害でディスクがToLOVEった話
Search
Kutsuhimo Gochou
February 15, 2017
Technology
0
200
クラウドの障害でディスクがToLOVEった話
2017/02/15 に春のLinuxライトニングトーク大会2017@コアラの森のておくれたちで発表したときの資料です。ディスクシリーズ第2弾。タイトルの出落ち感半端ない。
Kutsuhimo Gochou
February 15, 2017
Tweet
Share
More Decks by Kutsuhimo Gochou
See All by Kutsuhimo Gochou
CentOS8 キタ━━━━(゚∀゚)━━━━!!
misato8310
0
320
あなたと ErgoDox EZ、今すぐ購入
misato8310
0
430
東海道らぐ横浜の集い 2019春の巻
misato8310
0
210
アニソンからはじめるヒトカラ入門
misato8310
0
470
Porgでソースからインストールしたソフトウェアを管理
misato8310
0
170
はじめてさわるOSSでNextCloudサーバを構築
misato8310
0
1.5k
ザックリFirewalld
misato8310
0
270
ファイル内容の通知にFluentdを導入した話
misato8310
0
630
EC2+S3で無制限ストレージバックアップサーバを作る
misato8310
0
470
Other Decks in Technology
See All in Technology
アクセスピークを制するオートスケール再設計: 障害を乗り越えKEDAで実現したリソース管理の最適化
myamashii
1
140
[ JAWS-UG千葉支部 x 彩の国埼玉支部 ]ムダ遣い卒業!FinOpsで始めるAWSコスト最適化の第一歩
sh_fk2
2
140
SREのためのeBPF活用ステップアップガイド
egmc
1
210
MobileActOsaka_250704.pdf
akaitadaaki
0
170
事例で学ぶ!B2B SaaSにおけるSREの実践例/SRE for B2B SaaS: A Real-World Case Study
bitkey
1
160
How to Quickly Call American Airlines®️ U.S. Customer Care : Full Guide
flyaahelpguide
0
150
Delegating the chores of authenticating users to Keycloak
ahus1
0
160
American airlines ®️ USA Contact Numbers: Complete 2025 Support Guide
airhelpsupport
0
390
CDK Vibe Coding Fes
tomoki10
0
220
赤煉瓦倉庫勉強会「Databricksを選んだ理由と、絶賛真っ只中のデータ基盤移行体験記」
ivry_presentationmaterials
2
380
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
10
130k
Contributing to Rails? Start with the Gems You Already Use
yahonda
2
110
Featured
See All Featured
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Making Projects Easy
brettharned
116
6.3k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Building an army of robots
kneath
306
45k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Designing for humans not robots
tammielis
253
25k
Automating Front-end Workflow
addyosmani
1370
200k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Transcript
クラウドの障害で ディスクがToLOVEった話 〜さくらのクラウド編〜 靴ひも伍長 @_EOF_83_EOF_ 春のLinuxライトニングトーク大会2017 コアラの森のておくれたち
$ whois • I’m イン腐ラエンジニア - I love CentOS and
Vim • 生まれも育ちも横浜のはまっ子 - 仕事の関係で札幌暮らし経験あり • PCとサーバは私が嫁 • 最近PC作ったいえええええええええええい! - グラボ積んでるのでゲームも余裕 • 漫画読む時間がほしい 普段はこんなアイコンで 過ごしてる
$ 自作PC自慢 非常にカッコいい (自画自賛) GTX 1060積んでるよ
$ 話それたので修正
$ あじぇんだ • クラウド障害で複数のサーバがおかしくなった - どこで壊れたのOhサーバ…(´;ω;`) - LVM構成のサーバだけReadOnlyに… • そのときの症状と解決方法について
• さくらのクラウドの新機能 - ディスクサイズを変更してくれる…?! LVMなしで…?やばくない? • まとめ
$ 現象について • お客様からアプリが動かないとのご連絡が… - アプリのバグと思っていたら 同時刻に複数のサーバで障害が発生 • サーバにSSHして現象の原因を探るものの アプリのバグは見つからなかった
- でもcpコマンドなどが利用できなかった • ログファイルを閲覧したところ ある時刻からログが途切れていた - こ…これはもしや…?
$ 現象の原因 • クラウド側のディスク障害が原因だった - LVM構成でないサーバは問題なく復旧 • しかし…LVM構成のディスクは瀕死になった… - なんでReadOnlyになってるんですかorz
- コンソールには以下のメッセージが 延々と出力されていた - 何がfrozenだコラーーー!!!
$ 簡略図
$ とりあえず復旧だ! • ググったら再起動してfsckしろとのこと - # fsck -t ext4 /dev/mapper/hoge-lv_root
• 再起動したら以下の画面が… - ログインしてfsckだ!
$ fsckで解決 • fix?って聞かれたらyを押す • FILE SYSTEM WAS MODIFIED が出ればおk
• C-d で抜けると再度再起動がかかり サーバが復旧しますやったー!
$ 事前にできる対策
$ さクラウドの新機能 • パーティションサイズの拡張機能…?! - 最of高 - LVMが苦手なフレンズでも大丈夫! へーきへーき! フレンズによって、
得意なこと違うから!
$ まとめ • LVM構成で片方のディスクで 障害が起きるとReadOnlyになる場合がある - 一例として参考にしてもらえると嬉しいっす • cpコマンドできなければfsckを試そう •
予期しない障害はクラウド障害も疑う • さくらのクラウドではディスクサイズの 変更が楽になったぞ!(回し者じゃないです)
$ おしまい ご清聴ありがとウサギ