Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
クラウドの障害でディスクがToLOVEった話
Search
Kutsuhimo Gochou
February 15, 2017
Technology
0
170
クラウドの障害でディスクがToLOVEった話
2017/02/15 に春のLinuxライトニングトーク大会2017@コアラの森のておくれたちで発表したときの資料です。ディスクシリーズ第2弾。タイトルの出落ち感半端ない。
Kutsuhimo Gochou
February 15, 2017
Tweet
Share
More Decks by Kutsuhimo Gochou
See All by Kutsuhimo Gochou
CentOS8 キタ━━━━(゚∀゚)━━━━!!
misato8310
0
250
あなたと ErgoDox EZ、今すぐ購入
misato8310
0
340
東海道らぐ横浜の集い 2019春の巻
misato8310
0
170
アニソンからはじめるヒトカラ入門
misato8310
0
420
Porgでソースからインストールしたソフトウェアを管理
misato8310
0
140
はじめてさわるOSSでNextCloudサーバを構築
misato8310
0
1.3k
ザックリFirewalld
misato8310
0
230
ファイル内容の通知にFluentdを導入した話
misato8310
0
470
EC2+S3で無制限ストレージバックアップサーバを作る
misato8310
0
430
Other Decks in Technology
See All in Technology
Evolutionary Optimization of Model Merging Recipes
fuyu_quant0
3
550
初心者が行く!サーバレスWebアプリ開発の道
nagaharutogawa
0
450
イチから学ぶdbt / Learn dbt from scratch
shinyaa31
0
150
LLMプロダクト事業の立ち上げにおける挑戦
layerx
PRO
7
1.5k
LLMの現在
pfn
PRO
3
1.3k
バッチ処理のSLOをどう設計するか
rynsuke
7
590
エンジニア候補者向け資料2024.03.28.pdf
macloud
0
2.9k
複数の LLM モデルを扱う上で直面した辛みまとめ
kazuyaseki
1
260
GraphQLに入門してみた
chiroruxx
2
130
BDD(Cucumber)コミュニティが無料提供しているコンテンツの紹介と現在起きている危機
nihonbuson
4
750
Getting started with controlling LEGO using Swift
hcrane
0
140
これまでのキャリアとこれからMLエンジニアとしてどう動くか
masatakashiwagi
1
700
Featured
See All Featured
Producing Creativity
orderedlist
PRO
335
39k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
11
1.4k
A Modern Web Designer's Workflow
chriscoyier
689
190k
Testing 201, or: Great Expectations
jmmastey
27
6.3k
Teambox: Starting and Learning
jrom
126
8.4k
Building Adaptive Systems
keathley
29
1.8k
GraphQLとの向き合い方2022年版
quramy
28
12k
Optimising Largest Contentful Paint
csswizardry
7
2.3k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
101
6.6k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
240
1.2M
Creatively Recalculating Your Daily Design Routine
revolveconf
209
11k
GraphQLの誤解/rethinking-graphql
sonatard
48
9.1k
Transcript
クラウドの障害で ディスクがToLOVEった話 〜さくらのクラウド編〜 靴ひも伍長 @_EOF_83_EOF_ 春のLinuxライトニングトーク大会2017 コアラの森のておくれたち
$ whois • I’m イン腐ラエンジニア - I love CentOS and
Vim • 生まれも育ちも横浜のはまっ子 - 仕事の関係で札幌暮らし経験あり • PCとサーバは私が嫁 • 最近PC作ったいえええええええええええい! - グラボ積んでるのでゲームも余裕 • 漫画読む時間がほしい 普段はこんなアイコンで 過ごしてる
$ 自作PC自慢 非常にカッコいい (自画自賛) GTX 1060積んでるよ
$ 話それたので修正
$ あじぇんだ • クラウド障害で複数のサーバがおかしくなった - どこで壊れたのOhサーバ…(´;ω;`) - LVM構成のサーバだけReadOnlyに… • そのときの症状と解決方法について
• さくらのクラウドの新機能 - ディスクサイズを変更してくれる…?! LVMなしで…?やばくない? • まとめ
$ 現象について • お客様からアプリが動かないとのご連絡が… - アプリのバグと思っていたら 同時刻に複数のサーバで障害が発生 • サーバにSSHして現象の原因を探るものの アプリのバグは見つからなかった
- でもcpコマンドなどが利用できなかった • ログファイルを閲覧したところ ある時刻からログが途切れていた - こ…これはもしや…?
$ 現象の原因 • クラウド側のディスク障害が原因だった - LVM構成でないサーバは問題なく復旧 • しかし…LVM構成のディスクは瀕死になった… - なんでReadOnlyになってるんですかorz
- コンソールには以下のメッセージが 延々と出力されていた - 何がfrozenだコラーーー!!!
$ 簡略図
$ とりあえず復旧だ! • ググったら再起動してfsckしろとのこと - # fsck -t ext4 /dev/mapper/hoge-lv_root
• 再起動したら以下の画面が… - ログインしてfsckだ!
$ fsckで解決 • fix?って聞かれたらyを押す • FILE SYSTEM WAS MODIFIED が出ればおk
• C-d で抜けると再度再起動がかかり サーバが復旧しますやったー!
$ 事前にできる対策
$ さクラウドの新機能 • パーティションサイズの拡張機能…?! - 最of高 - LVMが苦手なフレンズでも大丈夫! へーきへーき! フレンズによって、
得意なこと違うから!
$ まとめ • LVM構成で片方のディスクで 障害が起きるとReadOnlyになる場合がある - 一例として参考にしてもらえると嬉しいっす • cpコマンドできなければfsckを試そう •
予期しない障害はクラウド障害も疑う • さくらのクラウドではディスクサイズの 変更が楽になったぞ!(回し者じゃないです)
$ おしまい ご清聴ありがとウサギ