Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
クラウドの障害でディスクがToLOVEった話
Search
Kutsuhimo Gochou
February 15, 2017
Technology
0
200
クラウドの障害でディスクがToLOVEった話
2017/02/15 に春のLinuxライトニングトーク大会2017@コアラの森のておくれたちで発表したときの資料です。ディスクシリーズ第2弾。タイトルの出落ち感半端ない。
Kutsuhimo Gochou
February 15, 2017
Tweet
Share
More Decks by Kutsuhimo Gochou
See All by Kutsuhimo Gochou
CentOS8 キタ━━━━(゚∀゚)━━━━!!
misato8310
0
320
あなたと ErgoDox EZ、今すぐ購入
misato8310
0
430
東海道らぐ横浜の集い 2019春の巻
misato8310
0
200
アニソンからはじめるヒトカラ入門
misato8310
0
470
Porgでソースからインストールしたソフトウェアを管理
misato8310
0
170
はじめてさわるOSSでNextCloudサーバを構築
misato8310
0
1.5k
ザックリFirewalld
misato8310
0
270
ファイル内容の通知にFluentdを導入した話
misato8310
0
630
EC2+S3で無制限ストレージバックアップサーバを作る
misato8310
0
470
Other Decks in Technology
See All in Technology
「Chatwork」の認証基盤の移行とログ活用によるプロダクト改善
kubell_hr
1
200
Node-RED × MCP 勉強会 vol.1
1ftseabass
PRO
0
150
Witchcraft for Memory
pocke
1
440
Yamla: Rustでつくるリアルタイム性を追求した機械学習基盤 / Yamla: A Rust-Based Machine Learning Platform Pursuing Real-Time Capabilities
lycorptech_jp
PRO
3
130
Observability в PHP без боли. Олег Мифле, тимлид Altenar
lamodatech
0
360
MySQL5.6から8.4へ 戦いの記録
kyoshidaxx
1
260
20250625 Snowflake Summit 2025活用事例 レポート / Nowcast Snowflake Summit 2025 Case Study Report
kkuv
1
310
Snowflake Summit 2025全体振り返り / Snowflake Summit 2025 Overall Review
mtpooh
2
400
PostgreSQL 18 cancel request key長の変更とRailsへの関連
yahonda
0
120
SalesforceArchitectGroupOsaka#20_CNX'25_Report
atomica7sei
0
190
Oracle Cloud Infrastructure:2025年6月度サービス・アップデート
oracle4engineer
PRO
2
260
Welcome to the LLM Club
koic
0
190
Featured
See All Featured
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Music & Morning Musume
bryan
46
6.6k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Faster Mobile Websites
deanohume
307
31k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
670
Transcript
クラウドの障害で ディスクがToLOVEった話 〜さくらのクラウド編〜 靴ひも伍長 @_EOF_83_EOF_ 春のLinuxライトニングトーク大会2017 コアラの森のておくれたち
$ whois • I’m イン腐ラエンジニア - I love CentOS and
Vim • 生まれも育ちも横浜のはまっ子 - 仕事の関係で札幌暮らし経験あり • PCとサーバは私が嫁 • 最近PC作ったいえええええええええええい! - グラボ積んでるのでゲームも余裕 • 漫画読む時間がほしい 普段はこんなアイコンで 過ごしてる
$ 自作PC自慢 非常にカッコいい (自画自賛) GTX 1060積んでるよ
$ 話それたので修正
$ あじぇんだ • クラウド障害で複数のサーバがおかしくなった - どこで壊れたのOhサーバ…(´;ω;`) - LVM構成のサーバだけReadOnlyに… • そのときの症状と解決方法について
• さくらのクラウドの新機能 - ディスクサイズを変更してくれる…?! LVMなしで…?やばくない? • まとめ
$ 現象について • お客様からアプリが動かないとのご連絡が… - アプリのバグと思っていたら 同時刻に複数のサーバで障害が発生 • サーバにSSHして現象の原因を探るものの アプリのバグは見つからなかった
- でもcpコマンドなどが利用できなかった • ログファイルを閲覧したところ ある時刻からログが途切れていた - こ…これはもしや…?
$ 現象の原因 • クラウド側のディスク障害が原因だった - LVM構成でないサーバは問題なく復旧 • しかし…LVM構成のディスクは瀕死になった… - なんでReadOnlyになってるんですかorz
- コンソールには以下のメッセージが 延々と出力されていた - 何がfrozenだコラーーー!!!
$ 簡略図
$ とりあえず復旧だ! • ググったら再起動してfsckしろとのこと - # fsck -t ext4 /dev/mapper/hoge-lv_root
• 再起動したら以下の画面が… - ログインしてfsckだ!
$ fsckで解決 • fix?って聞かれたらyを押す • FILE SYSTEM WAS MODIFIED が出ればおk
• C-d で抜けると再度再起動がかかり サーバが復旧しますやったー!
$ 事前にできる対策
$ さクラウドの新機能 • パーティションサイズの拡張機能…?! - 最of高 - LVMが苦手なフレンズでも大丈夫! へーきへーき! フレンズによって、
得意なこと違うから!
$ まとめ • LVM構成で片方のディスクで 障害が起きるとReadOnlyになる場合がある - 一例として参考にしてもらえると嬉しいっす • cpコマンドできなければfsckを試そう •
予期しない障害はクラウド障害も疑う • さくらのクラウドではディスクサイズの 変更が楽になったぞ!(回し者じゃないです)
$ おしまい ご清聴ありがとウサギ