おうち環境でも「なるべく止めたくない！」 ― おうち環境の機器冗長化の理想と現実

自宅にサーバーを導入したけど、なんかLANケーブルがいっぱい刺さる……。
じゃあ冗長化しよう！それなら棚置きよりラックマウントしたほうがいいな！という気持ちもあり始めた自宅ラック。

「この機器は止めたくない」
「録画サーバーは仮想化したくない」
「RAIDも欲しいけど、もちろんバックアップも欲しい」
「メンテナンスのたびに、その上で動いているものを全部止めたくない」
「でもソフトウェア側でうまく冗長化する知識はないので、サーバレベルでなんとかしたい」
「そして電気代……」

そんなことを考えているうちに、サーバー、ストレージ、ネットワーク、電源と、欲しい機器や必要な機能はどんどん増えていきます。
とはいえ、本格的な冗長構成を組める機器は、いろいろと高い。

そんな中でも手が届く機器を使って、「なるべく止めない」「止めても復帰しやすい」構成にしたか。
中古機器や手頃な機器を組み合わせたり、構成を工夫したりしながら、どこまで冗長化っぽいことができるのか。

普段はCEでまともに設計やってない人がどこまでできるのか(?)
実際に自宅で組んでいる環境を例に、機器の選び方や構成、
そして「なるべく止めない」を実現するためにどのくらいコストがかかっているのかを紹介します。

1. おうち環境でも なるべく止めたくない！ おうち環境の機器冗長化の理想と現実
2. 自己紹介 ↓Twitterアイコン。 • ゆーとし (Twitter yuutosi_hiyuu) • 新卒で入った会社で7年目 愛知県でCEやってます。 • サーバ > ストレージ > ネットワークの順で対応頻度多め。 • インターネットは中学生から。ゆっくり実況とかやってました。 • ネットワークの始まりはMinecraftサーバ。 • 自宅サーバのために1Kから2LDKに引っ越して1人暮らししてます。 • こういうIT系のイベント自体初めてでめちゃくちゃ緊張してます('ω' 三 'ω' 三 'ω')
3. 自宅環境(FY23)
4. お引越し
5. お引越し
6. 自宅環境
7. 自宅環境
8. 現在の自宅環境（超ざっくり） ネットワーク サーバ ストレージ NEC IX ×3 X510 6-Stack CRS326-24S+2Q+ VRRP ゲートウェイ 1/10GbE L3スイッチ 10/40GbE L2 スイッチ DL360 Gen10 DL360 Gen10 DL20 Gen10 DL380 Gen10 VM Host A VM Host B VM Host C (DNS/通信解析) 録画専用 QNAP TS-1886XU-RP QNAP TVS-872XU-RP CIFS/iSCSI SnapMirror
9. 冗長化 とは？
10. 冗長化 とは？ 2人いれば片方がいなくなっても働き続ける
11. 冗長化、ざっくり図で説明すると 同じ仕事をできる人が2人いれば…… サービス稼働中 2人のうち誰かが対応できる 担当 A 担当 B
12. 片方が止まっても、もう片方が対応する これが「単一障害点を減らす」という考え方です。 × 引き継ぎ サービス継続 片方が動ければ、続けられる 担当 A 担当 B ただし正しく「引き継ぎ」をしないと「止まる」ことがあります
13. 冗長化しようとしたら、人が増えていく 担当が止まると困る → 予備を用意 → その予備も守りたくなる…… 最初は1人 2人にする さらに予備を… 気づけば8人 とりあえず稼働 片方が止まってもOK 保険の保険 もう何を守ってたっけ 結局、人（機材）を増やすほど 電源・接続先・管理するもの まで増えていく。
14. こうしてラックが育ちました サーバを導入 配線が増える ラックを追加 もう1台… まずは動けばOK LANケーブルがいっぱい 収まりがよい 故障・保守に備えたい 「壊れたら困る」が増えるほど、ハードも増えていく。 自宅に置いてるんだからご家庭サーバなんだよなぁ
15. でも、現実は…… お金も、コンセントも、スペースも 無限にはない ←趣味多すぎ問題→
16. 優先順位をつけよう 01 落ちたらどうしようもないもの コアネットワーク 02 消費電力と利便性を確保したい 仮想基盤にいるVM 03 巻き込まれて落ちないでほしい 録画サーバやDNS,DHCP,ルータなど 04 止まっても戻せればよい データ・設定・構成
17. 1.落ちたらどうしようもないもの コアネットワーク
18. 現在の自宅環境（超ざっくり） ネットワーク サーバ ストレージ NEC IX ×3 X510 6-Stack CRS326-24S+2Q+ VRRP ゲートウェイ 1/10GbE L3スイッチ 10/40GbE L2 スイッチ DL360 Gen10 DL360 Gen10 DL20 Gen10 DL380 Gen10 VM Host A VM Host B VM Host C (DNS/通信解析) 録画専用 QNAP TS-1886XU-RP QNAP TVS-872XU-RP CIFS/iSCSI SnapMirror
19. コアネットワーク：3ラックにx510を分散 3つのネットワークラックにx510を2台ずつ。合計6台をスタックで運用。 ラック ① ラック ② ラック ③ x510 #1 x510 #3 x510 #5 x510 #2 x510 #4 x510 #6 x510 6-Stack ※ スタックの物理配線順序は省略した概念図
20. コアネットワーク
21. コアネットワーク
22. 10GbEは速い。でも、スイッチが1台しかない 25UラックのCRS326を主系、x510側の1GbEを待機系として使う。 仮想基盤のサーバ CRS326 10GbE 10GbE 主系 主系（Active）／物理装置は1台 HPE DL360 VM Host NIC: Active / Standby 1GbE 待機 x510 1GbE 待機系（Standby） CRS326が止まっても1GbEへ逃がす設計。ただし帯域は低下し、切替にはNIC設定などの前提あり。
23. 10GbEは速い。でも、スイッチが1台しかない X510は10G 4port 残りは1G CRS325とX510間は 10G LACP 筐体異常でも通信可能 CRS326は10G 24port 40G 2port
24. インターネット回線とデフォルトGWも分散 それぞれの回線にNEC IXを用意し、VRRPでゲートウェイを冗長化。 en光 マンション無料ネット docomo Home Wi-Fi 10GbE 1GbE モバイル系 NEC IX-R2530 NEC IX2215 NEC IX2105 VRRP / デフォルトゲートウェイ（仮想IP）
25. 「どこが止まってもいい」を目指す ① x510のメンバー障害 同一ラックに別メンバーが残る構成 ② CRS326の故障 10G主系 → 1G待機系へ ③ NEC IX／WAN障害 VRRPと複数回線で迂回を狙う
26. 2.消費電力と利便性を確保したい 仮想基盤にいるVM
27. 現在の自宅環境（超ざっくり） ネットワーク サーバ ストレージ NEC IX ×3 X510 6-Stack CRS326-24S+2Q+ VRRP ゲートウェイ 1/10GbE L3スイッチ 10/40GbE L2 スイッチ DL360 Gen10 DL360 Gen10 DL20 Gen10 DL380 Gen10 VM Host A VM Host B VM Host C (DNS/通信解析) 録画専用 QNAP TS-1886XU-RP QNAP TVS-872XU-RP CIFS/iSCSI SnapMirror
28. 理想のHA：2台のホストを常時稼働 VM VM VM VM VM DL360 Gen10 DL360 Gen10 VM Host A VM Host B
29. 障害時：HAでVMを別ホストに再起動 VM VM VM VM VM HA VM 障害発生 VM VM DL360 Gen10 DL360 Gen10 VM Host A VM Host B ←VM再起動はする
30. 一方、計画メンテナンスなら？ VM このサーバの メンテしたいな VM VM VM VM DL360 Gen10 DL360 Gen10 VM Host A VM Host B
31. Live MigrationでVMを止めずに移動 VM VM Live Migration VM VM VM VM VM VM DL360 Gen10 DL360 Gen10 VM Host A VM Host B 突発障害の影響が少ない自宅環境では こっちの機能が欲しい ←無停止
32. ところで、2台をずっと起動する必要ある？ 障害対策とメンテナンス対策、欲しいものを分けて考えると…… 理想のHA 自宅で欲しい機能 障害に備えて2台とも常時ON Host A ON Host B ON 障害時の自動復旧を狙える メンテのときだけ2台ON Host A ON Host B OFF 必要なときに起動 → Live Migration だったら普段は1台だけ動かせばよくない？
33. 現実解：普段は1台、予備は停止 このサーバの メンテしたいな VM VM VM VM VM DL360 Gen10 DL360 Gen10 VM Host A (UPS電源) VM Host B (商用電源)
34. メンテ時だけ予備ホストを起動 VM VM VM VM VM DL360 Gen10 DL360 Gen10 VM Host A (UPS電源) VM Host B (商用電源)
35. Live Migrationで予備ホストへ退避 VM VM VM VM Live Migration VM VM VM VM VM VM DL360 Gen10 DL360 Gen10 VM Host A (UPS電源) VM Host B (商用電源)
36. 稼働VMを移動して、安全にメンテ VM VM VM VM VM DL360 Gen10 DL360 Gen10 VM Host A (UPS電源) VM Host B (商用電源) VM無停止でメンテナンス準備ができた
37. UPSの負荷が高いとき このVMの負荷が高すぎます!!!!! VM VM VM VM VM DL360 Gen10 DL360 Gen10 VM Host A (UPS電源) VM Host B (商用電源) 消費電力 800W UPS稼働残時間 20分 消費電力 0W -
38. 高負荷VMを商用電源側へ移動 VM VM VM VM Live Migration VM VM DL360 Gen10 DL360 Gen10 VM Host A (UPS電源) VM Host B (商用電源) 消費電力 400W UPS稼働残時間 60分 消費電力 400W -
39. IP-PDU&SwitchBot&Grafana活用による消費電力管理
40. IP-PDU&SwitchBot&Grafana活用による消費電力管理
41. IP-PDU&SwitchBot&Grafana活用による消費電力管理
42. Wi-SUN(スマートメーター)からも ここに横長ディスプレイの写真はる
43. IP-PDU
44. 3.巻き込まれて落ちないでほしい 録画サーバやDNS,DHCP,ルータなど
45. 現在の自宅環境（超ざっくり） ネットワーク サーバ ストレージ NEC IX ×3 X510 6-Stack CRS326-24S+2Q+ VRRP ゲートウェイ 1/10GbE L3スイッチ 10/40GbE L2 スイッチ DL360 Gen10 DL360 Gen10 DL20 Gen10 DL380 Gen10 VM Host A VM Host B VM Host C (DNS/通信解析) 録画専用 QNAP TS-1886XU-RP QNAP TVS-872XU-RP CIFS/iSCSI SnapMirror
46. あえて仮想基盤に載せない ① 録画サーバー PT3 Max M4 ② DNSは「VM＋物理」 DL380 Gen10 (LFF) SvDNS1 DNS2 録画専用・物理機 仮想マシン 独立した物理マシン PCIeパススルー・互換性に悩みたくない 本体2台での冗長化は、さすがに高価…… 名前解決を片方だけに依存しない
47. 録画サーバー：冗長化しないという選択 VM化の悩み DL380 Gen10 (LFF) PT3 Max M4 物理専用機で 録画を維持 デバイス周りを シンプルに PCIeパススルー・ドライバ互換性・更新時の影響 2台化の悩み チューナー・ストレージ・録画経路まで二重化すると高価 ストレージの悩み 大容量の録画データはローカルストレージに配置したい ここは「止めない」より、壊れたら復旧する方向で割り切る
48. DNS：SvDNS1はVM、DNS2は物理マシン 仮想基盤の外にも「逃げ道」を作っておく。 クライアント PC / スマホ / サーバ 仮想基盤 SvDNS1 独立した物理マシン 通信解析 etc... Unboundで名前解決の冗長化。VMと物理で故障原因を分ける。 DNS2 ミニPC
49. 管理は単一のGUIで
50. 仮想基盤が止まっても、DNS2が残る 仮想基盤 物理マシン（別系統） SvDNS1（VM） DNS2（物理） 仮想基盤の障害で停止 名前解決を継続できる余地 × ✓
51. 物理機器に影響があっても仮想基盤が残る 仮想基盤 物理マシン（別系統） DNS2（物理） DNS2（物理） 名前解決を継続できる余地 物理障害、論理障害で停止 ✓ ×
52. 4.止まっても戻せればよい データ・設定・構成
53. • 大前提として、ストレージの冗長化は
54. なぜストレージの冗長化は高い？ ディスクを2倍にするだけでは、HAストレージにならない。 ① 機材代 ② 冗長構成 ③ 製品の制約 ディスク DISK 1 FW CTRL A DISK 2 License CTRL B ホスト プロトコル別の設計 NFS / iSCSI / FC … そもそもディスクが高い 経路と制御系を二重化 ソフトウェアと専用品 さらに予備・互換性も考える 制御もかなり複雑 ライセンス・純正部材の縛り DISK 3 「中古で安く揃える」が、思ったほど通用しない世界。
55. 割り切った NAS装置ごとの完全HAは追わず、ディスク故障への耐性を優先。 理想：コントローラーHA CTRL A 現実：QNAP 1台で割り切る QNAP CTRL B コスト で 断念 SSD RAID10 HDD RAID6 片側が故障しても装置内で引き継ぐ 本体故障時はバックアップから復旧 守る対象を「ディスク障害」に絞る。NAS本体の停止は許容する。
56. 現在の自宅環境（超ざっくり） ネットワーク サーバ ストレージ NEC IX ×3 X510 6-Stack CRS326-24S+2Q+ VRRP ゲートウェイ 1/10GbE L3スイッチ 10/40GbE L2 スイッチ DL360 Gen10 DL360 Gen10 DL20 Gen10 DL380 Gen10 VM Host A VM Host B VM Host C (DNS/通信解析) 録画専用 QNAP TS-1886XU-RP QNAP TVS-872XU-RP CIFS/iSCSI SnapMirror
57. SSD PoolはRAID10 2TB SSD (Micron5300Pro) × 6本。速さとディスク冗長性のバランスを狙う。 ミラーペア 1 ミラーペア 2 ミラーペア 3 2TB 2TB 2TB 2TB 2TB 2TB 3組をストライピングして1つのSSD Poolとして使用 生容量 12TB → RAID10の理論上の使用可能容量 約6TB（ファイルシステム等の差引前）
58. 大容量HDD Pool：RAID6 ＋ ホットスペア 8TB HDD ×11本でRAID6、さらに8TB HDD ×1本をスペアに。 RAID6の構成メンバー（11本） 8TB 8TB 8TB 8TB 8TB 8TB 8TB 8TB 待機 8TB 8TB 8TB 9本分のデータ容量 ＋ 2本分の冗長情報に相当 RAID6：理論上約72TBを使用可能 ／ ホットスペアは故障時のリビルドに備える 8TB スペア ×1本
59. 終わりに。最後は電気代。 8月の家庭全体の電気代 1人暮らし・ガス給湯 51,255 円 ※ 家庭全体の請求額です。サーバー単体の電気代ではありません。
60. 増やしたい。けど、減らしたい。 「なるべく止めない」の追求は、電源や維持費との綱引きでもある。 止めたくない 電気代が怖い 請求書 ¥ / 月 予備機が欲しい 配線も二重にしたい 維持できる台数を 考え直す必要がある
61. だけど、物理機材にはロマンがある。 みんな、物理機材はいいぞ！ ご清聴ありがとうございました