木材と3Dプリンタを使ってPVEマシンをラック化した話

Transcript

1. 木材と3Dプリンタを使って PVEマシンをラック化した話 Luciano研究室 stLuciano
2. • 所属：Luciano研究室、某インフラ社 • 趣味：音楽を聴く・作曲、ピアノ、サイクリング ドライブ、自作PC • 嫌いなもの：Apple製品・AMD製品 • 好きなもの：Intel製品・Proxmox・フルーツ 自己紹介
3. FR もしかして知ってる？
4. FR 4 Luciano研究室 • 本の執筆、サーバーの開発 • サーバー向けアプリケーションの開発 • 同人向け決済ソフトウェア？
5. FR 5 今日の話 1. ラック化のお話 2. 個人領域への移行 3. ラック化したら・・・ 4. 将来像
6. ラック化のお話 6
7. FR 7 ラック化が必要な理由 • 個人とサークル用を分けたい • 個人使用のものと混ざってる • いたずらされたら、いやだなぁ • 4~6月は不在 • 新社会人 • 研修のために東京へ • 僕の部屋では限界がある • 廃熱終わってる • 配線終わってる • 別の部屋なら窓開けてくれる 昔のサーバー
8. FR サンワダイレクト 8 ラック化が難しい • 重い • 置く場所は木造の2階 • 床抜けそう・・・ • スペースギリギリ • ラック自体が高い • 19インチラックは10万こえる • 中古は重そう・・・ • ケース高すぎ • 自作PCをラックにするのはあるけど • 1万越え、ほしいのは4万
9. やっぱり・・・ Gemini NanoBanana 9 ロマンがあるよね！
10. そこで思った Gemini NanoBanana 10 あれ？ これ3Dプリンタで作れば いいんじゃね？
11. FR https://store.creality.com/jp/products/k1-se-fdm-3d-printer 11 使用した3Dプリンタ • Creality K1 SE • 最大600mm/s • 220x220x250mmの印刷 • これで4万円 • それなりにいい • 意外と速い • 印刷精度も高い • うるさいけど
12. FR 動画 12
13. FR 13 ラックの穴 • EIA規格に準拠 • 2U毎でパーツ化 • ジョイントで連結 • 木ねじで固定 • 強度を高めるために支え棒を追加 • インフィルを強化 • インフィルは印刷物の内部密度 • 底面（取り付け部分）を100% • その他は20%
14. FR 14 PCケース • 220x220mmのサイズのパーツに分割 • 全てねじで固定 • 3000円のオープンフレームをベース • 温度計を搭載 • 240mmラジエーターもOK • 2.5in SSDを2つ搭載可能 • 強度はしらない☆ • 多分耐えれる • PLAなので熱が心配 • 発熱部分はオープンフレームにある
15. FR 15 完成形 • すべてをラックに乗せる • 一部機器は乗せるだけ • 3.5in HDD搭載機 • UPS • それ以外は全てラックマウント • それ以外のサーバー • ネットワーク機器 • 今のところは耐えられています
16. 個人領域への移行 フッターを追加 16
17. FR 17 個人ノードを購入 • それなりの性能のものを用意 • マザボ定価4.4万→2.7万 • 電力効率の高いCPU • NPUも試したい 項目 Spec CPU Intel Core Ultra5 225（10C10T） RAM DDR5-6000 16x2=32GB M/B ASRock B860i lightning wifi GPU NVIDIA GeForce GTX1660 Super Storage SATA-SSD : 256GB NVMe-SSD : 512GB SATA-HDD : 4TB Cooling Noctua NH-L9i-17xx PSU SFX-L-600W Gold Case Fractal Design Era-ITX OS Proxmox 9.1
18. FR 旧構成 PVE0 PVE1 PVE2 PBS Home Fortigate クラスタ
19. FR 新マシンを追加 PVE0 PVE1 PVE2 PBS Home Fortigate Home クラスタ
20. FR 問題点 PVE0 PVE1 PVE2 PBS Home Fortigate 個人CT/VMのバックアップ Home
21. FR 問題点 PVE0 PVE1 PVE2 PBS Home Fortigate Homeからアクセス不能 NICがない Home 移動手段がない
22. FR 22 Proxmox Datacenter Manager • 複数クラスタの管理が可能 • PVEとCT/VMの状態がすぐにわかる • PBSも確認できる • クラスタの一括管理 • クラスタ間でのVM移行が可能 • クラスタを超えたマイグレーション • PBSを使えないときも安心 • 移行したもの • NAS • Windows VM(ライセンスあり) • Home Assistant etc……
23. ラック化したら・・・ 23
24. FR 24 ラック化した後・・・ • リソースあまりまくり • クラスタのRAMは合計160GB • CPUは48スレッド • それなのに、GPUは入っている • リモートデスクトップでもあまり使わない • 通信速度に限界があるし・・・ そうだ・・・ VMでAIサーバーを作ろう！（？）
25. FR Ollamaを使用したLLM • Intel ARC B580をパススルー • VRAMは12GB • Ubuntu 24.04 (HWE) • ARC BシリーズはHWEでないと無理 • RAMは16GB • ValkanでB580を使用可能に • NVIDIA/AMDしか対応してない • Valkanで互換性を持たせる
26. FR 26 デモ • Discordボットとして作成 • 受け取った内容をWeb検索 • 検索内容と質問をAIに投げる • モデルはqwen2.5:14b • 精度はそこそこ • OpenWebUIなら問題なし • 今後、改善 • VMでも性能出せてる • Intel ARCの性能を引き出す にはResizable BARが必須 • VMのBIOSにはない • 大きな性能低下はなし
27. サーバーの将来 27
28. FR フッターを追加 28 やりたいこと • メールサーバーの導入 • ADと連携したやつ • VPSを通してポート開放なしで • ZABBIXの導入 • そろそろ監視しなきゃなね • 冗長化構成 • レプリケーションを活用しつついい感じに • Cephは心配なのでこっちで・・・
29. FR この構成で可能 PVE0 PVE1 PVE2 PBS Home Fortigate Home クラスタ
30. FR フッターを追加 30 Proxmox1の扱い • 消費電力が高い • i9とRTX 3060 Ti • 起動するだけで70W~100W • 使用率が低い • 使用されるのは主に土日 • Wake On Lanによる運用にしたい • 冗長化には3つのノードが必須 • クラスタの稼働には過半数ノード必要 • Proxmox1を停止すると冗長化不可能 項目 Spec CPU Intel Core i9-10900F（10C20T） RAM DDR4-2666 16x4=64GB M/B ASRock H470m Pro4 GPU NVIDIA GeForce RTX 3060 Ti Storage NVMe-SSD : 512GB+500GB SATA-HDD : 4TB Cooling 240mm Water + 120mm x3 PSU ATX-600W Gold Case Antec CX200M OS Proxmox VE 9.0
31. FR HP 31 てことで買いました • HPの小型PC • コスパいい • 小型でいい • 電力抑えられる • 3つのノード条件をクリアする • CT程度ならうごくはず • 一台ダウンしてもクラスタが機能する • 冗長構成が可能 • これでガチのサーバーを組んでいきます 項目 Spec CPU Intel Core i5-8500T（6C6T） RAM DDR4-2666 8+4=12GB Maker HP GPU Intel HD Graphics 630 Storage NVMe-SSD : 256GB Cooling Fan PSU AC-Adapter 65W Model ProDesk 400 G4 OS Proxmox VE 9.1
32. FR フッターを追加 32 まとめ • 3Dプリンタと木でラック化 • Proxmox DMを使用してノード移行 • VMでAIサーバーを実現 • 冗長化の準備完了 • また、どこかで報告します
33. ご清聴ありがとうございました フッターを追加 39