身近になってきた新世代のファシリティ

ShowNet.conf_ での講演資料

Transcript

1. 身近になってきた 新世代のファシリティ ShowNet 2022 ファシリティチーム 伊藤／岩佐／宇多／山﨑
2. Agenda 1. ShowNetにおけるファシリティチームの役割 2. ShowNet 2022 ファシリティのテーマ 3. ハードウェアとソフトウェアが充実してきた DCIMの活用 4. 進化したケーブリングマテリアルで実現する効率的な データセンター運用 5. データセンターインフラに欠かせない影の立役者達
3. ShowNetにおける ファシリティチームの役割
4. ファシリティチームの主なミッション 設計 • ShowNetファシリティ関連のテーマ決定とプロダクト募集 • ラックのマウント設計／MDF設計／電源許容量の設計等 構築 • ShowNet HotStage(デプロイ)期間中の準備 • ラックの設営／ラックマウント／ 等 運用 • ShowNetをHall 4 からHall 6まで展開 • ファシリティに関連する問題への対処( ラック内の温度異常への対応、電流値異常等） 撤収 • イベント終了後にラックから機器のアンマウント、ラック撤収作業 2021/10 – 2022/5 2022/6/2 – 2022/6/10 2022/6/11 – 2022/6/17 2022/6/17
5. スケジュール(HotStage) 短期間でラックを設営 機器の搭載
6. ケーブルショップの運用 • ShowNet の構築に必要なものを管理 • ケージナット • UTPケーブル • 光ファイバー • MPOケーブル • 各種テスター 等 • 各部材を管理して構築の支援をする
7. スケジュール(会期) 幕張メッセ内の ファイバー敷設
8. ShowNet 2022 ファシリティのテーマ 身近になってきた新世代のファシリティ • ハードウェアとソフトウェアが充実してきたDCIMの活用 • 進化したケーブリングマテリアルで実現する効率的な データセンター運用 • データセンターインフラに欠かせない影の立役者達
9. ハードウェアとソフトウェアが 充実してきたDCIMの活用 身近になってきた新世代のファシリティ
10. ShowNet の DCIM • DCIM (Data Center Infrastructure Management)を実現 • センサー取得した温度/電力/湿度の情報を可視化 • ラック内の機器搭載状況を管理 • 異なるベンダーの各ソリューションを融合 • DCIMに関連するソフトウェアやセンサー類が充実してきた • 各ラックに温湿度や電力等のセンサーを設置 → ShowNetにおける温度等の環境データを可視化 ShowNet におけるラック温度等の情報を複数ベンダーで可視化
11. ShowNet の DCIM 構成 Device42 TTDB(※) feelers FLC-M08 ZABBIX様 garmit ソフトウェア AG452-G2-PSDX エニイワイヤ様 PX3-5496JV・ PX3-5497JV ラリタン・ジャパン様 温湿度/気圧 温湿度/電力 温湿度/電力 振動/気流 コントローラとセンサー ZABBIX ※センサー情報の取得不可 5社のソリューションを組み合わせてDCIMを実現
12. ラック内のセンサー配置(1/2) ラック前面 ラック背面 P D U P D U DX2-T1H1 ラリタンジャパン様 Feelers 温湿度センサー Zabbix JAPAN様 P D U P D U ラリタンジャパン様 Inteligent PDU PX3-5496JV Inteligent PDU PX3-5497JV Feelers 電流センサー Zabbix JAPAN様 振動センサー ラリタンジャパン様 エアーフローセンサー ラリタンジャパン様
13. ラック内のセンサー配置(2/2) ラック前面 ラック背面 温湿度センサー エニイワイヤ様 Feelers 温湿度センサー Zabbix JAPAN様 Feelers 電流センサー Zabbix JAPAN様 AG452-G2-PSDX(コントローラ) エニイワイヤ様 電力センサー エニイワイヤ様 分電盤 温度センサー エニイワイヤ様
14. ソフトウェアとセンサーの接続結果 • ソフトウェアとセンサーの相互接続結果 相互接続した結果 センサーA センサーB センサーC ソフトウェア A ◦ ◦ ◦ ソフトウェア B ◦ × × ソフトウェア C - - ◦ ◦：OK × ：NG - ：未実施 ソフトウェア B はシステム仕様により、センサーの値を取得できなかった センサーBとCの共通点として、MIB/OID情報が可変するものだった
15. DCIMを実現して見えてきたこと • DCIM で管理／可視化したい対象を明確にする • 温度や湿度、電力の可視化 • 機器の資産情報 • 配線情報の管理 • ラックの機器搭載状況 等 • ユーザビリティ性の違い • 情報の可視化内容と見やすさ • 取得したデータのアウトプット • 表示内容のフィルター等
16. イベント期間中のラック温度 • ラック内の温度：約25℃～31℃ • 30℃を超えた起因： • 来場者の増加(人の密度により会場内の温度が上昇) • SDI変換トランシーバーが熱を持った • 排気熱を吸気している機器があった
17. 進化したケーブリングマテリアルで 実現する効率的なデータセンター運用 身近になってきた新世代のファシリティ
18. ShowNet における MDF 構築と運用 • 例年、MDF(Main Distribution Frame）を構築 • ラックが異なる機器同士の接続を容易にするために利用 • ShowNet内の回線数増加に対応する • 2021年のMDF • 良かった点 • 高密度化は十分に達成 • 悪かった点 • 被疑ヵ所の特定が困難 • ケーブルのマネジメント 2019年 2021年
19. 高密度化と運用効率の向上 • NOC#N-8からスター型で各ラック向けのMDFを構築 • 4Uで最大216ポート(432芯)を収容可能なもの設計 • ラベルコアを採用して運用者の視認性を向上する MPOケーブル CS-CSケーブル LC-LCケーブル MDF(#N-8) HD-FLEX CS HD-FLEX CS HD-FLEX CS HD-FLEX CS HD-FLEX CS HD-FLEX CS NOC#A NOC#B MPOカセット MPOカセット Router Router
20. ShowNet 2022 MDF • HD-FLEX CSやCSコネクタのケーブルを採用して実現 • 運用効率を上げるためラベルコアで配線情報の可視化 NOC#N-8 MDF HD-FLEX CS A HD-FLEX CS B ＜ラベルコア＞ ID : 001 FROM : A.slot.port TO : B.slot.port CSコネクタのケーブル ラベルコアの活用で視認性が向上 ID情報の記載等により被疑回線の特定が容易
21. 昨年度との比較 2021年 MDF MDF#1 (NOC#10) U数：4U 最大収容：360芯/180ポート 利用総数：254芯/127ポート MDF#2 (NOC#7) U数：2U 最大収容：144芯/72ポート 利用総数：68芯/34ポート 2022年 MDF MDF#1 (NOC#8) U数：4U 最大収容：432芯/216ポート 利用総数：328芯/164ポート
22. 進化するコネクタやケーブル • 従来のケーブルより細くなることで配線密度の削減 • 極性の固定化により長期運用の利便性が向上 • 着脱ツールにより高密度な箇所でも着脱が可能 Intelli-Cross® Pro LCユニブーツコネクタ EZ-FLIPコネクタ • エアーフローの改善 • 作業者の負担軽減／保守交換の時間短縮 • SFP交換時のTX/RXの配線ミスが減る • 着脱ツールでケーブル抜去が容易 活用することで
23. 遠隔による配線切り替え • ROME mini で配線をリモート変更 • テストしたい機器とテスターを遠隔で接続 • 物理作業をせずに配線変更が可能 テスト構成の切替 工数の削減
24. データセンターインフラに 欠かせない影の立役者達 身近になってきた新世代のファシリティ
25. ラックマウントツールや電源ケーブル • Setup.exe : ラックマウントの補助ツール • 棚板設置に利用、作業時に固定してPCをのせて作業 • /dev/mount：ケージナットの代替品／着脱が容易 • 機器のUサイズによって使えないものがあった • APW15-C14/C13LS-03：電源ケーブル • 赤／青で系統を判別可能 • ロック機構により抜け防止対策 → 分電盤の収容変更があった際に 系統を意識して作業を行えた Setup.exe /dev/mount
26. 気流解析とエアーフロー • TileFlow：ShowNetブースの気流解析 • 事前に熱を持つところを把握 • スポットクーラーや扇風機の配置調整 • PlenaVertical：気流の整流 • コールドアイルーとホットアイルーの制御 TileFlowの気流解析結果 PlenaVertical
27. 電源設備 • PDU • ALPDU-L6-30/C13L16 • 赤/青でPDU側でも電源系統の確認が可能 • PDU下部に現在の電流量が表示される • PX3-5496JV / PX3-5497JV • SNMPに対応したPDUかつ環境センサー取付可能 • A439SW-J2CT2-224/R • AG452-G2-PSDXへ電力情報を送信可能 • 野外設置型の電源ユニット • iSitePower • 野外の基地局での利用を想定 • バッテリーだけでも数時間の電力供給が可能
28. 消費電流(200V PDU) N-1 N-2 N-3 N-4 N-5 N-6 N-7 N-8 N-9 N-10 N-11 N-12 D-1 D-2 D-3 D-4 2022/6/4 3.3 11.4 4.9 13.3 11.4 15.7 9.6 2.1 5.2 4.4 15.5 5.1 29 12.2 6.6 11.2 2022/6/6 3.5 12.2 5.1 14.1 11.7 16.3 9.8 2.1 6.6 4.5 18.1 5.3 30.1 13.4 7.7 13.4 2022/6/8 3.4 12.9 5.3 15.7 13.7 18 10.1 2.5 7.1 5 22.6 5.5 33.1 15 19.4 14.2 2022/6/10 3.3 12.7 5.3 14.4 13.5 17.2 11.1 2.6 6.6 4.2 20 5.3 31.5 15.4 18.3 14.2 2022/6/13 3.5 14.2 5.2 13.9 13.1 17.6 11.2 2.6 10.5 4.9 20.2 5.5 31.4 14.6 18.6 8.5 • 測定期間 • 2022/6/4 ~ 2022/6/13 (※2日毎に測定） • 電流の消費傾向 • ストレージサーバーを搭載しているラックの電力使用量が高い傾向 電流値の測定結果（単位: A）
29. 端面クリーナーとテスター • ShowNetの光ファイバーチェック • 事前ファイバーチェック • MPOテスターがあったことで例年より早く確認が終了 • 会期中のファイバーチェック： • スコープにより端面の汚れや焦げといった問題を発見 MPOLS-85P/MPOLP-85P WX-4500 端面の清掃前 端面の清掃後 FiberChek Probe 端面の焦げ
30. 端面クリーナーとテスター • 各配線時に利用したケーブルクリーナー • Ferrule Pro :１万回／１カセット • SFM2.0-250/125(Ferrule Mate 2.0)：約800回 • SFM2/0 MPO(Ferrule Mate 2.0) : 約500回 • SHM-503（Handi Mate™） • SCK-DC-CS：約500回
31. システムの情報表示 • VM6404HB • HDMIマトリックススイッチャー • WEB UIやスイッチで表示する画面切り替え → NOCルームの3面ディスプレイで利用 • CL3800NW • ラック設置型のディスプレイ/キーボード → ソフトウェアの画面を表示 VM6404HB CL3800NW
32. 互換性トランシーバー 提供企業様 種別 搭載機器 CTS QSFP28 100GBASE-LR4 EXA64100, FX2, QFX5120 Wave Splitter QSFP28 100GBASE-LR4 EXA64100, QFX5120, SYNESIS, FX2 Wave Splitter SFP+10G-T FX201, VisionOne Wave Splitter QSFP-4x10G-PLR4 QFX5120 Wave Splitter QSFP28-100G-CWDM4 EXA64100, QFX5120, LE200T Wave Splitter QSFPDD-400G-FR4 NetEngine 8000 X4, MX304 エイム電子 QSFP28-100GBASE-SR4 EXA64100, NVMe-oF SSD EBOF エイム電子 SFP+-10G-LR Access XG2 エイム電子 SFP+-10G-SR AX3660S, Catalyst 9300-24P, FX201, Nexus 93180YC エイム電子 SFP-1000base-LX Catalyst 9200L-24P エイム電子 SFP-1000base-LX FXCX9526F
33. 各トランシーバーの利用結果 種別 利用数(本) 400GBASE-ZR+ 4 400GBASE-ZR 1 400GBASE-FR4 22 100GBASE-LR4 104 100GBASE-SR4 73 100GBASE-DAC 4 100GBASE-CWDM4 6 10GBASE-LR 120 10GBASE-SR 80 1000BASE-LX 5 1000BASE-SX 1 400GBASE-FR 5% 100GBASE-LR4 25% 100GBASE-SR4 18% 100GBASE-CWDM4 2% 10GBASE-LR 29% 10GBASE-SR 20% 400GBASE-ZR+ 400GBASE-ZR 400GBASE-FR 100GBASE-LR4 100GBASE-SR4 100GBASE-CWDM4 ※管理システムに登録されている情報で集計
34. ファシリティコントリビューター企業様
35. 【参考】DCIM : Device42 仮想アプライアンスの可視化 フロア図 ラック内の情報
36. 【参考】DCIM : garmit センサー情報 フロア図 ラック内の情報
37. 【参考】DCIM：Zabbix センサーから取得した温度情報 フロア図と温湿度の情報 ラック内の情報
38. 【参考】各種センサー feelers FLS-THP (温度/湿度/気圧) PX3-5497JV (電力) DX2-T1H1(温度/湿度) AG452-G2-PSDX (コントローラ) A41SW-J2AVRT1 (温度/湿度 A419SW-J2TH3(温度) 気流センサー