身近になってきた 新世代のファシリティ ShowNet 2022 ファシリティチーム 伊藤／岩佐／宇多／山﨑

Agenda 1. ShowNetにおけるファシリティチームの役割 2. ShowNet 2022 ファシリティのテーマ 3. ハードウェアとソフトウェアが充実してきた DCIMの活用 4. 進化したケーブリングマテリアルで実現する効率的な データセンター運用 5. データセンターインフラに欠かせない影の立役者達

ShowNetにおける ファシリティチームの役割

ファシリティチームの主なミッション 設計 • ShowNetファシリティ関連のテーマ決定とプロダクト募集 • ラックのマウント設計／MDF設計／電源許容量の設計等 構築 • ShowNet HotStage(デプロイ)期間中の準備 • ラックの設営／ラックマウント／ 等 運用 • ShowNetをHall 4 からHall 6まで展開 • ファシリティに関連する問題への対処( ラック内の温度異常への対応、電流値異常等） 撤収 • イベント終了後にラックから機器のアンマウント、ラック撤収作業 2021/10 – 2022/5 2022/6/2 – 2022/6/10 2022/6/11 – 2022/6/17 2022/6/17

スケジュール(HotStage) 短期間でラックを設営 機器の搭載

ケーブルショップの運用 • ShowNet の構築に必要なものを管理 • ケージナット • UTPケーブル • 光ファイバー • MPOケーブル • 各種テスター 等 • 各部材を管理して構築の支援をする

スケジュール(会期) 幕張メッセ内の ファイバー敷設

ShowNet 2022 ファシリティのテーマ 身近になってきた新世代のファシリティ • ハードウェアとソフトウェアが充実してきたDCIMの活用 • 進化したケーブリングマテリアルで実現する効率的な データセンター運用 • データセンターインフラに欠かせない影の立役者達

ハードウェアとソフトウェアが 充実してきたDCIMの活用 身近になってきた新世代のファシリティ

ShowNet の DCIM • DCIM (Data Center Infrastructure Management)を実現 • センサー取得した温度/電力/湿度の情報を可視化 • ラック内の機器搭載状況を管理 • 異なるベンダーの各ソリューションを融合 • DCIMに関連するソフトウェアやセンサー類が充実してきた • 各ラックに温湿度や電力等のセンサーを設置 → ShowNetにおける温度等の環境データを可視化 ShowNet におけるラック温度等の情報を複数ベンダーで可視化

ShowNet の DCIM 構成 Device42 TTDB(※) feelers FLC-M08 ZABBIX様 garmit ソフトウェア AG452-G2-PSDX エニイワイヤ様 PX3-5496JV・ PX3-5497JV ラリタン・ジャパン様 温湿度/気圧 温湿度/電力 温湿度/電力 振動/気流 コントローラとセンサー ZABBIX ※センサー情報の取得不可 5社のソリューションを組み合わせてDCIMを実現

ラック内のセンサー配置(1/2) ラック前面 ラック背面 P D U P D U DX2-T1H1 ラリタンジャパン様 Feelers 温湿度センサー Zabbix JAPAN様 P D U P D U ラリタンジャパン様 Inteligent PDU PX3-5496JV Inteligent PDU PX3-5497JV Feelers 電流センサー Zabbix JAPAN様 振動センサー ラリタンジャパン様 エアーフローセンサー ラリタンジャパン様

ラック内のセンサー配置(2/2) ラック前面 ラック背面 温湿度センサー エニイワイヤ様 Feelers 温湿度センサー Zabbix JAPAN様 Feelers 電流センサー Zabbix JAPAN様 AG452-G2-PSDX(コントローラ) エニイワイヤ様 電力センサー エニイワイヤ様 分電盤 温度センサー エニイワイヤ様

ソフトウェアとセンサーの接続結果 • ソフトウェアとセンサーの相互接続結果 相互接続した結果 センサーA センサーB センサーC ソフトウェア A ○ ○ ○ ソフトウェア B ○ × × ソフトウェア C - - ○ ○：OK × ：NG - ：未実施 ソフトウェア B はシステム仕様により、センサーの値を取得できなかった センサーBとCの共通点として、MIB/OID情報が可変するものだった

DCIMを実現して見えてきたこと • DCIM で管理／可視化したい対象を明確にする • 温度や湿度、電力の可視化 • 機器の資産情報 • 配線情報の管理 • ラックの機器搭載状況 等 • ユーザビリティ性の違い • 情報の可視化内容と見やすさ • 取得したデータのアウトプット • 表示内容のフィルター等

イベント期間中のラック温度 • ラック内の温度：約25℃～31℃ • 30℃を超えた起因： • 来場者の増加(人の密度により会場内の温度が上昇) • SDI変換トランシーバーが熱を持った • 排気熱を吸気している機器があった

進化したケーブリングマテリアルで 実現する効率的なデータセンター運用 身近になってきた新世代のファシリティ

ShowNet における MDF 構築と運用 • 例年、MDF(Main Distribution Frame）を構築 • ラックが異なる機器同士の接続を容易にするために利用 • ShowNet内の回線数増加に対応する • 2021年のMDF • 良かった点 • 高密度化は十分に達成 • 悪かった点 • 被疑ヵ所の特定が困難 • ケーブルのマネジメント 2019年 2021年

高密度化と運用効率の向上 • NOC#N-8からスター型で各ラック向けのMDFを構築 • 4Uで最大216ポート(432芯)を収容可能なもの設計 • ラベルコアを採用して運用者の視認性を向上する MPOケーブル CS-CSケーブル LC-LCケーブル MDF(#N-8) HD-FLEX CS HD-FLEX CS HD-FLEX CS HD-FLEX CS HD-FLEX CS HD-FLEX CS NOC#A NOC#B MPOカセット MPOカセット Router Router

ShowNet 2022 MDF • HD-FLEX CSやCSコネクタのケーブルを採用して実現 • 運用効率を上げるためラベルコアで配線情報の可視化 NOC#N-8 MDF HD-FLEX CS A HD-FLEX CS B ＜ラベルコア＞ ID : 001 FROM : A.slot.port TO : B.slot.port CSコネクタのケーブル ラベルコアの活用で視認性が向上 ID情報の記載等により被疑回線の特定が容易

昨年度との比較 2021年 MDF MDF#1 (NOC#10) U数：4U 最大収容：360芯/180ポート 利用総数：254芯/127ポート MDF#2 (NOC#7) U数：2U 最大収容：144芯/72ポート 利用総数：68芯/34ポート 2022年 MDF MDF#1 (NOC#8) U数：4U 最大収容：432芯/216ポート 利用総数：328芯/164ポート

進化するコネクタやケーブル • 従来のケーブルより細くなることで配線密度の削減 • 極性の固定化により長期運用の利便性が向上 • 着脱ツールにより高密度な箇所でも着脱が可能 Intelli-Cross® Pro LCユニブーツコネクタ EZ-FLIPコネクタ • エアーフローの改善 • 作業者の負担軽減／保守交換の時間短縮 • SFP交換時のTX/RXの配線ミスが減る • 着脱ツールでケーブル抜去が容易 活用することで

遠隔による配線切り替え • ROME mini で配線をリモート変更 • テストしたい機器とテスターを遠隔で接続 • 物理作業をせずに配線変更が可能 テスト構成の切替 工数の削減

データセンターインフラに 欠かせない影の立役者達 身近になってきた新世代のファシリティ

ラックマウントツールや電源ケーブル • Setup.exe : ラックマウントの補助ツール • 棚板設置に利用、作業時に固定してPCをのせて作業 • /dev/mount：ケージナットの代替品／着脱が容易 • 機器のUサイズによって使えないものがあった • APW15-C14/C13LS-03：電源ケーブル • 赤／青で系統を判別可能 • ロック機構により抜け防止対策 → 分電盤の収容変更があった際に 系統を意識して作業を行えた Setup.exe /dev/mount

気流解析とエアーフロー • TileFlow：ShowNetブースの気流解析 • 事前に熱を持つところを把握 • スポットクーラーや扇風機の配置調整 • PlenaVertical：気流の整流 • コールドアイルーとホットアイルーの制御 TileFlowの気流解析結果 PlenaVertical

電源設備 • PDU • ALPDU-L6-30/C13L16 • 赤/青でPDU側でも電源系統の確認が可能 • PDU下部に現在の電流量が表示される • PX3-5496JV / PX3-5497JV • SNMPに対応したPDUかつ環境センサー取付可能 • A439SW-J2CT2-224/R • AG452-G2-PSDXへ電力情報を送信可能 • 野外設置型の電源ユニット • iSitePower • 野外の基地局での利用を想定 • バッテリーだけでも数時間の電力供給が可能

消費電流(200V PDU) N-1 N-2 N-3 N-4 N-5 N-6 N-7 N-8 N-9 N-10 N-11 N-12 D-1 D-2 D-3 D-4 2022/6/4 3.3 11.4 4.9 13.3 11.4 15.7 9.6 2.1 5.2 4.4 15.5 5.1 29 12.2 6.6 11.2 2022/6/6 3.5 12.2 5.1 14.1 11.7 16.3 9.8 2.1 6.6 4.5 18.1 5.3 30.1 13.4 7.7 13.4 2022/6/8 3.4 12.9 5.3 15.7 13.7 18 10.1 2.5 7.1 5 22.6 5.5 33.1 15 19.4 14.2 2022/6/10 3.3 12.7 5.3 14.4 13.5 17.2 11.1 2.6 6.6 4.2 20 5.3 31.5 15.4 18.3 14.2 2022/6/13 3.5 14.2 5.2 13.9 13.1 17.6 11.2 2.6 10.5 4.9 20.2 5.5 31.4 14.6 18.6 8.5 • 測定期間 • 2022/6/4 ~ 2022/6/13 (※2日毎に測定） • 電流の消費傾向 • ストレージサーバーを搭載しているラックの電力使用量が高い傾向 電流値の測定結果（単位: A）

端面クリーナーとテスター • ShowNetの光ファイバーチェック • 事前ファイバーチェック • MPOテスターがあったことで例年より早く確認が終了 • 会期中のファイバーチェック： • スコープにより端面の汚れや焦げといった問題を発見 MPOLS-85P/MPOLP-85P WX-4500 端面の清掃前 端面の清掃後 FiberChek Probe 端面の焦げ

端面クリーナーとテスター • 各配線時に利用したケーブルクリーナー • Ferrule Pro :１万回／１カセット • SFM2.0-250/125(Ferrule Mate 2.0)：約800回 • SFM2/0 MPO(Ferrule Mate 2.0) : 約500回 • SHM-503（Handi Mate™） • SCK-DC-CS：約500回

システムの情報表示 • VM6404HB • HDMIマトリックススイッチャー • WEB UIやスイッチで表示する画面切り替え → NOCルームの3面ディスプレイで利用 • CL3800NW • ラック設置型のディスプレイ/キーボード → ソフトウェアの画面を表示 VM6404HB CL3800NW

互換性トランシーバー 提供企業様 種別 搭載機器 CTS QSFP28 100GBASE-LR4 EXA64100, FX2, QFX5120 Wave Splitter QSFP28 100GBASE-LR4 EXA64100, QFX5120, SYNESIS, FX2 Wave Splitter SFP+10G-T FX201, VisionOne Wave Splitter QSFP-4x10G-PLR4 QFX5120 Wave Splitter QSFP28-100G-CWDM4 EXA64100, QFX5120, LE200T Wave Splitter QSFPDD-400G-FR4 NetEngine 8000 X4, MX304 エイム電子 QSFP28-100GBASE-SR4 EXA64100, NVMe-oF SSD EBOF エイム電子 SFP+-10G-LR Access XG2 エイム電子 SFP+-10G-SR AX3660S, Catalyst 9300-24P, FX201, Nexus 93180YC エイム電子 SFP-1000base-LX Catalyst 9200L-24P エイム電子 SFP-1000base-LX FXCX9526F

各トランシーバーの利用結果 種別 利用数(本) 400GBASE-ZR+ 4 400GBASE-ZR 1 400GBASE-FR4 22 100GBASE-LR4 104 100GBASE-SR4 73 100GBASE-DAC 4 100GBASE-CWDM4 6 10GBASE-LR 120 10GBASE-SR 80 1000BASE-LX 5 1000BASE-SX 1 400GBASE-FR 5% 100GBASE-LR4 25% 100GBASE-SR4 18% 100GBASE-CWDM4 2% 10GBASE-LR 29% 10GBASE-SR 20% 400GBASE-ZR+ 400GBASE-ZR 400GBASE-FR 100GBASE-LR4 100GBASE-SR4 100GBASE-CWDM4 ※管理システムに登録されている情報で集計

ファシリティコントリビューター企業様

【参考】DCIM : Device42 仮想アプライアンスの可視化 フロア図 ラック内の情報

【参考】DCIM : garmit センサー情報 フロア図 ラック内の情報

【参考】DCIM：Zabbix センサーから取得した温度情報 フロア図と温湿度の情報 ラック内の情報

【参考】各種センサー feelers FLS-THP (温度/湿度/気圧) PX3-5497JV (電力) DX2-T1H1(温度/湿度) AG452-G2-PSDX (コントローラ) A41SW-J2AVRT1 (温度/湿度 A419SW-J2TH3(温度) 気流センサー