【shownet.conf_2023】経験によって進化する ShowNetファシリティ

shownet.conf_ での講演資料(ファシリティ)

1. 経験によって進化する ShowNetファシリティ ShowNet NOC メンバ ファシリティ担当 伊藤 孝一 山﨑 俊彦 shownet.conf_ 2023
2. ShowNet 2023 ファシリティチームの取組み ➢経験によって進化するShowNetファシリティ ✓多種多様なセンシングデバイスの統合 ✓複数のケーブリングマテリアルを活用したデプロイと運用効率の改善 ✓ネットワークインフラを支えるファシリティツールの進化 2
3. 多種多様なセンシングデバイスの統合 3
4. センシングデバイスの統合コンセプト ➢ShowNet内の環境データを管理する ✓2022年：各センサの情報をまとめる • 主な取得環境データ：温度/湿度/電力 ✓2023年：センシングデバイスの情報を一元管理して活用する • データセンタ内にある様々なデータを可視化する • 主な取得環境データ：温度/湿度/電力/ラック扉の開閉状況/CO2/微粒子 多種多様なセンシングデバイスの統合 4
5. センシングデバイスの構成 多種多様なセンシングデバイスの統合 5 温度/湿度/電力/CO2 温度/湿度/気圧/電力 CO2/接点 温度/湿度/電力/微粒子 温度/湿度/電力/風力 振動/ドアハンドル (データ集約と描画) 『ShowNetの環境データを活用したDCIM』
6. コントローラとセンサの詳細 ➢エニイワイヤ ✓ AG452-G2-PSDX ✓ A419SW-J2TH3 /温度入力ターミナル ✓ A41SW-J2AVRT1/温湿度入力ターミナル ✓ A453SW-J1RT-WH/壁掛け温湿度ターミナル ✓ A453SW-J1C-WH/壁掛けCO2ターミナル ✓ A428SW-J2PW1/R /電力4回路測定ターミナル 多種多様なセンシングデバイスの統合 6 ➢DYDEN ✓DN9400E ✓温度センサ ✓湿度センサ ✓電流センサ ✓微粒子センサ(PM2.5) ➢Raritan ✓PX3-5497JV/ PDU ✓DX2-T1H1 / 温湿度センサ ✓DX2-AF1 / 風速センサ ✓DX-VBR / 振動センサ ✓DX-PIR/ 近接センサ ✓ドアハンドル(PDUと接続) ➢Zabbix ✓温度センサ ✓温湿度気圧センサ ✓電流センサ ✓CO2センサ ✓接点センサ ※一部の型番未記載
7. データ集約と描画 ➢センサデータの集約と描画 ✓Zabbix • 4社のセンサ情報をセンサ単位で表示 ✓Raritan(Prometheus/Grafana) • Raritan製のセンサのみを対象にデータを集計/表示 • リアルタイムで情報を表示 多種多様なセンシングデバイスの統合 7 Zabbix Raritan Zabbix
8. 環境データから見えてきたこと ➢ShowNet期間中の温度や湿度 ✓温度: ラックの上中下を計測して26℃から30℃程度を推移 ✓湿度: ラック内は約60％程度を推移 多種多様なセンシングデバイスの統合 8 NOC#N-9 温度 NOC#N-9 ~ N-11, S-1,S-2 湿度
9. ラック扉の開閉状況を可視化 多種多様なセンシングデバイスの統合 9 ラックの 開閉状況 ラックを リモート開錠 ➢現地に行かずラックの開閉状況を確認 ✓1分間隔で接点センサの情報を取得 ➢リモートによるドアハンドルの操作 ✓ラック鍵を持参せずにリモート操作で開閉が可能 開錠時
10. CO2センサを用いた人流解析に挑戦 ➢ラックの上部に設置したセンサでCO2濃度を計測 ✓CO2濃度で各ラック付近の人の流れを観測 ✓CO2濃度が700ppm以上になると人が多くいると仮定 多種多様なセンシングデバイスの統合 10
11. CO2センサによる人流解析の結果 ➢ShowNet初日の推移 ✓14:00, 17:00付近でCO2濃度が上昇 ✓ShowNetツアー等により来場者数が集中していたのが要因 ✓グラフで確認すると各ラックのセンサ値が近しい値になった 多種多様なセンシングデバイスの統合 11 6月14日14:00頃 ShowNetブース 6月14日のCO2濃度
12. センシングデバイスにおける総括 ➢ShowNetの環境データを活用したDCIMの構築/運用 ✓センサの情報を一元管理 ✓ラック扉の開閉状況をリモートで確認して作業中などの判断が可能 ✓CO2濃度による人の量を測定 ➢今後の課題 ✓一部センサの値が適正値だったのか指標が必要 ✓データセンタで必要な情報を再整理 多種多様なセンシングデバイスの統合 12
13. 複数のケーブリングマテリアルを活用した デプロイと運用効率の改善 13
14. デプロイと運用効率の改善 ➢MDF(Main Distributing Frame ) の構築と運用 ✓例年、ラック間を跨ぐ配線を1箇所へ集約 ✓ラック間の配線を削減する ➢テスト環境の構築を簡易化 ✓事前配線をしておけば自由自在にテスト用のネットワークを構成 ➢ラック内のケーブル密度の削減 ✓光ファイバ2本を1本のコードに集約してエアーフローを改善 複数のケーブリングマテリアルを活用したデプロイと運用効率の改善 14
15. MDFとは ➢MDF (Main Distributing Frame ) ✓ラック間の配線を中継する拠点 ➢MDFがない場合 ✓ケーブル長が5m～20m必要となり、1本ずつ配線する必要がある 複数のケーブリングマテリアルを活用したデプロイと運用効率の改善 15 ACX7100-32C TS-2560 DC908 OptiXtrans OSN 9800 M24 NOC#N-1 NOC#N-3 NOC#S-1 NOC#D-4 NOC#N-2 光8分岐ユニット NOC#N-9 ACX7509
16. ShowNet 2022 MDF ➢HD-FLEX CSやCSコネクタのケーブルを採用して実現 ➢運用効率を上げるためラベルコアで配線情報の可視化 複数のケーブリングマテリアルを活用したデプロイと運用効率の改善 16 HD-FLEX CS A HD-FLEX CS B ＜ラベルコア＞ ID : 001 FROM : A.slot.port TO : B.slot.port CSコネクタのケーブル ラベルコアの活用で視認性が向上 ID情報の記載等により被疑回線の特定が容易
17. ShowNet 2023 MDFの構想 ➢MDF内のポートを自動割当てをしたい ✓End to Endを把握して1本ずつ構成図へ落し込み ✓毎年、約200本分のケーブルを配線する ➢MDF自体の高密度化と運用効率を両立させる ✓2021年から高密度化は十分にできていた ✓一方で運用面で課題が残っていた 複数のケーブリングマテリアルを活用したデプロイと運用効率の改善 17
18. MDFの構成イメージ 複数のケーブリングマテリアルを活用したデプロイと運用効率の改善 18 FC29N-24-10U (MPO to LC) FC29N-24-10U (MPO to LC) FHC9N-36-C3U x14 (MPO to CS) FC29N-24-10U (MPO to LC) FC29N-24-10U (MPO to LC) 12F MPO(F)-MPO(F) 3.0mm SMF yellow Patchcord MPO x2 LC - LC CS UPC - CS UPC SM Yellow Patchcord 前面 背面
19. ShowNet 2023 MDF ➢MDFポートの自動割当 ✓TTDB管理者に追加機能のリクエストして実装 ✓End to End で接続したい機器を選択 ✓ShowNet準備直前に登録されている情報を元に一括でMDF内の ポートをアサイン (※追加分は手動で対応) 複数のケーブリングマテリアルを活用したデプロイと運用効率の改善 19
20. ShowNet 2023 MDF ➢『高密度化』と『運用効率』を求めて ✓高密度化 • CSコネクタの利用でLCコネクタより高密度化 • LCコネクタより4割程度小さい • 2Uで最大36芯(18port) x 12カセット設置可能 • 今回4Uで14カセットを利用(最大504芯/252port) ✓運用効率 • 追加配線やケーブル交換の対応を容易へ • 引き出しタイプのエンクロージャーを採用 • ケーブルをラベルで見分ける • オレンジ色：MPOケーブル (MDF背面) • アクア色：CS-CS ケーブル • 黄色：CS – LC ケーブル 20 複数のケーブリングマテリアルを活用したデプロイと運用効率の改善
21. テスターネットワークを支えるロボパッチ ➢自由なテスト構成パターンを構築可能 ✓Rome mini がMDF経由で様々な機器と接続可能 ✓複数の試験パターンを複数構築する事も可能 複数のケーブリングマテリアルを活用したデプロイと運用効率の改善 21 試験パターン① 試験パターン➁
22. 光ファイバケーブルの密度を削減 ➢光ファイバ2本を1本のコードに集約 ✓一般的なケーブルよりもケーブル密度が半減 ✓エアーフローの改善も図ることが可能 ➢ケーブルの極性を固定化 ✓保守交換時におけるテレコを防げる 複数のケーブリングマテリアルを活用したデプロイと運用効率の改善 22 Intelli-Cross® Pro SNコネクタ
23. 光ファイバケーブルやツール ➢ポータブルPAC ケーブル＆可搬ドラム ✓5Gアンテナと機器の接続を中継するために利用 ✓一時的に100m程度の配線が可能 ✓一般的な光ファイバケーブルよりも強度がある ➢ケーブルクリーナ ✓NEOCLEAN-F12 ✓NEOCLEAN-F25 ✓NEOCLEAN-M(1) ✓フェルールメイト2.0 ✓ハンディメイト 23 複数のケーブリングマテリアルを活用したデプロイと運用効率の改善
24. ネットワークインフラを支える ファシリティツールの進化 24
25. ShowNetラックのレイアウト ネットワークインフラを支えるファシリティツールの進化 25
26. ラックとサポートツール ➢ラック ✓19インチラック • SNR2-42U70B0NB ✓23インチラック • FusionPoD (水冷式サーバ一式) ➢サポートツール ✓棚板: • NPTS シリーズ ✓マウント補助ツール • Setup.exe ネットワークインフラを支えるファシリティツールの進化 26 Fusion PoD 正面 / 背面 SNR2-42U70B0NB
27. PDUと電源ケーブル 27 ➢PDU ✓ロック機能を有したコンセントバー • ALPDU-L6-30 • PX3-5496JV-A1, PX3-5497JV • A439SW-J2CT2-224/R ➢電源ケーブル ✓抜け防止と目視による電力系統の把握 • SECURELOCK®電源コード • C14Dual Lock－C13 Lock Slim ネットワークインフラを支えるファシリティツールの進化
28. ラック内の気流制御 28 ➢ShowNetブースの気流シミュレーション ✓Tailflow v7.0 ➢ラック内の気流を専用パネルで制御 ✓PlenaFill ✓PlenaForm ✓PlenaVertical ネットワークインフラを支えるファシリティツールの進化
29. ネットワークインフラを支えるファシリティツールの進化 UTP/光テスター ➢UTPテスター ✓ LANケーブルテスタ WX-4500 ➢光ファイバテスター ✓ 光ファイバマルチメータ OX1 ✓ SmartPocket™ OMK-35 ➢MPOテスター ✓ PXM-LXM MPO Loss test kit ➢パルス試験機 ✓ MAX-720C ➢光端面検査器 ✓ FiberChek™ ✓ FIP-500 fiber inspection scope ➢OTDR ✓ SmartOTDR™ 29
30. ShowNet 樽ファイバーの再生 ネットワークインフラを支えるファシリティツールの進化 30 研磨前 研磨後 <研磨したの事例> STEP1: 1μmのダイヤのフィルムで研磨 STEP2: 仕上研磨 研磨前: -0.68dB, -0.36dB 研磨後: -0.50dB, -0.07dB ➢ロスが大きいケーブルの再生にチャレンジ ➢ケーブルクリーナでは落とせない汚れ等を対象に研磨を実施
31. ShowNet の時刻同期 ➢ネットワーク設備や映像配信系を支える時刻同期 ✓GNSSの信号を光に変換して各NOCラックへ転送 ネットワークインフラを支えるファシリティツールの進化 31 GNSS(※)アンテナ 幕張メッセ屋上 splitter GNSS光伝送ユニット (TX) GNSS光伝送ユニット (RX) NOC#N-11,D-1 : MoIP 時刻同期 NOC#S-1: 5G時刻同期 NOC#D-3: ShowNet内のNTP ※全地球航法衛星システム（Global Navigation Satellite System） 任意の場所で±100msec以内の高い精度時刻情報を取得可能
32. ネットワークインフラを支えるファシリティツールの進化 光モジュール(1/2) 種別 商品名(型番) 動作確認できた機器 QSFP-DD 400G-FR4 WST-QD4-FR4-C MX10004 QSFP-DD 400G-DR4 RTXM500-420 (SNコネクタ) ACX7100-32C, PTX10001-36MR QSFP-DD 400G-ZR+ HighTX FTCD3323R1PCL EXFO FTB-4 Pro QSFP28-100G-LR4 QXP29B4-10D-3-1 AGG-C32, RG-S6930, S6805 QSFP28-100G-LR4 FTLC1156RDPL2 MX10004 QSFP28 100G-LR4 FTLC1156RDPL AGG-C32, DCOTN, RG-S6930 QSFP28-100G-SR4 CFORTH-QSFP28-100G-SR4 AGG-C32, Omnia120, Synesis QSFP28-100G-CWDM4 WST-QS28-CM4-C omnia120 40G AOC WST-QSFP+AOCcC10 S6805-54HF 32
33. ネットワークインフラを支えるファシリティツールの進化 光モジュール(2/2) 種別 商品名(型番) 動作確認できた機器 25GbE SFP28 LR WST-S28-LR-C nexus-93180yc 25GbE SFP28 LR CFORTH-SFP28-25G-LR HDCE-TX50 SFP28 25G-DWDM APS8T55B5EDL16B Access10G, MCT-5002FSM SFP+_10G-BIDI(1330/1270) SFP+_10G-BIDI(1270/1330) CFORTH-SFP+-23-20_G CFORTH-SFP+-23-20_A esw5128, esw-5112 ex4100, NEL-PR-Adv NEL-PR-XG2 SFP+10G-SR CFORTH-SFP+-10G-SR TP4100, S6805-54HF SFP+10G-LR CFORTH-SFP+-10G-LR AX3660s, AX2340S, LEX3020 SFP 1G-LX CFORTH-SFP-LX-D NCS540-ACC-SYS, QX-S5324, tp4100 SFP-1000T SFP-30TP ANT-10G, S5732h 33
34. コントリビューション企業様一覧