オンプレ/クラウド連携と柔軟なストレージで実現する高信頼サービス_Shownet2021 studio 20210416

Transcript

1. 1 オンプレ/クラウド連携と 柔軟なストレージで実現する 高信頼サービス Interop Tokyo 2021 ShowNet データセンタ 担当 織 学 (Red Hat) 奥澤 智子 (トヨタ自動車) 橋本 賢一郎 (ヴイエムウェア) 明石 邦夫 (東京大学)
2. 2 今年の ShowNet データセンタ
4. AzureStack HCI、Azureによる ハイブリッドクラウド Red Hat Advanced Management Cluster for Kubernetes による Kubernetes マルチクラスタ NVMe over Fabrics、NVMe over TCP と CSI ドライバによる 高速コンテナストレージ Red Hat Advanced Management Cluster for Kubernetes による Kubernetes マルチクラスタ
5. High Availability Rapid Deployment 大容量 / 高速 ストレージ セキュリティ 高速ネットワーク ShowNet のサービスを支える仮想化基盤 10/25/100G のL2/L3スイッチ Stack/MC-LAG RoCE 対応なフロー制御 20TB 以上の iSCSI ストレージ NVMe over Fabrics CSI ドライバでのコンテナストレージ Hyper-Converged Infrastructure オールインワンな仮想化基盤 Kubernetes マルチクラスタ vSphere HA/DRS、 フェイルオーバークラスタ による高可用性 ハイブリッドクラウド VMware NSX-T での 仮想マシン単位の Firewall
6. ShowNet を支える ハイブリッドクラウド構成の仮想化基盤 • 2 つの仮想化基盤で サービスを展開 • 仮想マシン: 97 台 • CPU数: 376 • メモリ: 1792 GB • ストレージ: 18TB flexfabric5710 ce8850 nimble DL380 UCS C220M5 dorado ce8850
7. ShowNet を支える ハイブリッドクラウド構成の仮想化基盤 仮想マシン毎のデータを クラウドに Sync ストレージの定期的な バックアップ nimble UCS C220M5 DL380 Kubernetes マルチクラスタ ShowNet
8. オンプレ/マルチクラウドにまたがった Kubernetesマルチクラスタによる柔軟なサービス管理 Kubernetes マルチクラスタ
9. Kubernetesマルチクラスタ管理 • 各クラスタのノードやPodの状態を一元管理
10. .dc/.svc で複数のコンテナストレージ CSI による制御、クラウドバックアップなど NVMe over Fabrics を活用した 高速コンテナストレージの実現 SDS による NVMe-oF コンテナストレージ 大容量ストレージによる 仮想化、コンテナストレージ RoCE 対応 高速ストレージアプライアンス PFC、ECN によるフロー制御 PFC、ECN によるフロー制御
11. NVMe over Fabrics と NVMe over TCP • NVMe over Fabrics • RDMA NIC (RNIC) の利用を前提 • UDP の上に Infiniband のプロトコル • RNIC がホストメモリにアクセス • CPU を使用しない • NVMe over TCP • RDMA NIC (RNIC) を必要としない • 標準の TCP/IP スタックで利用可能 • NVMe の Queue 毎に TCP connection • TCP connection は CPU にマッピング
12. NVMe over Fabrics を活用した高速ストレージ • RoCEv2、PFC + ECN • 高IOPS • 低 I/O レイテンシ N93180yc-1 N93180yc-2 Dl325- kumoscale nvme-of- initiator k8s
13. Contro Plane Kubernetes Storage & iSCSI / NVMe over Fabrirics CSIを活用した 高速コンテナストレージとの接続 Kube API Server Container PVC manifest Worker Node Worker Node CSI Node Plugin Container CSI Node Plugin Container CSI Controller Plugin Container ボリューム作成 NVMe-oF or NVMe-oTCP iSCSI NVMe-oF Initiator iSCSI Initiator
14. CSIとは • CSI: Container Storage Interface • コンテナ用ストレージを制御するためのAPI • ボリュームの作成、ノードへのアタッチ、スナップショット 取得、等の操作を抽象化 Persistent Volume Claim Worker Node Contro Plane ボリューム 切り出し ノードへの接続 Podのnamespace にbind mount
15. CSIによるボリューム作成 - KumoScale • PVCの名前がついたボリュームが作成される
16. CSIによるボリューム作成 - Nimble • PVCの名前がついたボリュームが作成される
17. Special Thanks