Save 37% off PRO during our Black Friday Sale! »

400G時代のIPネットワーク屋も知っとくと役立つストレージネットワーキング

069cd9ee512508468f48a31f047b551b?s=47 taji
July 25, 2019

 400G時代のIPネットワーク屋も知っとくと役立つストレージネットワーキング

069cd9ee512508468f48a31f047b551b?s=128

taji

July 25, 2019
Tweet

Transcript

  1. 400G時代のIPネットワーク屋も 知っとくと役立つ ストレージネットワーキング 2019-07-25 JANOG44 Tajima Hirotaka(taji)

  2. 2 of Y お約束 (好きなことが言えるようになる魔法のページ) • tajiの所属組織の見解は示してません。 • tajiの妄想を含みます。

  3. 3 of Y いきなりLTをひっくり返すようですが • どうやっても5分で話しきれるネタじゃない んで、ウチで詳しく聞かせろって呼んでく れればエヌ時間くらい話します。 • 今日はスゲー早口でしゃべります

  4. 4 of Y いきなりLTをひっくり返すようですが • どうやっても5分で話しきれるネタじゃない んで、ウチで詳しく聞かせろって呼んでく れればエヌ時間くらい話します。 • 今日はスゲー早口でしゃべりますす

    https://middle-edge.jp/articles/I0000539 8時だよ!全員集合のチョーさんの絵 行ってみようー!
  5. 5 of Y ボトルネックはどこだ? FRONT-END CONNECT BACK-END CONNECT STORAGE CONTROLLER

    7200 RPM PHYSICAL STORAGE CLIENTS / HOSTS
  6. 6 of Y ボトルネックはどこだ? →ちょっと前までディスクだった 0 5 10 15 1000x

    FRONT-END CONNECT BACK-END CONNECT STORAGE CONTROLLER 7200 RPM PHYSICAL STORAGE CLIENTS / HOSTS Response Time (ms) 回転ディスク
  7. 7 of Y Response Time (ms) FRONT-END CONNECT BACK-END CONNECT

    STORAGE CONTROLLER CLIENTS / HOSTS PHYSICAL STORAGE 0 0.1 0.2 0.3 0.4 0.5 ボトルネックはどこだ? →クライアント側になった Flash
  8. 8 of Y より広帯域が求められる時代に Throughput (MB/s) FRONT-END CONNECT BACK-END CONNECT

    STORAGE CONTROLLER CLIENTS / HOSTS PHYSICAL STORAGE 0 2,000 4,000 6,000 8,000 FC: 16Gb/S PCIE: 985MB/S SAS: 600MB/S SSD: 1420MB/S APP: 5,600 MB/S 4 6 10 4 +1 MANY QUEUES MANY QUEUES OVER FABRIC
  9. 9 of Y より広帯域が求められる時代に Throughput (MB/s) FRONT-END CONNECT BACK-END CONNECT

    STORAGE CONTROLLER CLIENTS / HOSTS PHYSICAL STORAGE 0 2,000 4,000 6,000 8,000 FC: 16Gb/S PCIE: 985MB/S SAS: 600MB/S SSD: 1420MB/S APP: 5,600 MB/S 4 6 10 4 +1 MANY QUEUES MANY QUEUES OVER FABRIC NVMe Over Fabrics NVMe
  10. 10 of Y NVMe over Fabrics • NVMe over Fabrics

    – NVMeブロックストレージ・プロトコルを、ストレー ジネットワーク・ファブリックに拡張する – 2016年6月に仕様 1.0 が公開 – NVMeデバイスを大量に扱う、(データセンター内 で)離れた場所のNVMeデバイスにアクセスす る、、、等 • 2019年1月に、あらたにNVMe over TCP(NVMe/TCP) が批 准された – NVMe-oF 1.1 の仕様ドキュメントに統合予定 › Later 2019 ? http://www.nvmexpress.org/wp-content/uploads/NVMe_Over_Fabrics.pdf NVMe™ Host Software Host Side Transport Abstraction Controller Side Transport Abstraction Fibre Channel InfiniBand* RoCE iWARP Next Gen Fabrics TCP 2019/1- https://nvmexpress.org/answering-your-questions-nvme-tcp-what-you-need-to-know-about-the-specification-webcast-qa/
  11. 11 of Y 「ファブリック(Fabrics)」ってなに? • Firbre Channel – 昔も今も広く使われてる。 •

    InfiniBand (RDMA) – 広帯域、低遅延をいかして、組み込み用途、特にHPC – ストレージ内部だけでなくサーバとの接続にも • IP/Ethernet RDMA: RoCEv2 , iWARP – RoCEv2: 発音ロッキー、UDP/IPベース、ロスレスConverged Ethernet推奨 › V1はL2、v2と互換性なし – iWARP: TCP/IPベース、実質的にHW実装が必要、普及してない – NICインプリが推奨 • IP/Ethernet non-RDMA: TCP/IP – ソフトウェアベース、NICのTCPオフロードで高速化 New!
  12. じゃぁ、パイプが太ければ いいのか?

  13. 13 of Y そう単純にはいかない • The NVMe Transport shall provide

    reliable delivery of capsules between a host and NVM subsystem (and allocated controller) over each connection. The NVMe Transport may deliver command capsules in any order on each queue except for I/O commands that are part of fused operations (refer to section 4.10 of the NVMe Base specification). http://nvmexpress.org/wp-content/uploads/NVMe_over_Fabrics_1_0_Gold_20160605.pdf 7.1 Transport Requirements
  14. 14 of Y そう単純にはいかない • The NVMe Transport shall provide

    reliable delivery of capsules between a host and NVM subsystem (and allocated controller) over each connection. The NVMe Transport may deliver command capsules in any order on each queue except for I/O commands that are part of fused operations (refer to section 4.10 of the NVMe Base specification). http://nvmexpress.org/wp-content/uploads/NVMe_over_Fabrics_1_0_Gold_20160605.pdf 7.1 Transport Requirements 「トランスポートは十分信頼性があるものにしろよ」
  15. 15 of Y トランスポート速度の変遷 http://www.fiber-optic-transceiver-module.com/10g-ethernet-sfp-vs-10g-fibre-channel-sfp.html 400 2019 Fibre Channel InfiniBand

    Ethernet 200 100 40 20
  16. 16 of Y NVMe over Ethernet RoCE – ベストなオペレーションには、ロスレスネットワーク(特別なハードウェア)の用意が必要。 (Mellanox

    and Emulexがサポート) iWARP – 複雑なハード/ソフトのスタックでよりCPUリソースの消費と、現時点では10Gbのみ。 ( Chelsio and Intelがサポート:サポートOSが少ない) TCP – 標準のスイッチとシンプルなTCPスタックを利用。プロポーザルが内部で批准されたばかり。 NVMe oFの V1.1 に盛り込まれる予定
  17. 17 of Y NVMe over TCP • NVMe-oFコマンドを 標準のTCP/IPで運ぶ •

    各キューペアをTCP コネクションにマップ • TCPがNVMeキュー モデルのトランスポー トレイヤの信頼性を担 保する
  18. 18 of Y NVMe-oF プロトコル的な観点 RoCE TCP 速度 相互接続性 汎用的なNICサポート

    (TCPオフロード) 固有のNICサポート (RoCEv2) Ethernetの管理の難しさの課題も!
  19. NVMe oF パフォーマンス

  20. 20 of Y 会場かぎり

  21. 21 of Y 結論的なこと • トランスポートはより広帯域化してくる • パイプが太けりゃいいってもんじゃない • End-Endでボトルネック解消を考える:NVMe

    • 比較検討のポイント • トランスポートメディア:FibreChannel、Ethernet • プロトコル:FC、RoCE、TCP • 既存設備と今後の標準仕様を見据えたTCO
  22. 22 of Y リマインダー • どうやっても5分で話しきれるネタじゃない んで、ウチで詳しく聞かせろって呼んでく れればエヌ時間くらい話します。 https://ameblo.jp/tm181818/entry-12231365183.html 8時だよ!全員集合の

    チョーさんの絵
  23. None