NVMe — Was ist das und wer braucht das?

Foliensatz zu einem Webinar, das ich im Auftrag der Boston Server & Storage GmbH im September 2016 gehalten habe.

Transcript

1. Boston Webinar NVMe: Was ist das und wer braucht das? Wolfgang Stief Senior Consultant
2. §  Gegründet 1992 – 24 Jahre Innovation §  Supermicros ältester & größter globaler Partner – seit über 20 Jahren §  Lösungshersteller mit Fokus auf Technologie (First-to-Market Strategie) §  London HQ, Niederlassungen in London City, München, Mumbai, Bangalore, New York. Weitere Expansion geplant. §  Experten im Lösungs- und HPC-System-Design unter Verwendung von Premium-Komponenten von Supermicro und führenden Komponenten- Partnern §  Supermicros Fastest Growing Partner 2012/2013 Über uns
3. §  Warum eigentlich NVMe? Begriffsklärung, Spezifikation, Voraussetzungen §  Einsatz- und Anwendungsmöglichkeiten von NVMe Wo wird NVMe schon heute genutzt? Was bringt die Zukunft? Wo macht NVMe keinen Sinn? Wie teuer ist NVMe? §  NVMe-Lösungen aus dem Boston Portfolio Komplett-Systeme, Mainboards, NVMe-Module Agenda
4. §  SAS/SATA bremst Flash-Module aus Command Queue, IOPS, Latenz §  Protokoll mit geringer Latenz und hohem Durchsatz >> PCIe §  Adaption PCIe 3.0 für Massenspeicher/Flash >> NVMe x2/x4 Lanes, 8 Gbit/s je Lane §  NVMe — Non Volatile Memory express Industriekonsortium, http://www.nvmexpress.org Cisco, Dell, EMC, Intel, Micron, Microsemi, Microsoft, NetApp, Oracle, Samsung, Seagate, Western Digital u. a. Motivation – Warum eigentlich NVMe?
5. §  x4 PCIe-Lane PCIe 3.0: 8 GT/s = 984.6 MB/s je Lane §  Zugriffszeit im Bereich µs §  große Command Queues 64k Queues à 64k Commands §  Inbound Signaling (MSI-X), nur 13 Kommandos §  RDMA mit NVM Express over Fabrics (Ethernet, Infiniband, Fiberchannel) Spezifikation — Was kann NVMe? Festplatte, SATA-3 10k Rpm, 2.5“ §  ca. 9ms-12ms Zugriffszeit §  ca. 120 MB/s sequential read §  SATA-3 in Praxis max. ca. 1.5 GBit/s §  1 Command Queue, 32 Commands
6. §  Steckplatz auf Mainboard oder PCIe-Adapter §  BIOS-Support §  Support im Betriebssystem alle aktuellen, gängigen Betriebssysteme unterstützen NVMe, einschließlich Linux, FreeBSD, Solaris Voraussetzung— Was braucht NVMe?
7. §  seriell ist weniger Aufwand 1bit seriell vs. 64bit parallel §  Synchronisation der Signale einfacher §  kein Signalübersprechen zwischen PINs muss aufwendig kompensiert werden, sh. Differential SCSI §  Prinzipiell längere Kabel möglich Modem/Telefon vs. Parallel SCSI-3 Exkurs — Warum nichts paralleles?
8. §  NVM in DIMM-Format §  Massenspeicher im Memory Subsystem, §  schneller, aber immer intern only, nicht HotSwap Verwechslungsgefahr >> NVDIMM NVMe NVDIMM
9. §  Low Latency §  Filesystem Cache §  Metadaten von (verteilten) Filesystemen §  Datenbanken §  Anwendungen mit Kriterium „geringe Antwortzeiten“ (interaktiver Betrieb) Einsatzbereiche für NVMe (1/2)
10. §  High Throughput §  Scratch Filesystem (HPC) §  Messdatenerfassung §  Fileserver hohe Last + (sehr viele) kleine Files Einsatzbereiche für NVMe (2/2)
11. §  GPU-Anbindung per NVMe schnelles Data Movement von/zu GPU >> HPC §  NVMe over Fabric externe Storage-Shelfs, shared NVMe Storage §  RDMA-Anwendungen Multinode-DB, Distributed Computing, Big Data Einsatzbereiche für NVMe (future)
12. Der Markt für NVMe http://g2minc.com
13. §  Archivsysteme §  Streaming Data viel sequential read von großen Files §  Große Files mit wenig I/O §  Vorsicht bei All Flash Arrays §  RAID5/6 ungeeignet für Flash übermäßiges Write-I/O auf Module §  entsprechende Geräte am Markt verfügbar, z. B. Boston Igloo Plus http://www.boston-itsolutions.de/all-flash-arrays-accelstor-macht-vieles-richtig NVMe um jeden Preis? — Nein!
14. §  U.2 (früher SFF-8639) > SAS/SATA, aber andere PINs belegt („Hybrid Bay“) > Achtung: gibt auch SSD mit SATA-Anschluss 6 Gbit/s SATA — billig, aber langsam! §  M.2 (selten auch NGFF) > max. x4 PCIe Lanes, 32 GBit/s > 22mm breit, 42/60/80/110mm lang (M.2 2280) > Codierung in Kontaktleiste > mindestens 60 Steckzyklen §  PCIe-Karte bzw. PCIe-Adapter für M.2 Wie kommt NVMe ins System? Dmitry Nosachev CC BY-SA 4.0
15. §  Geschwindigkeit (Durchsatz und Latenz) > verschiedene Serien je Hersteller > beeinflusst durch Controller-Baustein und Controller-Firmware (IP des Herstellers) > Organisation der Flash-Chips auf dem Modul §  DWPD — Drive Writes per Day > Flash: begrenzte Anzahl Schreib-/Löschzyklen > (sehr) viel mehr Flash-Chips als Nutzkapazität, typ. 1-5 DWPD > DWPD immer für spezifizierten Garantiezeitraum, z. B. 3 oder 5 Jahre > 500 GB SSD, 3 DWPD, 5 Jahre Garantie = 5 Jahre lang jeden Tag 1.5 TB schreiben > auch MTBF noch gebräuchlich (z. B. 1.5 Mio. Stunden) §  SLC, eMLC, MLC, TLC Aufbau der Speicherzellen, Zuverlässigkeit, Geschwindigkeit Qualitätskriterien — Consumer vs. Enterprise
16. §  aktuelles Beispiel, 9/2016 §  NVMe SSD, 2 TB, 3.5 GB/s sequential read, <100µs Zugriffszeit, ca. U$ 1.300 §  HDD 15.000 Rpm, 2.5“, SAS, ca. 10ms Zugriffszeit, ca. U$ 120 ca. 140 MB/s @ sequential read per Spindel (Erfahrungswert) §  ca. 25 HDD für gleichen Throughput (ohne Redundanz/RAID) §  1 SSD = 6 W, 9g, 2 TB 1 HDD = 6 W, 227 g >> 25 HDD = 150 W, 5.6 kg, 7.5+ TB §  DB-Admins: viele kleine Spindeln, Disks < 300GB? Sind NVMe SSDs nicht furchtbar teuer?
17. §  NVMe SSD im M.2 Format 128 GB, 256 GB, 512 GB, 1024 GB M.2 2280 und M.2 22110 §  Zahlreiche Server-Systeme mit M.2 Mini-1U, 1U, Mini-Tower, 3U MicroCloud §  Zahlreiche Motherboards mit M.2 Flex ATX, Mini-ATX, SkyLake Workstations u. a. §  NVMe-Steckkarten für PCIe §  PCIe Add-on Card für M.2-Module NVMe-Produkte bei Boston/Supermicro
18. Kontakt +49 89 9090199-3 www.boston-itsolutions.de sales@boston-it.de BostonITsolutions @BostonDE Boston-server-&-storage-solutions-gmbh
19. §  CC BY-SA 4.0 http://creativecommons.org/licenses/by-sa/4.0 Lizenz-Foo