Share
Embed
NVMe — Was ist das und wer braucht das?
Foliensatz zu einem Webinar, das ich im Auftrag der Boston Server & Storage GmbH im September 2016 gehalten habe.
Wolfgang Stief
September 30, 2016
Transcript
19 slides
-
Boston Webinar NVMe: Was ist das und wer braucht das?
Wolfgang Stief Senior Consultant -
§ Gegründet 1992 – 24 Jahre Innovation § Supermicros ältester
& größter globaler Partner – seit über 20 Jahren § Lösungshersteller mit Fokus auf Technologie (First-to-Market Strategie) § London HQ, Niederlassungen in London City, München, Mumbai, Bangalore, New York. Weitere Expansion geplant. § Experten im Lösungs- und HPC-System-Design unter Verwendung von Premium-Komponenten von Supermicro und führenden Komponenten- Partnern § Supermicros Fastest Growing Partner 2012/2013 Über uns -
§ Warum eigentlich NVMe? Begriffsklärung, Spezifikation, Voraussetzungen § Einsatz- und
Anwendungsmöglichkeiten von NVMe Wo wird NVMe schon heute genutzt? Was bringt die Zukunft? Wo macht NVMe keinen Sinn? Wie teuer ist NVMe? § NVMe-Lösungen aus dem Boston Portfolio Komplett-Systeme, Mainboards, NVMe-Module Agenda -
§ SAS/SATA bremst Flash-Module aus Command Queue, IOPS, Latenz §
Protokoll mit geringer Latenz und hohem Durchsatz >> PCIe § Adaption PCIe 3.0 für Massenspeicher/Flash >> NVMe x2/x4 Lanes, 8 Gbit/s je Lane § NVMe — Non Volatile Memory express Industriekonsortium, http://www.nvmexpress.org Cisco, Dell, EMC, Intel, Micron, Microsemi, Microsoft, NetApp, Oracle, Samsung, Seagate, Western Digital u. a. Motivation – Warum eigentlich NVMe? -
§ x4 PCIe-Lane PCIe 3.0: 8 GT/s = 984.6 MB/s
je Lane § Zugriffszeit im Bereich µs § große Command Queues 64k Queues à 64k Commands § Inbound Signaling (MSI-X), nur 13 Kommandos § RDMA mit NVM Express over Fabrics (Ethernet, Infiniband, Fiberchannel) Spezifikation — Was kann NVMe? Festplatte, SATA-3 10k Rpm, 2.5“ § ca. 9ms-12ms Zugriffszeit § ca. 120 MB/s sequential read § SATA-3 in Praxis max. ca. 1.5 GBit/s § 1 Command Queue, 32 Commands -
§ Steckplatz auf Mainboard oder PCIe-Adapter § BIOS-Support § Support
im Betriebssystem alle aktuellen, gängigen Betriebssysteme unterstützen NVMe, einschließlich Linux, FreeBSD, Solaris Voraussetzung— Was braucht NVMe? -
§ seriell ist weniger Aufwand 1bit seriell vs. 64bit parallel
§ Synchronisation der Signale einfacher § kein Signalübersprechen zwischen PINs muss aufwendig kompensiert werden, sh. Differential SCSI § Prinzipiell längere Kabel möglich Modem/Telefon vs. Parallel SCSI-3 Exkurs — Warum nichts paralleles? -
§ NVM in DIMM-Format § Massenspeicher im Memory Subsystem, §
schneller, aber immer intern only, nicht HotSwap Verwechslungsgefahr >> NVDIMM NVMe NVDIMM -
§ Low Latency § Filesystem Cache § Metadaten von (verteilten)
Filesystemen § Datenbanken § Anwendungen mit Kriterium „geringe Antwortzeiten“ (interaktiver Betrieb) Einsatzbereiche für NVMe (1/2) -
§ High Throughput § Scratch Filesystem (HPC) § Messdatenerfassung §
Fileserver hohe Last + (sehr viele) kleine Files Einsatzbereiche für NVMe (2/2) -
§ GPU-Anbindung per NVMe schnelles Data Movement von/zu GPU >>
HPC § NVMe over Fabric externe Storage-Shelfs, shared NVMe Storage § RDMA-Anwendungen Multinode-DB, Distributed Computing, Big Data Einsatzbereiche für NVMe (future) -
§ Archivsysteme § Streaming Data viel sequential read von großen
Files § Große Files mit wenig I/O § Vorsicht bei All Flash Arrays § RAID5/6 ungeeignet für Flash übermäßiges Write-I/O auf Module § entsprechende Geräte am Markt verfügbar, z. B. Boston Igloo Plus http://www.boston-itsolutions.de/all-flash-arrays-accelstor-macht-vieles-richtig NVMe um jeden Preis? — Nein! -
§ U.2 (früher SFF-8639) > SAS/SATA, aber andere PINs belegt
(„Hybrid Bay“) > Achtung: gibt auch SSD mit SATA-Anschluss 6 Gbit/s SATA — billig, aber langsam! § M.2 (selten auch NGFF) > max. x4 PCIe Lanes, 32 GBit/s > 22mm breit, 42/60/80/110mm lang (M.2 2280) > Codierung in Kontaktleiste > mindestens 60 Steckzyklen § PCIe-Karte bzw. PCIe-Adapter für M.2 Wie kommt NVMe ins System? Dmitry Nosachev CC BY-SA 4.0 -
§ Geschwindigkeit (Durchsatz und Latenz) > verschiedene Serien je Hersteller
> beeinflusst durch Controller-Baustein und Controller-Firmware (IP des Herstellers) > Organisation der Flash-Chips auf dem Modul § DWPD — Drive Writes per Day > Flash: begrenzte Anzahl Schreib-/Löschzyklen > (sehr) viel mehr Flash-Chips als Nutzkapazität, typ. 1-5 DWPD > DWPD immer für spezifizierten Garantiezeitraum, z. B. 3 oder 5 Jahre > 500 GB SSD, 3 DWPD, 5 Jahre Garantie = 5 Jahre lang jeden Tag 1.5 TB schreiben > auch MTBF noch gebräuchlich (z. B. 1.5 Mio. Stunden) § SLC, eMLC, MLC, TLC Aufbau der Speicherzellen, Zuverlässigkeit, Geschwindigkeit Qualitätskriterien — Consumer vs. Enterprise -
§ aktuelles Beispiel, 9/2016 § NVMe SSD, 2 TB, 3.5
GB/s sequential read, <100µs Zugriffszeit, ca. U$ 1.300 § HDD 15.000 Rpm, 2.5“, SAS, ca. 10ms Zugriffszeit, ca. U$ 120 ca. 140 MB/s @ sequential read per Spindel (Erfahrungswert) § ca. 25 HDD für gleichen Throughput (ohne Redundanz/RAID) § 1 SSD = 6 W, 9g, 2 TB 1 HDD = 6 W, 227 g >> 25 HDD = 150 W, 5.6 kg, 7.5+ TB § DB-Admins: viele kleine Spindeln, Disks < 300GB? Sind NVMe SSDs nicht furchtbar teuer? -
§ NVMe SSD im M.2 Format 128 GB, 256 GB,
512 GB, 1024 GB M.2 2280 und M.2 22110 § Zahlreiche Server-Systeme mit M.2 Mini-1U, 1U, Mini-Tower, 3U MicroCloud § Zahlreiche Motherboards mit M.2 Flex ATX, Mini-ATX, SkyLake Workstations u. a. § NVMe-Steckkarten für PCIe § PCIe Add-on Card für M.2-Module NVMe-Produkte bei Boston/Supermicro