Buzzwordbingo Storage Edition 2019

In einem flotten Ritt durch das Land der aktuellen Storage-Buzzwords erläutere ich kurz ein paar technische Hintergründe zu den Begriffen und versuche, nach Sinn und Unsinn zu unterscheiden. Mitreisende werden am Ende der halben Stunde ein grobes Verständnis für Dinge wie Storage Class Memory, Persistent Memory oder Computational Storage haben, und können ein paar Begriffe mit nach Hause nehmen, die beim selbständigen weiterforschen helfen.

Transcript

1. Buzzwordbingo Storage Edition 2019 Wolfgang Stief
 Storage-Forum Leipzig 2019
2. $ whoami ❖ open minded geek & engineer ❖ Dipl.-Ing.
 Elektrische Energietechnik ❖ selbständig (2011) – sys4 AG (2012) – speicherguide.de (2019)
 technisches Marketing, Erklärbär, Projektmanagement, AG-Vorstand ❖ Cray-Cyber.org
 #vintagecomputing ❖ @stiefkind / @SpeicherStief (Twitter)
 stiefkind@mastodon.social
 https://www.linkedin.com/in/wstief/ STIEF consult ING
3. $ Motivation
4. $ ls -l ./buzzwords 2 persistent_memory___storage_class_memory 1 edsff_wtf!? 1 nand_flash_–_qlc_und_plc 1 computational_storage 1 nvme_over_everything 1 composable_infrastructure 1 erasure_coding $_
5. Persistent Memory / Storage Class Memory ❖ Phase Change Memory – “Kernspeicher”
 Intel Optane DC, 3D XPoint (Micron/Intel) ❖ schneller als NAND, langsamer als DRAM ❖ längere Lebensdauer als NAND ❖ adressierbar als Bit/Byte
 vs. Pages @ NAND ❖ billiger als DRAM
 ➛ sehr viel größere Kapazitäten werden erschwinglich
6. Persistent Memory / Storage Class Memory ❖ DCPMM – Data Center Persistent Memory Module ❖ HW (BIOS) muss das supporten ❖ Support in allen aktuellen OS vorhanden ❖ Betriebsarten
 ➛ “RAM-Disk” bzw. schnelles Storage
 ➛ DIMM
 ➛ persistente “RAM-Disk” (FSDAX)
 ➛ Character Device ❖ ipmctl/ndctl
 PMDK – Persistent Memory Developer Kit (http://pmem.io)
 Bild: Intel Corp.
7. EDSFF – WTF!? ❖ Enterprise Datacenter Small Form Factor
 formerly know as Intel Ruler ❖ neuer Formfaktor für SSDs ❖ E1.L, E1.S ❖ 19” ➛ 32 Drives E1.L
 32x 16TB = 512 TB NAND-Flash @ 1HE (!)
 E1.L mit 32TB geplant, Verfügbarkeit derzeit unbekannt ❖ https://edsffspec.org/
 7 Promoters, 8 Contributors Bild: Intel Corp.
8. NAND Flash – QLC und PLC ❖ QLC – Quad Level Cell ❖ PLC – Penta Level Cell ❖ 5V Spannungsdifferenz zwischen all 0 und all 1 ❖ Levels ↥ == Haltbarkeit ↧ == Speed ↧ 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111 000 001 010 011 100 101 110 111 00 01 10 11 0 1 PLC QLC TLC MLC SLC 00000 00001 00010 00011 00100 00101 00110 00111 01000 01001 01010 01011 01100 01101 01110 01111 10000 10001 10010 10011 10100 10101 10110 10111 11000 11001 11010 11011 11100 11101 11110 11111
9. Computational Storage / Computational Memory ❖ CPU kommt zum Storage ❖ ARM vs. FPGA
 Flexibilität vs. Performance ❖ (verteilte) Datenbanken
 z. B. Hadoop ❖ Deep Learning / Machine Learning
 Anlernen/trainieren eines neuronalen Netzes ❖ Erasure Coding? Bild: ScaleFlux, Inc.
10. NVMe over Everything ❖ NVMe bisher nur Peer-to-Peer
 Infiniband, RDMA ❖ NVMe-oF, NVMe-oF/TCP, FC-NVMe
 multihosted, “SAN”
 erfordert schnelles Ethernet (40Gb/s, 100Gb/s, 200Gb/s) ❖ NVMe-Appliance ❖ https://nvmexpress.org/
 13 Promoters ❖ Freitag – morgen – 12:15
 NVMe over Fabrics – die Zukunft des SANs? Fibre Channel Infiniband RoCE iWARP TCP Next Generation Fabric NVMe Host Software Transport-Abstraktion Host Transport-Abstraktion Storage Controller NVMe SSDs
11. Composable Infrastructure ❖ ≙ Disaggregated Infrastructure
 ≙ Software Defined Infrastructure ❖ ≈ flexibles HCI ❖ Auftrennung von Compute und Storage ❖ erfordert leistungsfähige, latenzarme Interconnects/Protokolle
 Infiniband, RDMA, RoCE ❖ Single Namespace im Storage
 Distributed Filesystems – Ceph, Quobyte, BeeGFS, LizardFS u. a. ❖ Automatisierung und Infrastructure as Code
 Ansible, Puppet, SaltStack, Terraform
12. Erasure Coding ❖ RAID on Steroids
 nothing new, Begriff etabliert sich ❖ notwendig in verteilten Dateisystemen und Distributed Computing ❖ Lineare Algebra, z. B. Reed-Solomon
 Repair Problem ❖ Locally Repairable Codes (LRC)
 Mischung aus lokaler und globaler Parity ❖ Open-Source und kommerziell
 Scality RING, PoINT, HadoopFS, Ceph, Quobyte, 
 LizardFS, Rubrik, Backblaze, Datrium, Hedvig, 
 RozoFS, Nyriad (GPU) u. a. A2+B1 A2+B2 A1+B1 B1 B2 A1 A2 A1➛? A2➛? B2 A2+B2 A1+A2+B2 A1+A2+B2
13. ws@stief-consulting.de @stiefkind / @SpeicherStief https://www.linkedin.com/in/wstief/ https://speakerdeck.com/stiefkind EOF & Discussion