Lower Layer Technologien in Grids

Transcript

1. 1/23 P i ? Lower Layer Technologien in Grids best Systeme GmbH, Unterf¨ ohring Wolfgang Stief stief@best.de Dipl.-Ing. (FH) Senior Systemingenieur Unix 2005-05-23 Open Systems Day Fall ’05
2. 2/23 P i ? Compute Grid vs. Compute Grid Compute Grid vs. Data Grid Grid Interconnects Distributed Filesystems Data Access at Block Level Shared Filesystems Datenverteilung mal ganz anders
3. 3/23 P i ? Compute Grid vs. Compute Grid Nicht ¨ uberall, wo Grid draufsteht, ist auch Grid drin: • Oracle 10g ist kein Grid. • Cluster im HPC sind kein Grid. Bestenfalls sind sie Bestandteil eines Grids. • Charakteristisch: Nutzung geographisch mehr oder minder stark verteilter Ressourcen ¨ uber standardisierte Protokolle. • H¨ aufig zitiertes Beispiel: Strom aus der Steckdose.
4. 4/23 P i ? Agenda Compute Grid vs. Compute Grid Compute Grid vs. Data Grid Grid Interconnects Distributed Filesystems Data Access at Block Level Shared Filesystems Datenverteilung mal ganz anders
5. 5/23 P i ? Compute Grid vs. Data Grid Grid bedeutet nichts anderes als Zugriff auf in einem Netz verteilte Ressourcen: • Compute Grid: Verteilte Rechenleistung, u. U. auch heterogen, kein Single System Image. • Data Grid: Verteilte Festplatten bzw. verteilte Daten. Grid sagt noch nichts aus ¨ uber Protokolle, Betriebssysteme, Anwendungen, zu l¨ osende Pro- bleme. + Bessere Ausnutzung von Ressourcen. + Verteilte Administration. − Nicht f¨ ur jedes Problem geeignet. − Overhead f¨ ur Kommunikation erforder- lich. − Verteilte Administration.
6. 6/23 P i ? Compute Grid vs. Compute Grid Compute Grid vs. Data Grid Grid Interconnects Distributed Filesystems Data Access at Block Level Shared Filesystems Datenverteilung mal ganz anders
7. 7/23 P i ? Grid Interconnects • Myrinet, Infiniband, Scalable Coherent Interface (SCI) etc. sind Cluster Interconnects bei HPC-/HA-Clustern. ⇒ Keine g¨ ultigen Grid Interconnects. • Auf Layer 2: Ethernet, Token Ring, FDDI, ATM etc. • Auf Layer 3: IPv4, IPv6 ⇒ Standards!
8. 8/23 P i ? Grid Interconnects (cont’d) Am gebr¨ auchlichsten ist sicherlich Ethernet: • Aktuell bis 10 GBit/s verf¨ ugbar. • Praxis zeigt: 80% - 90% Nutzbandbreite bei GBE. • 10 GBit/s derzeit noch sehr teuer: ⇒ Verwendung im Netzwerk-Core und teilweise f¨ ur WAN-Strecken. ⇒ Noch kaum Serveranbindung, obwohl HW verf¨ ugbar. • Trunking ist m¨ oglich und standardisiert (Link Aggregation, IEEE 802.3ad, seit 2000). • Weitstrecken ¨ uber Glasfaser m¨ oglich, Technik existiert. • ATM aufgrund QoS und geringerer Latenzzeiten im WAN besser geeignet.
9. 9/23 P i ? Compute Grid vs. Compute Grid Compute Grid vs. Data Grid Grid Interconnects Distributed Filesystems Data Access at Block Level Shared Filesystems Datenverteilung mal ganz anders
10. 10/23 P i ? Distributed Filesystems Network File System (NFS), Andrew File System (AFS), Distributed File System (DFS), Coda, InterMezzo etc. + vergleichsweise einfach administrierbar (common knowledge) + standardisiert und dokumentiert + Support in allen gebr¨ auchlichen Betriebs- systemen + Erweiterungen zu Authentifizierung ver- f¨ ugbar (Kerberos u. ¨ a.) + Zugriffschutz mittels Access Control Lists (ACL) − viel Overhead ⇒ schl¨ agt auf Performance ⇒ vergleichsweise langsam − Namespace (Mountpoints) m¨ ussen ggf. innerhalb des Grids synchronisiert werden ⇒ erh¨ ohter administrativer Aufwand.
11. 11/23 P i ? Compute Grid vs. Compute Grid Compute Grid vs. Data Grid Grid Interconnects Distributed Filesystems Data Access at Block Level Shared Filesystems Datenverteilung mal ganz anders
12. 12/23 P i ? Data Access at Block Level • Ziel: performanter Zugriff auf Daten • Derzeit aktuelle Protokolle: SCSI, FCP, iSCSI, FCIP, iFCP. + auf Datentransport optimiert + schnell, weil wenig Overhead − shared access ist nicht trivial
13. 13/23 P i ? Data Access at Block Level – SCSI und FCP • SCSI als Bus, limitierte L¨ ange und limitierte Anzahl der Ger¨ ate. • FCP hat Features ¨ ahnlich wie Netzwerk (Switching, Zoning, WWN-Security). + Protokolle sind ausgereift und standardi- siert. + Support in jedem handels¨ ublichen Be- triebssystem on board. + Bandbreitenerh¨ ohung durch Load Balan- cing m¨ oglich ⇒ muss von Hardware und Treiber unterst¨ utzt sein. − Kein concurrent write access m¨ oglich. − Nicht bzw. nur begrenzt ” routbar“ ⇒ nicht WAN-tauglich
14. 14/23 P i ? Data Access at Block Level – iSCSI, FCIP und iFCP • zu Grunde liegendes Protokoll hier wie oben: SCSI • verpackt in TCP/IP ⇒ routing-f¨ ahig + Kombinierbar mit IPsec/TLS, damit ver- schl¨ usselter Kanal. + Zugriff auf Storage ¨ uber WAN wird m¨ oglich. + Einfache Bandbreitenerh¨ ohung durch Link Aggregation (IEEE 802.3ad). + Layer 2 austauschbar. + Nur ein Layer 2 Medium innerhalb des Grids realisierbar. − Hohe Latenz ⇒ IP kennt kein durchg¨ angi- ges QoS. − Auch hier kein concurrent write access. − Anf¨ allig gegen allerlei bekannte Security- Probleme aus der TCP/IP-Welt (DoS, Spoofing, Man in the Middle. . . )
15. 15/23 P i ? Data Access at Block Level – Protokoll-Overhead iSCSI IP Ethernet FCP Header TCP Header Ethernet Header CRC CRC FC-2 Header FCP Header CRC FCIP Header FCP Header CRC iFCP Header CRC SCSI Payload iSCSI Header SCSI Payload SCSI Payload SCSI Payload IP Header TCP iFCP FCIP FCP
16. 16/23 P i ? Compute Grid vs. Compute Grid Compute Grid vs. Data Grid Grid Interconnects Distributed Filesystems Data Access at Block Level Shared Filesystems Datenverteilung mal ganz anders
17. 17/23 P i ? Shared Filesystems – Grundprinzip host1 host2 host3 mdc FC Fabric 10/100/1000 MBit Ethernet 1/2 GBit Fiber Channel Meta Data LUN Windows Linux Solaris
18. 18/23 P i ? Shared Filesystems – Implementierung Application VFS (Unix) ufs vxfs qfs sanfs ntfs fat32 vxfs fat16 IFS (Windows) ext3 sanfs Device Drivers: SCSI / FCP / iSCSI etc. Userland Kernel Space
19. 19/23 P i ? Shared Filesystems – Produkte ADIC StorNext Filesystem, Sun QFS, Sun PlexFS, IBM Tivoli SANergy, IBM GPFS, Oracle Cluster Filesystem, RedHat GFS. . . + Multiple Writer Funktionalit¨ at + Snapshots, Striping, Mirroring etc. im Fi- lesystem m¨ oglich. + Heterogenes Umfeld m¨ oglich. + Anflanschen von Zusatzfeatures ⇒ Hierarchical Storage Management − großer Einf¨ uhrungsaufwand − komplexe Administration − u. U. hohe Initialkosten (Lizenzen, Infrastruktur)
20. 20/23 P i ? Compute Grid vs. Compute Grid Compute Grid vs. Data Grid Grid Interconnects Distributed Filesystems Data Access at Block Level Shared Filesystems Datenverteilung mal ganz anders
21. 21/23 P i ? Datenverteilung mal ganz anders ftp, scp, sftp, rsync + scriptingf¨ ahig + einfaches Handling + f¨ ur quasi jedes Betriebssystem zu haben + heterogenes Umfeld sehr einfach m¨ oglich − keine Echtzeit
22. 22/23 P i ? Quellen und weiterf¨ uhrende Infos • Ulf Troppens, Rainer Erkens Speichernetze dpunkt.verlag, Heidelberg, 1. Auflage, 2003 • Grid-Computing Artikel in der deutschen Wikipedia, Version v. 2005-11-09, 17:02h http://de.wikipedia.org/wiki/Grid • Grid computing Artikel in der englischen Wikipedia, Version v. 2005-11-18, 19:22h http://en.wikipedia.org/wiki/Grid_computing • The DataGrid Project http://eu-datagrid.web.cern.ch/eu-datagrid/ • Viktors Berstis Fundamentals of Grid Computing IBM Redbooks Paper, 2002 • Srikumar Venugopal, Rajkumar Buyya, Ramamohanarao Kotagiri A Taxonomy of Global Data Grids University of Melbourne, Department of Computer Science and Software Engineering, Grid Computing and Distri- buted Systems Laboratory, April 2005
23. 23/23 P i ? Danke f¨ ur Ihre Aufmerksamkeit. Fragen? Wolfgang Stief – stief@best.de November 2005