SAMFS-Vortrag von Carsten Grzemba

Transcript

1. contac Datentechnik GmbH 1 Systemhaus in Th¨ uringen 2 IT Infrastruktur L¨ osungen f¨ ur ¨ offentliche Einrichtungen, F&E 3 Archivl¨ osung 1 Artec IT Solutions, Datenmanagement, Datensicherheit & Archivierung 2 Oracle HSM, SamFS 3 GrauData XtreemStore, FileLock und Metadata-HUB 4 Daten-Replikation ¨ uber Standorte mit iRODS Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 1 / 16
2. SamFS 1 Unlimited Filesystem 2 Metadaten getrennt von Nutzdaten 3 Kopien der Nutzdaten auf Disk und Tape 4 Redundanz und Versionierung Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 2 / 16
3. OSS SamFS 1 SUN Software wird Opensource unter der CDDL 2 darunter: Solaris ZFS DTrace IPS Crossbow Comstar Solaris Cluster SAM/QFS Directory Server 3 SAMQFS 2008 von Sun Microsystems als OSS released Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 3 / 16
4. Warum sich mit OSS SamFS besch¨ aftigen? 1 ”Ersatz” f¨ ur API Dokumentation 2 Python-Binding f¨ ur die C-Bibliothek libsam 3 Anwendungsbeispiele f¨ ur die libsam 4 Build von Binaries f¨ ur den Debugger 5 HSM f¨ ur den Home-Server Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 4 / 16
5. OSS SamFS Komponenten 1 Filesystem QFS/SamFS 2 HSM Daemons 3 Backup- und Restore-Tools 4 Java Management Console 5 Solaris Cluster Agent 6 STK ACSLS Client 7 Debugging Tools 8 samc Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 5 / 16
6. Build Voraussetzung 1 Third Party Software deaktivieren 2 Anpassungen an Illumos 3 IPS Package build Tool 4 Unterst¨ utzung aktueller Hardware: LTO ... 5 samfsrestore anpassen 6 Anforderungen infolge neuer GCC Versionen 7 Ergebnis: https://github.com/cgrzemba/samqfs/ Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 6 / 16
7. Warum OSS SamFS produktiv einsetzen? 1 2019 Abk¨ undigung von Oracle HSM 2 Wahrung der OHSM Assets 3 Hersteller Supportgarantie von 10+ Jahren? 4 Closed Source vs. Open Source Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 7 / 16
8. Warum Illumos und nicht Solaris oder Linux? 1 Illumos Nachfolger von Opensolaris 2 Oracle OHSM noch verf¨ ugbar 3 Oracle Solaris Kernel Funktionen modifiziert 4 Linux Release-Zyklen und N Distributionen 5 SAM/QFS von Versity als Closed Source auf Linux weiterentwickelt Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 8 / 16
9. Wer entwickelt Illumos heute? 1 Community 2 Urspr¨ unglich: Joyent (SmartOS Cloud), Nexenta (ZFS Appliance), OmniTI, Delphix 3 Heute: MNX, DDN, Racktop, Oxide Computer, Omnios CE Association 4 ¨ Ubernahme von Projekten von BSD, wie Bhyve Hypervisor, Boot Loader, Device Driver Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 9 / 16
10. Warum OmniosCE? 1 Illumos Distributionen: Openindiana, Desktop (Community) SmartOS; Hypervisor (Joyent, MNX) OmniOS CE; NAS Filer,Server (OmniTI, jetzt Omnios CE Association) u.a: Tribblix, XStreamOS, ... 2 Open SamFS in Openindiana enthalten, Beschreibung https://docs.openindiana.org 3 OmniosCE Release Zyklen: Bloody, Stable (1+0.5 Jahr), LTS (2+1 Jahre) 4 Omnios CE Association Support (Schweiz) 5 Omnios Paket f¨ ur SamQFS auf http://pkg.toc.de/samqfs Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 10 / 16
11. Unterschiede OHSM und OSS SamFS 1 OSS SamFS identisch SUN SamFS 5.0+ 2 NFSv4 ACL → neues Dumpformat Version 7 3 Extended System Attributes 4 weitere Checksum Algorithmen (MD5, SHA-1, SHA-256, SHA-384, SHA-512) 5 Verify Daemon, Periodic Media Validation 6 Migration Daemon 7 LUN Gr¨ oße bis 128TB 8 LTFS → neues Dumpformat Version 8 9 S3 Objectstore f¨ ur Oracle Cloud 10 Katalogformat wegen Verify Daemon und LTFS Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 11 / 16
12. Kann man von OHSM zu OSS SamFS migrieren? 1 samfsdump - samfsrestore 2 kein Restore der ZFS ACL, Extended File Attributes, LTFS Informationen 3 Katalog keine sam-verifyd Informationen Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 12 / 16
13. Home Server Setup / etc / opt /SUNWsamfs/mcf # Equipment Eq Eq Family Dev A d d i t i o n a l # I d e n t i f i e r Nm Tp Set St Parameters # −−−−−−−−−−−−−−−−− −−−−−−−−−−−−−−−−−−−−− samfs1 10 ma samfs1 / dev / z v o l / dsk / r p o o l /samfsmm 11 mm samfs1 − / dev / z v o l / dsk / r p o o l /samfsmr 12 mr samfs1 − / etc / opt /SUNWsamfs/ d i s k v o l . conf # VSN Name [ Host Name : ] Path # usbdisk01 / us bdis k1 / samarch usbdisk02 / us bdis k2 / samarch / etc / opt /SUNWsamfs/ a r c h i v e r . cmd # F i l e System D i r e c t i v e s # f s = samfs1 1 4m −n o r e l e a s e 2 16m # VSN D i r e c t i v e s vsns samfs1 .1 dk usbdisk01 samfs1 .2 dk usbdisk02 endvsns / etc / v f s t a b samfs1 − /sam1 samfs − no − Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 13 / 16
14. POC Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 14 / 16
15. Truck-Net Quelle: Oracle Corporation Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 15 / 16
16. Was muss in Zukunft gemacht werden? 1 Hardware Support: Server, Tape 2 Testumgebung 3 Weiterentwicklung nach Anwenderbedarf Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 16 / 16