Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SAMFS-Vortrag von Carsten Grzemba

fraosug
October 17, 2023

SAMFS-Vortrag von Carsten Grzemba

fraosug

October 17, 2023
Tweet

More Decks by fraosug

Other Decks in Technology

Transcript

  1. contac Datentechnik GmbH
    1 Systemhaus in Th¨
    uringen
    2 IT Infrastruktur L¨
    osungen f¨
    ur ¨
    offentliche Einrichtungen, F&E
    3 Archivl¨
    osung
    1 Artec IT Solutions, Datenmanagement, Datensicherheit & Archivierung
    2 Oracle HSM, SamFS
    3 GrauData XtreemStore, FileLock und Metadata-HUB
    4 Daten-Replikation ¨
    uber Standorte mit iRODS
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 1 / 16

    View full-size slide

  2. SamFS
    1 Unlimited Filesystem
    2 Metadaten getrennt von Nutzdaten
    3 Kopien der Nutzdaten auf Disk und Tape
    4 Redundanz und Versionierung
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 2 / 16

    View full-size slide

  3. OSS SamFS
    1 SUN Software wird Opensource unter der CDDL
    2 darunter:
    Solaris
    ZFS
    DTrace
    IPS
    Crossbow
    Comstar
    Solaris Cluster
    SAM/QFS
    Directory Server
    3 SAMQFS 2008 von Sun Microsystems als OSS released
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 3 / 16

    View full-size slide

  4. Warum sich mit OSS SamFS besch¨
    aftigen?
    1 ”Ersatz” f¨
    ur API Dokumentation
    2 Python-Binding f¨
    ur die C-Bibliothek libsam
    3 Anwendungsbeispiele f¨
    ur die libsam
    4 Build von Binaries f¨
    ur den Debugger
    5 HSM f¨
    ur den Home-Server
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 4 / 16

    View full-size slide

  5. OSS SamFS Komponenten
    1 Filesystem QFS/SamFS
    2 HSM Daemons
    3 Backup- und Restore-Tools
    4 Java Management Console
    5 Solaris Cluster Agent
    6 STK ACSLS Client
    7 Debugging Tools
    8 samc
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 5 / 16

    View full-size slide

  6. Build Voraussetzung
    1 Third Party Software deaktivieren
    2 Anpassungen an Illumos
    3 IPS Package build Tool
    4 Unterst¨
    utzung aktueller Hardware: LTO ...
    5 samfsrestore anpassen
    6 Anforderungen infolge neuer GCC Versionen
    7 Ergebnis: https://github.com/cgrzemba/samqfs/
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 6 / 16

    View full-size slide

  7. Warum OSS SamFS produktiv einsetzen?
    1 2019 Abk¨
    undigung von Oracle HSM
    2 Wahrung der OHSM Assets
    3 Hersteller Supportgarantie von 10+ Jahren?
    4 Closed Source vs. Open Source
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 7 / 16

    View full-size slide

  8. Warum Illumos und nicht Solaris oder Linux?
    1 Illumos Nachfolger von Opensolaris
    2 Oracle OHSM noch verf¨
    ugbar
    3 Oracle Solaris Kernel Funktionen modifiziert
    4 Linux Release-Zyklen und N Distributionen
    5 SAM/QFS von Versity als Closed Source auf Linux weiterentwickelt
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 8 / 16

    View full-size slide

  9. Wer entwickelt Illumos heute?
    1 Community
    2 Urspr¨
    unglich: Joyent (SmartOS Cloud), Nexenta (ZFS Appliance),
    OmniTI, Delphix
    3 Heute: MNX, DDN, Racktop, Oxide Computer, Omnios CE
    Association
    4
    ¨
    Ubernahme von Projekten von BSD, wie Bhyve Hypervisor, Boot
    Loader, Device Driver
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 9 / 16

    View full-size slide

  10. Warum OmniosCE?
    1 Illumos Distributionen:
    Openindiana, Desktop (Community)
    SmartOS; Hypervisor (Joyent, MNX)
    OmniOS CE; NAS Filer,Server (OmniTI, jetzt Omnios CE Association)
    u.a: Tribblix, XStreamOS, ...
    2 Open SamFS in Openindiana enthalten,
    Beschreibung https://docs.openindiana.org
    3 OmniosCE Release Zyklen: Bloody, Stable (1+0.5 Jahr),
    LTS (2+1 Jahre)
    4 Omnios CE Association Support (Schweiz)
    5 Omnios Paket f¨
    ur SamQFS auf http://pkg.toc.de/samqfs
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 10 / 16

    View full-size slide

  11. Unterschiede OHSM und OSS SamFS
    1 OSS SamFS identisch SUN SamFS 5.0+
    2 NFSv4 ACL → neues Dumpformat Version 7
    3 Extended System Attributes
    4 weitere Checksum Algorithmen (MD5, SHA-1, SHA-256, SHA-384,
    SHA-512)
    5 Verify Daemon, Periodic Media Validation
    6 Migration Daemon
    7 LUN Gr¨
    oße bis 128TB
    8 LTFS → neues Dumpformat Version 8
    9 S3 Objectstore f¨
    ur Oracle Cloud
    10 Katalogformat wegen Verify Daemon und LTFS
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 11 / 16

    View full-size slide

  12. Kann man von OHSM zu OSS SamFS migrieren?
    1 samfsdump - samfsrestore
    2 kein Restore der ZFS ACL, Extended File Attributes, LTFS
    Informationen
    3 Katalog keine sam-verifyd Informationen
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 12 / 16

    View full-size slide

  13. Home Server Setup
    / etc / opt /SUNWsamfs/mcf
    # Equipment Eq Eq Family Dev A d d i t i o n a l
    # I d e n t i f i e r Nm Tp Set St Parameters
    #
    −−−−−−−−−−−−−−−−− −−−−−−−−−−−−−−−−−−−−−
    samfs1 10 ma samfs1
    / dev / z v o l / dsk / r p o o l /samfsmm 11 mm samfs1

    / dev / z v o l / dsk / r p o o l /samfsmr 12 mr samfs1

    / etc / opt /SUNWsamfs/ d i s k v o l . conf
    # VSN Name [ Host Name : ] Path
    #
    usbdisk01 / us bdis k1 / samarch
    usbdisk02 / us bdis k2 / samarch
    / etc / opt /SUNWsamfs/ a r c h i v e r . cmd
    # F i l e System D i r e c t i v e s
    #
    f s = samfs1
    1 4m
    −n o r e l e a s e
    2 16m
    # VSN D i r e c t i v e s
    vsns
    samfs1 .1 dk usbdisk01
    samfs1 .2 dk usbdisk02
    endvsns
    / etc / v f s t a b
    samfs1
    − /sam1 samfs
    − no

    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 13 / 16

    View full-size slide

  14. POC
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 14 / 16

    View full-size slide

  15. Truck-Net
    Quelle: Oracle Corporation
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 15 / 16

    View full-size slide

  16. Was muss in Zukunft gemacht werden?
    1 Hardware Support: Server, Tape
    2 Testumgebung
    3 Weiterentwicklung nach Anwenderbedarf
    Carsten Grzemba, contac Datentechnik GmbH Open SAM/QFS Implementation October 17, 2023 16 / 16

    View full-size slide