Hallo zusammen,
in letzter Zeit habe ich mich auch intensiv mit dem Thema Backup auseinandergesetzt und dabei bin ich auf ZPAQ gestoßen. ZPAQ ist ein robustes Datenformat mit offener Spezifikation, welches Deduplikation, Journaling (Versionierung) und Verschlüsselung (AES) bietet. Die gleichnamige Referenzimplementierung "zpaq" vereint diese Fähigkeiten in einem kompakten und portablen Tool. Mit zpaq konnte ich zahlreiche komplexe Skripte ersetzen. Ich denke, dass mein Beitrag hier vielleicht für einige von Interesse sein könnte.
Das ursprüngliche ZPAQ-Projekt[1] ist mittlerweile etwas veraltet, insbesondere da SHA-1 nicht mehr als sicher angesehen wird. Es gibt jedoch einen Fork[2], der versucht, einige Verbesserungen einzuführen.
ZPAQ spielt eine entscheidende Rolle in meiner Backup-Strategie. Neben den stündlichen lokalen ZFS-Snapshots mit Sanoid und den wöchentlichen Full-System-Backups mit ZFS Send auf einem externen USB-RAID stellt ZPAQ die dritte Sicherungsebene dar. Diese Ebene ist dafür gedacht, alle Nutzdaten vor Datenverlust bei katastrophalen Ereignissen wie Naturkatastrophen oder Elementarschäden zu schützen. Ich verwende mobile USB-Festplatten als Datenträger, die rotierend verwendet und teilweise geografisch verteilt gelagert werden. Die Sicherung erfolgt automatisch per Cron-Job jede Stunde, wobei jeder Datenträger ein "label"-File mit einer UUID besitzt. So wird erkannt, ob der Datenträger zwischenzeitlich gewechselt wurde. Nach einem Wechsel werden die veralteten Archive gelöscht und ein vollständiges Backup erstellt. Wenn kein Wechsel stattgefunden hat, werden geänderte Daten als neue Version an die bestehenden Archive angehängt. Dies wird von einem einfachen Shellscript gesteuert, das nicht der Rede wert ist.
Während dieses Prozesses habe ich auch ein Problem gelöst, das viele Unix/Linux-Enthusiasten bei der Verwaltung ihrer Heim-IT oft übersehen, so wie es bei mir bis vor Kurzem der Fall war: "Was passiert eigentlich, wenn der 'Administrator' nicht verfügbar ist, der Server ausfällt und ein Familienmitglied dringend auf wichtige Daten zugreifen muss?" Auf den mobilen Festplatten befinden sich nun ZPAQ-Backups aller Netzwerklaufwerke und Datenbanken. Die Festplatten sind im exFAT-Format formatiert, und neben den Archivdateien sind auch statisch verlinkte Binaries des ZPAQ-Programms für Windows, FreeBSD und Linux sowie eine Kurzanleitung als Textdatei enthalten. Dank exFAT kann von nahezu jedem gängigen Betriebssystem problemlos darauf zugegriffen werden, wodurch eine entscheidende Hürde genommen wird.
Viele Grüße & schönes Wochenende Matthias
[1] https://mattmahoney.net/dc/zpaq.html [2] https://github.com/fcorbelli/zpaqfranz
On 27.10.23 13:32, Jakob Mendel wrote:
Hallo allerseits,
beim Stammtisch am Mittwoch hatte ich gefragt, wie man bei zwei externen Backup-Festplatten idiotensicher feststellen kann, welches Backup das aktuelle ist.