Hallo Linuxer!
Bisher habe ich Backups meines Rechners mit einem eigenen 40-Zeilen-Shell-Skript und afio durchgeführt. Da ich aber noch einige Features daran vermisse, möchte ich gern erstmal recherchieren, ob es schon geeignete OSS-Lösungen gibt. Ich brauche:
1. Speicherung auf Festplatte in einem "handelsüblichen" Format (tar, cpio, afio, etc.), so dass sie auf CDRW brennbar bzw. mit scp irgendwohin kopiert werden können
2. Relativ einfaches und schnelles Wiederherstellen
3. Automatisches Anlegen inkrementeller Backups (bei mir: jeden Monat permanent, jede Woche volles Backup, täglich inkrementell)
4. Automatischer Aufruf (cron, anacron, etc.), zur Not auch eigener Serverprozess
5. Unterstützung von Konfigurationsdateien in jedem Verzeichnis, die angeben, welche Dateien/Verzeichnisse einbezogen und/oder welche Dateien/Verzeichnisse ignoriert werden sollen.
6. Wiederherstellung auch als User möglich (-> Rechteverwaltung)
Punkt 1-4 erledigt mein Skript schon. Insbesondere zu Punkt 5 habe ich noch kein geeignetes Programm gefunden.
Kennt Ihr da was?
Vielen Dank schon mal!
Pitti
Hallo mal wieder!
Am 2003-07-14 12:46 +0200 schrieb Martin Pitt:
Bisher habe ich Backups meines Rechners mit einem eigenen 40-Zeilen-Shell-Skript und afio durchgeführt. Da ich aber noch einige Features daran vermisse, möchte ich gern erstmal recherchieren, ob es schon geeignete OSS-Lösungen gibt. Ich brauche:
Speicherung auf Festplatte in einem "handelsüblichen" Format (tar, cpio, afio, etc.), so dass sie auf CDRW brennbar bzw. mit scp irgendwohin kopiert werden können
Relativ einfaches und schnelles Wiederherstellen
Automatisches Anlegen inkrementeller Backups (bei mir: jeden Monat permanent, jede Woche volles Backup, täglich inkrementell)
Automatischer Aufruf (cron, anacron, etc.), zur Not auch eigener Serverprozess
Unterstützung von Konfigurationsdateien in jedem Verzeichnis, die angeben, welche Dateien/Verzeichnisse einbezogen und/oder welche Dateien/Verzeichnisse ignoriert werden sollen.
Wiederherstellung auch als User möglich (-> Rechteverwaltung)
Da bis jetzt noch keiner geantwortet hat: würde denn allgemeines Interesse an so einem System bestehen?
Nach den Prüfungen wollte ich mich mal dranmachen, mein existierendes System aufzubohren. Ich wollte es gleich "richtig" machen, weil es anscheinend zwar Backup-Programme wie Sand am Meer gibt, aber keins, was obige Anforderungen erfüllt (im Debian nicht und im Web hab ich auch nichts gefunden).
Wenn sich noch andere Leute dafür interessieren, erhöht das immer die Motivation, sauber anstatt "quick & dirty" zu programmieren.
Ciao, Pitti
Hallo Martin,
Am 15. Juli 2003 schrieb Martin Pitt:
- Speicherung auf Festplatte in einem "handelsüblichen" Format (tar, cpio, afio, etc.), so dass sie auf CDRW brennbar bzw. mit scp irgendwohin kopiert werden können
Also wenn "handelsüblich" und CDRW, dann wohl eher iso9660, zumindest wenn es hauptsächlich um Daten aus dem /home-Verzeichnis geht.
- Relativ einfaches und schnelles Wiederherstellen
Naja, relativ ist ein ziemlich dehnbarer Begriff.
Automatisches Anlegen inkrementeller Backups (bei mir: jeden Monat permanent, jede Woche volles Backup, täglich inkrementell)
Automatischer Aufruf (cron, anacron, etc.), zur Not auch eigener Serverprozess
Unterstützung von Konfigurationsdateien in jedem Verzeichnis, die angeben, welche Dateien/Verzeichnisse einbezogen und/oder welche Dateien/Verzeichnisse ignoriert werden sollen.
Wiederherstellung auch als User möglich (-> Rechteverwaltung)
Das geht alles mit afbackup.
Da bis jetzt noch keiner geantwortet hat: würde denn allgemeines Interesse an so einem System bestehen?
Wahrscheinlich würdest du das Rad neu erfinden. Ich wollte in meinem afbackup-Vortrag so etwas mit afbackup vorstellen, hatte es aus Zeitgründen nicht mehr geschafft. Vorbereitet war es bereits.
Torsten
Hallo Torsten und alle anderen,
Am 2003-07-15 15:31 +0200 schrieb Torsten Werner:
[Features] Das geht alles mit afbackup.
Danke für den Tipp. afbackup hatte ich mir auch schon mal fix angeschaut, aber die Option -X war dann doch zu gut versteckt, als dass ich sie auf Anhieb gesehen hätte.
Da bis jetzt noch keiner geantwortet hat: würde denn allgemeines Interesse an so einem System bestehen?
Wahrscheinlich würdest du das Rad neu erfinden.
Dies will ich vermeiden, deshalb meine Frage. Wenn es sowas schon gibt, dann umso besser.
Ich wollte in meinem afbackup-Vortrag so etwas mit afbackup vorstellen, hatte es aus Zeitgründen nicht mehr geschafft. Vorbereitet war es bereits.
Vor ein paar Tagen hatte ich mir mal Deine Folien angeschaut, da stand aber auch nichts spezifisches drin.
Danke jedenfalls! Da werde ich mich jetzt mal mit afbackup beschäftigen.
Ciao, Pitti
Am 15. Juli 2003 schrieb Martin Pitt:
Da werde ich mich jetzt mal mit afbackup beschäftigen.
Ich empfehle afbackup aus testing. Bei Problemen kannst du auch den Maintainer direkt fragen. ;-)
Wenn ich Zeit für den USB-Brenner finde, beschäftige ich mich ebenfalls mal wieder mit dem Thema.
Torsten
Torsten Werner email@twerner42.de writes:
Ich wollte in meinem afbackup-Vortrag so etwas mit afbackup vorstellen, hatte es aus Zeitgründen nicht mehr geschafft. Vorbereitet war es bereits.
Announced ihr das eigentlich vorher hier in der Liste, wenn Vorträge geplant sind? Für Vorträge zu diversen Themen würde ich gerne vorbeikommen.
GreetinX Steffen
On Wednesday 16 July 2003 10:54, Steffen Schwigon wrote:
Torsten Werner email@twerner42.de writes:
Ich wollte in meinem afbackup-Vortrag so etwas mit afbackup vorstellen, hatte es aus Zeitgründen nicht mehr geschafft. Vorbereitet war es bereits.
Announced ihr das eigentlich vorher hier in der Liste, wenn Vorträge geplant sind? Für Vorträge zu diversen Themen würde ich gerne vorbeikommen.
Meistens ja. Scanne einfach nach Mails in denen jemand nach einem Beamer fragt.
Konrad
PS.: ich probiere gerade mit Wiki herum, evtl. läßt sich das für diesen Zweck besser nutzen als die zentral gepflegten Webseiten.
hallo pitti,
backup-geschichten habe ich auch schon quick'n'dirty hingebastelt, sogar incrementelle backups: das ganze ordenlich zu machen - ja bitte!
- Speicherung auf Festplatte in einem "handelsüblichen" Format (tar, cpio, afio, etc.), so dass sie auf CDRW brennbar bzw. mit scp irgendwohin kopiert werden können
wie sonst (das rad neu-erfinden?), nett wärs wenn man die datein direkt auf band ablegen kann.. (muss nicht so bedacht werden, da tar/xxio das können sollte)
- Relativ einfaches und schnelles Wiederherstellen
nur im zug von incrementellen backups nötig, da es da etwas haarig werden kann.. vorallem wenn dann für eine datei ein medium erst komplett eingelesen werden muss, bzw alle incrementellen dateien vom remote-speicher importiert werde müssen(scp)
es sollte ein katalog mit allen datein erstellt werden um darin bestimmte auswählen zu können (gui ;-)
- Automatisches Anlegen inkrementeller Backups (bei mir: jeden Monat permanent, jede Woche volles Backup, täglich inkrementell)
- Automatischer Aufruf (cron, anacron, etc.), zur Not auch eigener Serverprozess
bitte nur cron!
- Unterstützung von Konfigurationsdateien in jedem Verzeichnis, die angeben, welche Dateien/Verzeichnisse einbezogen und/oder welche Dateien/Verzeichnisse ignoriert werden sollen.
es sollte überschreibende regeln geben. bsp: globales - ignore: .*/logs/.*
falls dann in dem logs-verzeichnis ein config liegt die angibt - backup: .*dashier.*x
sollen diese dateien beachtet werden.
- Wiederherstellung auch als User möglich (-> Rechteverwaltung)
egal - da entweder das backup komplett als der entsprechende user läuft, und damit auch nur die eigenen daten liest, oder der admin für backups verantwortlich ist.
ggf. sollten unter-backupjobs vom hauptbackup gestartet werden, die mit entsprechenden rechten laufen... (weiteres 8.plugins)
7. cpu-auslastung zum backup falls viele kleine datein archiviert werden, und dann evtl noch mit bz2 gepackt dauert das ganze recht lange und will 100% cpu, so habe ich auf einem server (mail) den effekt das tar pro tag für 2-3h beschäftigt ist. leider ändern sich zwischendurch dateien und tar meint gelegentlich -error: files changed while..
8. pluigin architektur - abhängige dienste datenbanken(spez. mysql) lassen sich nicht sichern falls der server läuft, varianten sind evtl. 'plugins' die entsprechende inhalt vor dem backup zusammenstellen und in ein backup-verzeichniss abzulegen. ein plugin sollte dann auch sein dateien sichern, so lassen sich die rechte-probleme beseitigen.
- main-backup-process (user: root) - plugin mysql (user: mysqld) -> /tmp/mysqldumps - plugin backup (user: mysqld) backup: /tmp/mysqldumps - plugin backup (user: mail) backup: /var/vmail .. - plugin backup (user: root) backup: /home
problematisch sind dann abhängigkeiten, was ist wenn mysql-vorbereiten fehlschlägt..
Nach den Prüfungen wollte ich mich mal dranmachen, mein existierendes System aufzubohren. Ich wollte es gleich "richtig" machen, weil es anscheinend zwar Backup-Programme wie Sand am Meer gibt, aber keins, was obige Anforderungen erfüllt (im Debian nicht und im Web hab ich auch nichts gefunden).
prüfungen - leidiges thema..
in welcher sprache schägst du das ganze vor, bash/perl/python?
gruss thomas
Hallo Thomas!
Am 2003-07-15 15:58 +0200 schrieb Thomas Baum:
[viele nützliche Hinweise] in welcher sprache schägst du das ganze vor, bash/perl/python?
Ich werde mir erstmal afbackup anschauen, und wenn das was taugt, wohl dieses benutzen bzw. erweitern.
Leider ist es sehr stark bandorientiert. Ich möchte eigentlich ein Backup, was aus einzelnen Dateien besteht, die man leicht lesen kann. So habe ich momentan Dateien der Art
/var/backups/donald/ perm-2003-06-01.afio (monatl. permanent) perm-2003-07-01.afio full-2003-07-08.afio (wöchentlich voll) incr-2003-07-09.afio incr-2003-07-10.afio
Diese brenne ich dann auf CDRW bzw. kopiere sie übers Netz irgendwo hin (per cron). Die haben auch den Vorteil, dass man sie auch ohne das Backup-System verwenden kann (z. B. im mc einfach anschaubar als virtuelles Dateisystem) und die Dateien einzeln komprimiert sind. Dies ist mir wichtiger als ein Katalog aller Dateien (ich möchte Informationen nicht verteilt speichern und redundante Metainformationen sind einfach nur ein Graus) und möglichst geringe Bandbreite beim Restaurieren, aber das sind natürlich nur meine persönlichen Anforderungen.
Mal schauen, was sich mit afbackup machen lässt.
Viele Grüße,
Pitti
Hallo,
Martin Pitt wrote:
[Beschreibung von Backupproblemen und einer Lösung]
Hier nur mal ganz schnell eine Liste, die dir vielleicht ein paar Anregungen gibt: - The Tao Of Backup http://www.taobackup.com/ - hdup16 http://miek.nl/projects/hdup16/hdup16.html - The FreeVeracity Data Integrity Tool http://www.freeveracity.org/index.shtml - rdiff-backup homepage http://www.stanford.edu/~bescoto/rdiff-backup/ - Unison File Synchronizer http://www.cis.upenn.edu/~bcpierce/unison/
Gruß Uwe
Martin Pitt wrote:
Hallo Linuxer!
Hallo,
Bisher habe ich Backups meines Rechners mit einem eigenen 40-Zeilen-Shell-Skript und afio durchgeführt. Da ich aber noch einige Features daran vermisse, möchte ich gern erstmal recherchieren, ob es schon geeignete OSS-Lösungen gibt. Ich brauche:
Speicherung auf Festplatte in einem "handelsüblichen" Format (tar, cpio, afio, etc.), so dass sie auf CDRW brennbar bzw. mit scp irgendwohin kopiert werden können
Relativ einfaches und schnelles Wiederherstellen
Automatisches Anlegen inkrementeller Backups (bei mir: jeden Monat permanent, jede Woche volles Backup, täglich inkrementell)
Automatischer Aufruf (cron, anacron, etc.), zur Not auch eigener Serverprozess
Unterstützung von Konfigurationsdateien in jedem Verzeichnis, die angeben, welche Dateien/Verzeichnisse einbezogen und/oder welche Dateien/Verzeichnisse ignoriert werden sollen.
Wiederherstellung auch als User möglich (-> Rechteverwaltung)
Punkt 1-4 erledigt mein Skript schon. Insbesondere zu Punkt 5 habe ich noch kein geeignetes Programm gefunden.
Kennt Ihr da was?
Ich nutze rdiff-backup. Das speichert die Daten als Spiegel und merkt sich Aenderungen mittels rdiff (quasi rsync-Daten in eine Datei geschrieben).
Punkt 5 habe ich mir mittels Skript dazugeschrieben. Punkt 3 kann per Skript ergaenzt werden. Punkt 6 sollte ohne weiteres gehen, da die Backup-Daten ein Spiegel der Original-Daten sind (d.h. Rechte werden kopiert). Das musst du aber ausprobieren.
Ich bin sehr zufrieden damit.
Vielen Dank schon mal!
Pitti
Jens
lug-dd@mailman.schlittermann.de
-
Jens Lorenz -
Konrad Rosenbaum -
Martin Pitt -
Steffen Schwigon -
Thomas Baum -
Torsten Werner -
Uwe Koloska