Hi,
seit einiger Zeit verwende ich CF-Karten als Festplatte für kleinere Systeme - an sich eine gute Idee (man spart Platz, Strom und Geräusche), aber jetzt ist es mir auf die Füße gefallen: der erste Chip ist ausgefallen. Flash- Speicher mag es bekanntlich nicht viele Schreibzyklen durchzumachen (z.B. wie in /var/log - jedenfalls habe ich dort die meisten Fehler).
Hat jemand Erfahrungen/Ideen wie man die Lebensdauer von Flashspeicher verlängern kann?
Gibt es Empfehlungen für bestimmte Dateisysteme, die besser mit Flash umgehen und trotzdem bootbar sind?
Welche Teile des Dateisystems haben nach Eurer Erfahrung die meisten Schreibzyklen?
Konrad
Hat jemand Erfahrungen/Ideen wie man die Lebensdauer von Flashspeicher verlängern kann?
Gibt es Empfehlungen für bestimmte Dateisysteme, die besser mit Flash umgehen und trotzdem bootbar sind?
Welche Teile des Dateisystems haben nach Eurer Erfahrung die meisten Schreibzyklen?
http://live.debian.net/manual/de/html/index.html vllt. auch die englische Version konsultieren
Ich habe SD/CF-Karten mit einem SD/CF-to-PATA-Adapter im HDD-Slot von alten Notebooks im Betrieb. Auf den Karten (weil vom USB-Stick nicht gebootet werden kann, da alte Notebooks), ist ein debian-live drauf, das sich auch zu einem großen Teil leicht vorkonfigurieren läßt. Alternative wäre grml. Ich würde das gerne zum Anlass nehmen ein altes Projekt wieder zu starten.
<wavehand to="chris"/>
Konzept: - build recht umfangreich (müßte sonst immer geändert werden), mit debian-live auf CF-Karte den habe ich: http://www.delock.de/produkte/gruppen/Konverter/Delock_Konverter_IDE_44pin_S... (http://www.delock.de/produkte/gruppen/Konverter/Delock_Converter-Micro_SATA_...) - Nachträgliches per skript in ein persistent (gibt es sogar als pfad z.B. auf einen usbstick den habe ich http://www.delock.de/produkte/gruppen/Speichermodule/Delock_USB_20_Nano_Spei...) - alles intensive im ram, kostet zwar aber war soweit ich das beurteilen kann recht ausbalanciert.
Moin Carsten,
On Wed, Jan 12, 2011 at 20:46:30 +0100, Carsten Vogel wrote:
Ich habe SD/CF-Karten mit einem SD/CF-to-PATA-Adapter im HDD-Slot von alten Notebooks im Betrieb. Auf den Karten (weil vom USB-Stick nicht gebootet werden kann, da alte Notebooks), ist ein debian-live drauf, das sich auch zu einem grossen
[...]
Problem bei einem reinen Livesystem ist, dass die Logdaten nicht persistent gespeichert werden. Aus Sicherheitsgruenden will man das aber, zumindest wenn es sich um einen dauerhaft per Netz erreichbaren Rechner handelt.
@Konrad: Ausgerechnet Logdaten auf Flash zu speichern, ist fuer die Lebensdauer unguenstig. Waere die Kombination aus Livesystem und remote Syslog eine Loesung?
Gruss, Chris
On Thu, January 13, 2011 08:27, Christian Perle wrote:
@Konrad: Ausgerechnet Logdaten auf Flash zu speichern, ist fuer die Lebensdauer unguenstig. Waere die Kombination aus Livesystem und remote Syslog eine Loesung?
Gute Idee, gibt es irgendwo eine leicht umzusetzende Anleitung?
Konrad
Konrad Rosenbaum wrote:
On Thu, January 13, 2011 08:27, Christian Perle wrote:
@Konrad: Ausgerechnet Logdaten auf Flash zu speichern, ist fuer die Lebensdauer unguenstig. Waere die Kombination aus Livesystem und remote Syslog eine Loesung?
Gute Idee, gibt es irgendwo eine leicht umzusetzende Anleitung?
Mit syslog-ng habe ich mal sowas gemacht:
[anderer Kram...] destination LOGSERVER { udp("192.168.10.5" port(514)); }; [anderer Kram...] log { source(src); destination(LOGSERVER); };
Mit normalem syslog auch kein Problem, da ging das auch recht simpel: *.* @logserver.domain.name
Aber nochmal zum ursprünglichen Problem: Filesystem mit der Option "noatime" mounten - das spart auch nochmal eine Menge Schreibvorgänge.
Konrad
Ciao, Thomas
----- Ursprüngliche Mail ----
Von: Konrad Rosenbaum konrad@silmor.de An: Linux-User-Group Dresden lug-dd@mailman.schlittermann.de Gesendet: Donnerstag, den 13. Januar 2011, 12:36:00 Uhr Betreff: Re: Flash und /var/log
On Thu, January 13, 2011 08:27, Christian Perle wrote:
@Konrad: Ausgerechnet Logdaten auf Flash zu speichern, ist fuer die Lebensdauer unguenstig. Waere die Kombination aus Livesystem und remote Syslog eine Loesung?
Gute Idee, gibt es irgendwo eine leicht umzusetzende Anleitung?
rsyslog http://www.netzworkk.de/lsn/lsn_howto_rsyslog.pdf
ansonsten google
andreas
Konrad
Lug-dd maillist - Lug-dd@mailman.schlittermann.de https://ssl.schlittermann.de/mailman/listinfo/lug-dd
Hallo Konrad,
On Thu, Jan 13, 2011 at 12:36:00 +0100, Konrad Rosenbaum wrote:
Lebensdauer unguenstig. Waere die Kombination aus Livesystem und remote Syslog eine Loesung?
Gute Idee, gibt es irgendwo eine leicht umzusetzende Anleitung?
Ich gehe mal von Debian mit rsyslogd (Default in Lenny) aus.
In die /etc/rsyslog.conf des sendenden Rechners einfuegen (Abschnitt RULES):
*.* @192.168.20.8
In der /etc/rsyslog.conf des empfangenden Rechners (192.168.20.8) die Kommentare vor folgenden Zeilen entfernen (Abschnitt MODULES):
$ModLoad imudp $UDPServerRun 514
So wird das Zeug ueber 514/udp uebertragen (Standard remote syslog). Es gibt auch 514/tcp und RELP, siehe dazu man 5 rsyslog.conf.
Zum Erstellen von Custom Livesystemen auf Debian-Basis hat Carsten ja schon was gesagt.
Gruss, Chris
In die /etc/rsyslog.conf des sendenden Rechners einfuegen (Abschnitt RULES):
*.* @192.168.20.8
In der /etc/rsyslog.conf des empfangenden Rechners (192.168.20.8) die Kommentare vor folgenden Zeilen entfernen (Abschnitt MODULES):
$ModLoad imudp $UDPServerRun 514
So wird das Zeug ueber 514/udp uebertragen (Standard remote syslog). Es gibt auch 514/tcp und RELP, siehe dazu man 5 rsyslog.conf.
Damit überträgt man aber eine Menge u.U. sicherheitskritische und personenbezogene Daten afaik unverschlüsselt übers Netzwerk. Das hilft den bösen Buben ggf. beim Einbrechen oder macht selbiges gar nicht erst mehr nötig. Fürs Logging sollte dann also auch ein VPN her.
Beste Grüße Fabian
On Thursday 13 January 2011, Fabian Hänsel wrote:
Damit überträgt man aber eine Menge u.U. sicherheitskritische und personenbezogene Daten afaik unverschlüsselt übers Netzwerk. Das hilft den bösen Buben ggf. beim Einbrechen oder macht selbiges gar nicht erst mehr nötig. Fürs Logging sollte dann also auch ein VPN her.
Das setzt vorraus dass die Daten über ein Netzwerk gehen wo es böse Buben gibt. Solange mein böser Zwillingsbruder aus dem Spiegeluniversum (der mit dem Bart) nicht zu besuch kommt vertraue ich meinem LAN... ;-)
Konrad
||> In die /etc/rsyslog.conf des sendenden Rechners einfuegen (Abschnitt ||> RULES): ||> ||> *.* @192.168.20.8 ||> ||> In der /etc/rsyslog.conf des empfangenden Rechners (192.168.20.8) die ||> Kommentare vor folgenden Zeilen entfernen (Abschnitt MODULES): ||> ||> $ModLoad imudp ||> $UDPServerRun 514 ||> ||> So wird das Zeug ueber 514/udp uebertragen (Standard remote syslog). ||> Es gibt auch 514/tcp und RELP, siehe dazu man 5 rsyslog.conf. || ||Damit überträgt man aber eine Menge u.U. sicherheitskritische und ||personenbezogene Daten afaik unverschlüsselt übers Netzwerk. Das hilft den ||bösen Buben ggf. beim Einbrechen oder macht selbiges gar nicht erst mehr ||nötig. Fürs Logging sollte dann also auch ein VPN her. || ||Beste Grüße || Fabian
Ein VPN hierfür empfinde ich als etwas übertrieben. Zumal Rsyslog von Hause aus mit verschlüsselter (via SSL) und verlustfreier (via RELP) Übertragung daher kommt.
Gruß, Steven
Hallo Konrad,
vielleicht hilft ja JFFS2, um nicht immer auf dem gleichen physischen Block zu schreiben?
Viele Grüße, André
Hej!
seit einiger Zeit verwende ich CF-Karten als Festplatte für kleinere Systeme
- an sich eine gute Idee (man spart Platz, Strom und Geräusche), aber
jetzt ist es mir auf die Füße gefallen: der erste Chip ist ausgefallen. Flash- Speicher mag es bekanntlich nicht viele Schreibzyklen durchzumachen (z.B. wie in /var/log - jedenfalls habe ich dort die meisten Fehler).
Hat jemand Erfahrungen/Ideen wie man die Lebensdauer von Flashspeicher verlängern kann?
Lazy write back: Änderungen lange im RAM belassen und erst spät zurückschreiben. Das sollte über eine /proc-Datei steuerbar sein.
physische Verteilung: wieviel Platz brauchst du auf /home resp. /var (wie lange müssen die Logs zurückgehen)? Ggf. billig-USB-Stick/CF-Card als Logspeicher verwenden. Alternativ mehrere kleine Partitionen auf Flashspeicher anlegen und per LVM zusammenschalten. Wenn eine Partition Schreibfehler bringt, dann aus dem LVM rausnehmen (bringt natürlich ggf. den Verlust einer geringen Datenmenge und den "Gewinn" von zu tätigender Arbeit mit sich).
Logs: wozu überhaupt? Für die aktute HW-Problem-Diagnose reicht meist ein /var/ in einer RAM-Disk. Angriffsvektoren bietet ein Desktopsystem ohne remote services in erster Linie von Desktop-Applikationsseite. Diese loggen ohnehin nichts ins Syslog.
Welche Teile des Dateisystems haben nach Eurer Erfahrung die meisten Schreibzyklen?
Für ein Desktop-System dürften /var und /home um den ersten Platz konkurrieren. Die /etc/mtab 'sollte' sich per Hand wegoptimieren lassen (wenngleich eine Hand voll Tools auf diese angewiesen ist). Wenn du nicht gerade unter knappem RAM leidest sollten wohl auch /tmp und /var/tmp in einer RAM-Disk gut aufgehoben sein.
Gedanke: Für /etc und ein paar Unterverzeichnisse von /var eine RAM-Disk als oberste Stackebene eines stackable FS drübermounten => alle Tools funktionieren wie gewohnt, wenig Handarbeit (nur jedesmal bei gewünscht dauerhaften Änderungen), keine unnötigerweise persistenten Schreibzyklen (ala Live-CDs).
Beste Grüße Fabian
lug-dd@mailman.schlittermann.de
-
"Fabian Hänsel" -
André Schulze -
Carsten Vogel -
Christian Perle -
Grimnin Fridyson -
Konrad Rosenbaum -
Steven -
Thomas Köhler