Hi,
wir (Stefan Berthold und ich) stehen vor Entscheidung, ob wir Debain oder FreeBSD als OS auf einem Newsserver einsetzen sollen. Die Frage, an der es sich wohl entscheiden wird, ist das Dateisystem.
Das Problem ist, dass bei "ext2 vs. ffs" die handvoll sinnvoller Beitraege in den religioesen Kleinkriegen unter- geht. Es kommen immer nur Phrasen, die ich schon auswendig nachplappern kann.
Auch im Listen-Archiv habe ich nur vom November 2001 ein paar Mails gefunden, die mir nichts neues sagen.
Das, was ich immer wieder lese, ist, dass ext2 gegenueber FFS zwar schneller ist, aber zu Inkonsitenzen fuehren kann. Wenn FFS-Dateisysteme mit async (also asynchrone Metadata I/O) betrieben werden, kommt in etwa das gleiche heraus. Setzt man ext3 gegen Softupdates an, soll Softupdates dem in nicht viel nachstehen. Laut dem Erfinder McKusick soll aber schon der Algorithmus theoretisch Dateisystem-Konsitenz garantieren aber nicht zwangslaeufig vor Datenverlust schuetzen. Den langen fsck kann man auch unterbinden, weil Konsitenz garantiert ist (es liegen dann hoechsten noch Leichen-Bloecke auf der Platte, die man doch wieder mit fsck freigeben muss). Somit sind dann sowohl ext3 als auch FFS mit Softupdates gleich nach einem Zwangs-Reboot wieder da.
Ueber ReiserFS liest und hoert man ab und zu nichts gutes, weshalb ich das mal ausklammere.
Einen ausfuehrlichen und sinnvollen Artikel im Usenet habe ich nur von einem kompetenten Menschen aus einer BSD-Gruppe, was fuer die Entscheidungshilfe wohl etwas unfair ist. Deshalb wuerden mich eure Meinungen (auch wenn das nicht ganz hierhin passt) dazu interessieren.
Cheers, Rocco.
Am Wed den 22 May 2002 um 02:01:22PM +0200 schrieb Rocco Rutte:
Hi,
wir (Stefan Berthold und ich) stehen vor Entscheidung, ob wir Debain oder FreeBSD als OS auf einem Newsserver einsetzen sollen. Die Frage, an der es sich wohl entscheiden wird, ist das Dateisystem.
<schnippel>
die man doch wieder mit fsck freigeben muss). Somit sind dann sowohl ext3 als auch FFS mit Softupdates gleich nach einem Zwangs-Reboot wieder da.
Ueber ReiserFS liest und hoert man ab und zu nichts gutes, weshalb ich das mal ausklammere.
Auf meiner Indy habe ich schon mal Probleme mit ext3 gehabt, deren genaue Ursache ich leider nicht finden konnte. Das Problem waren Inkonsistenzen, die sich erst durch ein mounten als ext2 und dann ein fsck.ext2 lösen liesen.
Zu Hause habe ich noch spasseshalber eine Kiste mit XFS laufen, die aus nichttechnischen Gründen ab und zu hart ausgeschaltet wird (nicht wegen eines crashs - sondern weil meine Eltern zu faul sind, die Kiste sauber runterzufahren). Bis dato habe ich noch nicht die geringsten Probleme mit dem Dateisystem gehabt. Kontrapunkt: man muß sich die Kernelquellen aus dem cvs auf oss.sgi.com holen.
andre
On Wednesday 22 May 2002 14:01, Rocco Rutte wrote:
wuerden mich eure Meinungen (auch wenn das nicht ganz hierhin passt) dazu interessieren.
Was macht denn ein Newsserver: Er bekommt ein Posting, speichert das ab und verfüttert es an potentielle Newsleser. Es finden also kaum Updates statt, und so gesehen sind die Anforderungen für ein Dateisystem auf so einem Server in meinen Augen so gering, daß es sich nicht allzu sehr lohnt darüber nachzudenken. Unter (1) ist ein Test für Mailsysteme, bei News dürfte das ähnlich sein.
Schlechte Dinge hört man oft über Dateisysteme, an denen noch aktiv entwickelt wird, so gesehen ist ein verlässliches FS ohne Journaling sicher besser, es sei denn es fällt öfter mal der Strom aus.
Josef Spillner (der gleich sein FreeBSD 5.0-DP1 durch die gestern veröffentlichte Debian GNU/Hurd H4 ersetzen wird... kurze Uptimes hab ich mit beiden schon gehabt.)
[1] http://www.linux-france.org/article/sys/ext3fs/Benchmarks/postal.txt
Hi,
* Josef Spillner [05/22/02 16:06:04 CEST] wrote:
On Wednesday 22 May 2002 14:01, Rocco Rutte wrote:
wuerden mich eure Meinungen (auch wenn das nicht ganz hierhin passt) dazu interessieren.
Was macht denn ein Newsserver: Er bekommt ein Posting, speichert das ab und verfüttert es an potentielle Newsleser. Es finden also kaum Updates statt, und so gesehen sind die Anforderungen für ein Dateisystem auf so einem Server in meinen Augen so gering, daß es sich nicht allzu sehr lohnt darüber nachzudenken.
Imo doch; und zwar genau dann, wenn expire ueber den Spool laeuft oder er sich mit Peers austauscht. Das Problem ist, dass beide Platten (IDE) in dem Teil maximal PIO4 machen. Die Maschine ist auch nicht die beste.
Unter (1) ist ein Test für Mailsysteme, bei News dürfte das ähnlich sein.
Werde ich mir mal anschauen.
Schlechte Dinge hört man oft über Dateisysteme, an denen noch aktiv entwickelt wird, so gesehen ist ein verlässliches FS ohne Journaling sicher besser, es sei denn es fällt öfter mal der Strom aus.
Das sollte nicht der Fall sein. Nichts gegen dich, aber solche Aussagen sind mir irgendwie zu allgemein, auch wenn du Recht hast. Ich wuerde ja einfach mal Benchmarks mit allen moeglichen Varianten machen, nur habe ich nicht die Ressourcen dafuer.
Es gab in einem Unix Sysadmin-Journal im Netz mal ein Performance-Vergleich, der aber nicht wirklich serioes ist, weil die alle Optimierungen bei FreeBSD einfach ignoriert und deshalb Aepfel mit Birnen verglichen haben. Sie haben - nach Protest-Mails - ein paar Test zwar wiederholt... aber das Gelbe vom Ei ist es nicht.
Cheers, Rocco.
On Wed, 22 May 2002 14:01:22 +0200, Rocco Rutte wrote: Hallo Rocco,
wir (Stefan Berthold und ich) stehen vor Entscheidung, ob wir Debain oder FreeBSD als OS auf einem Newsserver einsetzen sollen. Die Frage, an der es sich wohl entscheiden wird, ist das Dateisystem.
Das, was ich immer wieder lese, ist, dass ext2 gegenueber FFS zwar schneller ist, aber zu Inkonsitenzen fuehren kann.
Nur wenn man beide ohne irgendwelche Optionen mountet. Um ext2 fair mit ffs zu vergleichen, mußt du ffs mit -o async mounten.
Wenn FFS-Dateisysteme mit async (also asynchrone Metadata I/O) betrieben werden, kommt in etwa das gleiche heraus.
Ähm, ja. Ich hätte wohl erst weiterlesen sollen.
Setzt man ext3 gegen Softupdates an, soll Softupdates dem in nicht viel nachstehen.
Wozu willst du Journaling auf einem Newsspool???? Da liegen keine Daten rum, die nicht auch wieder beschafft werden könnten. Selbst wenn die Spool-Platte explodiert hast du nicht wirklich ein Problem. Journaling auf einem Newsspool ist IMO ähnlich sinnfrei wie ein Newsspool auf einem Raid mit viel Redundanz. Ein Newsspool muß nur eins sein: schnell.
Ob ext2 oder ffs dürfte recht egal sein, sie sind zu ähnlich. Du solltest die Partition jedenfalls mit -o noatime mounten damit bei den vielen Lesenzugriffen auf die Artikel ncith immer was geschriben werden muß.
Einen ausfuehrlichen und sinnvollen Artikel im Usenet habe ich nur von einem kompetenten Menschen aus einer BSD-Gruppe, was fuer die Entscheidungshilfe wohl etwas unfair ist. Deshalb wuerden mich eure Meinungen (auch wenn das nicht ganz hierhin passt) dazu interessieren.
Ich vermute mal, daß du inn als Newsserver einsetzten willst. Dann ist die Frage nach einem gescheiten Filesystem sowieso erst die 2. Frage, die du dir beantworten mußt. Willst du ein traditionelles Spool-Verzeichnis mit 100000000 Files machen oder cnfs nutzen. Bei cnfs gibts kein expire und nur ein bis wenige Spoolfiles. Für richtig fette Newsserver ist cnfs wohl Pflicht. Für kleinere Installationen würde ich ein altes Spool aufbauen. Da weiß man, was man hat. :-) Es gibt bei inn IMO noch 2 andere Varianten des Spools, die optimierte Versionen des tradidionellen Spoolsystems darstellen. Die kenne ich nicht näher.
Die Anforderungen ans fs sind bei traditional spool und cnfs völlig andere. Insofern ist deine Frage nach dem "besseren" oder geeigneteren fs so nicht zu beantworten.
Wieviele Leute sollen denn den Newsserver Nutzen? Wieviele GB willst du halten? Da du von IDE-Platten im PIO-Mode redest, werden es nicht allzuviele Nutzer sein. Dann würde ich die Entscheidung ext2 vs. ffs einfach daran festmachen, ob du dich mit Linux oder BSD besser auskennst bzw. welches OS du sonst bevorzugst.
Reinhard
Hi,
* Reinhard Förster [05/22/02 17:14:54 CEST] wrote:
On Wed, 22 May 2002 14:01:22 +0200, Rocco Rutte wrote:
Setzt man ext3 gegen Softupdates an, soll Softupdates dem in nicht viel nachstehen.
Wozu willst du Journaling auf einem Newsspool????
Stefan hat das ins Spiel gebracht. Wahrscheinlich auch nur, damit die Maschine nach evtl. Crashes moeglichst schnell wieder da ist. Mir ist das ziemlich gleich, solange das Dateisystem konsitent ist und ein fsck ohne Probleme durchlaeuft (was bei mir mit FFS schon und Softupdates schon immer so war).
Journaling auf einem Newsspool ist IMO ähnlich sinnfrei wie ein Newsspool auf einem Raid mit viel Redundanz. Ein Newsspool muß nur eins sein: schnell.
Deswegen ja auch noatime. Gibt es da noch weitere Moeglichkeiten etwas zu drehen?
Ob ext2 oder ffs dürfte recht egal sein, sie sind zu ähnlich. Du solltest die Partition jedenfalls mit -o noatime mounten damit bei den vielen Lesenzugriffen auf die Artikel ncith immer was geschriben werden muß.
Das sowieso, und der Rest wird mit Flags zugenagelt.
Einen ausfuehrlichen und sinnvollen Artikel im Usenet habe ich nur von einem kompetenten Menschen aus einer BSD-Gruppe, was fuer die Entscheidungshilfe wohl etwas unfair ist. Deshalb wuerden mich eure Meinungen (auch wenn das nicht ganz hierhin passt) dazu interessieren.
Ich vermute mal, daß du inn als Newsserver einsetzten willst.
Ja.
Dann ist die Frage nach einem gescheiten Filesystem sowieso erst die 2. Frage, die du dir beantworten mußt. Willst du ein traditionelles Spool-Verzeichnis mit 100000000 Files machen oder cnfs nutzen.
Traditionell reicht wohl. Vorsorglich noch etwas Reserve an inodes schaffen und gut.
Es gibt bei inn IMO noch 2 andere Varianten des Spools, die optimierte Versionen des tradidionellen Spoolsystems darstellen. Die kenne ich nicht näher.
IIRC war irgendwas mit md5 Pruefsummen.
Wieviele Leute sollen denn den Newsserver Nutzen? Wieviele GB willst du halten?
Maximal 3 GB (...weil fuer mehr die Plattenkapazitaet nicht ausreicht).
Danke fuer die Infos.
Cheers, Rocco.
Once upon a time, I heard Rocco Rutte say:
Wozu willst du Journaling auf einem Newsspool????
Stefan hat das ins Spiel gebracht.
Zwei Gründe:
(1) So eine Maschine geht auch schonmal aus... Es sollte ja nach Möglichkeit nicht passieren, aber wenn doch, dauert auf der Kiste ein fsck eine halbe Ewigkeit. Es geht hier um einen Service, der überzeugen soll und nicht nur da sein wird, damit man was auf's Papier schreiben kann (leise Hoffnung).
(2) Ebenfalls wieder von dem unwahrscheinlichen Fall eines Stromausfalls ausgehend, liegt auf dem Rechner neben dem rekonstruierbaren NewsSpool auch das Betriebssystem. Gut, daran was kaputt zu kriegen ist schwierig, aber wenn wir den Rechner dann aus dem Serverraum schleppen müssen, weil das Betriebssystem oder andere Software zu stark beschädigt wurde... nö.
Gut, gut, jetzt schreibt gleich einer, daß das Spool auf einer anderen Partition liegt und die ja kein Journal braucht. Auch so könnte man argumentieren, ich glaube blos nicht, daß das Journal mehr Umstände macht als das Rekonstruieren der Daten nach einem Absturz ohne Journal. Selbst wenn man die Partition nur einmal flach machen muß um danach einen Abgleich mit einem anderen Server zu fahren... erstens macht das Arbeit und zweitens ist das nur eine Hoffnung, daß dabei keine Daten verloren gehen: Schließlich werden die Server auch nicht im Sekundentakt abgeglichen.
hej så länge.
PS: War es nicht ein Gesetz, daß der schlimmste Fall immer in der Prüfungszeit eintreten wird. *skol*
lug-dd@mailman.schlittermann.de
-
Andre Schulze -
Josef Spillner -
Reinhard Förster -
Rocco Rutte -
Stefan Berthold