Hallo
ich bin mit meinem Latain und mit dem googlen am Ende angelangt. Meine Computer haben 100Mbit Ethernet. Geswitchet. (3com-Karten). Der NFS-Server (debian-testing,nfs-kernel-server,2.6.8-k7) ist ein Duron 700, 300MB Ram,2x160GB als Raid 0. Der Client ist gentoo, kernel 2.6.11. 1G Ram Athlon64 3000+.
Nach einigem Benchmarking (NFS-Howto) haben sich für beste NFS-Performance folgende fstab -Zeile gezeigt: zentrum:/export /import nfs rw,hard,intr,rsize=32768,wsize=32678,async,vers=3,tcp 0 0 damit erreich ich nur ca 7MB/s. Ausserdem stockt die Verbindung immer mal als ob sie sich "verschlucken" würde. (Nur sehr kurz, aber sichtbar) Wenn ich nun auf dem Server den vsftpd installiere und dann per ftp arbeite ereiche ich 11-12MB/s (gemessen mit iptraf).
Gibt es noch mehr tuning-Möglichkeiten die ich übersehen haben sollte ? Hat jemand damit etwas mehr Erfahrung als ich ?
felix
Hallo Felix,
Ich habe mir die Freiheit genommen, Deine Zeilen umzubrechen.
On Tue, Mar 08, 2005 at 10:42:30PM +0100, Felix Kurth wrote:
Meine Computer haben 100Mbit Ethernet. Geswitchet. (3com-Karten). [...] Nach einigem Benchmarking (NFS-Howto) haben sich f?r beste NFS-Performance folgende fstab -Zeile gezeigt: zentrum:/export /import nfs rw,hard,intr,rsize=32768,wsize=32678,async,vers=3,tcp 0 0
Hast Du schon geprueft, ob wirklich TCP fuer die Verbindung genutzt wird?
Meine Erfahrungen beschraenken sich auf NFS per UDP, also korrigiert mich bitte im Ernstfall.
damit erreich ich nur ca 7MB/s. Ausserdem stockt die Verbindung immer mal als ob sie sich "verschlucken" w?rde. (Nur sehr kurz, aber sichtbar) Wenn ich nun auf dem Server den vsftpd installiere und dann per ftp arbeite ereiche ich 11-12MB/s (gemessen mit iptraf).
Was hast Du wie gemessen?
Es ist normal, dass der Durchsatz bei NFS niedriger ist als mit FTP. Beim FTP geht der Server davon aus, dass die Datei komplett uebertragen wird und schickt schon Pakete "auf Verdacht" in die Leitung (genaugenommen, so schnell wie er die Daten an den TCP/IP-Stack loswird). Bei NFS wird jedes Haeppchen explizit vom Client angefordert - erst dann wird es vom Server auf die Reise geschickt. Und wenn der Client kein Read-Ahead betreibt, fordert er erst dann die neuen Daten an, wenn das Programm das letzte Paket erhalten hat.
Holger
On Tuesday 08 March 2005 23:37, Holger Dietze wrote:
Hallo Felix,
Ich habe mir die Freiheit genommen, Deine Zeilen umzubrechen.
Entschuldigung.
Hast Du schon geprueft, ob wirklich TCP fuer die Verbindung genutzt wird?
Ja.
Meine Erfahrungen beschraenken sich auf NFS per UDP, also korrigiert mich bitte im Ernstfall.
Was hast Du wie gemessen?
Datenrate anzeigen lassen mit iptraf und time dd if=/dev/zero of=/import/testfile bs=16k count=16384 256MB/(ca 35s) ergibt ca 7.3 MB/s
Es ist normal, dass der Durchsatz bei NFS niedriger ist als mit FTP. Beim FTP geht der Server davon aus, dass die Datei komplett uebertragen wird und schickt schon Pakete "auf Verdacht" in die Leitung (genaugenommen, so schnell wie er die Daten an den TCP/IP-Stack loswird). Bei NFS wird jedes Haeppchen explizit vom Client angefordert - erst dann wird es vom Server auf die Reise geschickt. Und wenn der Client kein Read-Ahead betreibt, fordert er erst dann die neuen Daten an, wenn das Programm das letzte Paket erhalten hat.
Kann man da was tun ? Caches vergrösseren ? (Wie?) Bringt NFS4 da Verbesserung ? Oder auf ein anderes Filesystem wechseln ? (Welches ?)
felix
Holger
Felix Kurth wrote:
Was hast Du wie gemessen?
Datenrate anzeigen lassen mit iptraf und time dd if=/dev/zero of=/import/testfile bs=16k count=16384 256MB/(ca 35s) ergibt ca 7.3 MB/s
Du hast eine wsize und eine rsize von 32k - teste mal
time dd if=/dev/zero of=/import/testfile bs=32k count=8192
Im praktischen Einsatz wird NFS besonderns bei vielen kleinen Dateien langsam (Overhead je Datei).
Kann man da was tun ? Caches vergrösseren ? (Wie?) Bringt NFS4 da Verbesserung ? Oder auf ein anderes Filesystem wechseln ? (Welches ?)
AFS ist leistungsfähiger, aber auch aufwendiger einzurichten.
mfg, Fabian
On Friday 11 March 2005 02:58, Fabian Hänsel wrote:
Felix Kurth wrote:
Was hast Du wie gemessen?
Datenrate anzeigen lassen mit iptraf und time dd if=/dev/zero of=/import/testfile bs=16k count=16384 256MB/(ca 35s) ergibt ca 7.3 MB/s
Du hast eine wsize und eine rsize von 32k - teste mal
time dd if=/dev/zero of=/import/testfile bs=32k count=8192
Keine Verbesserung: (37s).
Im praktischen Einsatz wird NFS besonderns bei vielen kleinen Dateien langsam (Overhead je Datei).
Mein Anwendungsgebiet sind große Dateien (<1MB). Allermeistens nur lesend.
Kann man da was tun ? Caches vergrösseren ? (Wie?) Bringt NFS4 da Verbesserung ? Oder auf ein anderes Filesystem wechseln ? (Welches ?)
AFS ist leistungsfähiger, aber auch aufwendiger einzurichten.
Wie leistungsfähiger ? Schneller ? Oder nur flexibler ? Wieviel schneller ?
Hat jemand schon Erfahrungen mit NFS4 gemacht ?
Freundliche Grüße
Felix
mfg, Fabian
Lug-dd maillist - Lug-dd@schlittermann.de http://mailman.schlittermann.de/mailman/listinfo/lug-dd
Felix Kurth wrote:
On Friday 11 March 2005 02:58, Fabian Hänsel wrote:
Kann man da was tun ? Caches vergrösseren ? (Wie?) Bringt NFS4 da Verbesserung ? Oder auf ein anderes Filesystem wechseln ? (Welches ?)
AFS ist leistungsfähiger, aber auch aufwendiger einzurichten.
Wie leistungsfähiger ? Schneller ? Oder nur flexibler ? Wieviel schneller ?
Hat jemand schon Erfahrungen mit NFS4 gemacht ?
Das Linux-Magazin hat Netzwerk-FS getestet. Ich hab die Ausgabe grad nicht hier - ich meld mich bei Gelegenheit mal mit der Essenz des Artikels.
mfg, Fabian
On Sun, Mar 13, 2005 at 01:29:22AM +0100, Fabian Hänsel wrote:
Das Linux-Magazin hat Netzwerk-FS getestet. Ich hab die Ausgabe grad nicht hier - ich meld mich bei Gelegenheit mal mit der Essenz des Artikels.
Das war 01/05. Hauptsaechlich waren NFS und Samba am Test beteiligt, Hardware war Gbit-LAN und auf dem Server 3xU320-SCSI@RAID5.
Fazit: "Insgesamt kann NFS bei der Geschwindigkeit punkten. Gerade bei grossen Dateien liegt das aeltere der beiden Netzwerkdateisysteme haushoch vor seinem Konkurrenten. Dennoch hat auch Samba seine Vorteile, selbst bei 2 Clients bleibt die Transferrate waehrend eines Bonnie-Durchlaufs nahezu gleich. Mit kleinen Dateien haben jedoch beide Kandidaten Probleme - Transferraten von unter 1 MB/s sind schlicht indiskutabel, wenn das Speichersystem des Servers lokal ueber 40 MB/s liefern kann."
Lesen: kleine Dateien: NFS: 0,7 MB/s Samba: 0,8 MB/s grosse Dateien: NFS: 18,4 MB/s Samba: 9,5 MB/s
Schreiben: kleine Dateien: NFS: 2,7 MB/s Samba: 2,6 MB/s grosse Dateien: NFS: 17,4 MB/s Samba: 12,1 MB/s
Der Artikel ueber AFS ist 3 Doppelseiten lang - "Wer allerdings die Muehe gemacht hat das Filesystem auszusetzen, wird reichlich belohnt." :)
Hast du schon mal Userspace-FS ausprobiert? SHFS geht bei mir immer ganz gut.
Jonas
On Tue, Mar 08, 2005 at 10:42:30PM +0100, Felix Kurth wrote:
Hallo
ich bin mit meinem Latain und mit dem googlen am Ende angelangt. Meine Computer haben 100Mbit Ethernet. Geswitchet. (3com-Karten).
Nimm ordentliche Netzwerkkarten, eepro, tg3, oder notfalls tulip.
On Friday 11 March 2005 22:20, Stefan Seyfried wrote:
On Tue, Mar 08, 2005 at 10:42:30PM +0100, Felix Kurth wrote:
Hallo
ich bin mit meinem Latain und mit dem googlen am Ende angelangt. Meine Computer haben 100Mbit Ethernet. Geswitchet. (3com-Karten).
Nimm ordentliche Netzwerkkarten, eepro, tg3, oder notfalls tulip.
Es sind 3com-Karten. (3c590-tx-nm). Die funktionieren hier schon mehrere Jahre einwandfrei unter Linux. Wie gesagt, per ftp ist der Traffic wunderbar: 11-12MB/s.
felix
On Sat, Mar 12, 2005 at 11:18:42AM +0100, Felix Kurth wrote:
Nimm ordentliche Netzwerkkarten, eepro, tg3, oder notfalls tulip.
Es sind 3com-Karten.
Sage ich doch ;-)
(3c590-tx-nm). Die funktionieren hier schon mehrere Jahre einwandfrei unter Linux. Wie gesagt, per ftp ist der Traffic wunderbar: 11-12MB/s.
Das schafft eine RTL8139 auch, das sagt nichts über die Qualität des Chipdesigns und der Treiber aus.
In den letzten 5 Jahren war immer, wenn ich jemanden über Netzwerk fluchen hörte, eine 3com-Karte beteiligt. Selbst über die 8139 (die wohl wirklich der letzte Dreck sind) habe ich nicht soviele Flüche gehört (bei denen er- wartet man aber vermutlich auch nichts anderes und dafür sind sie billig).
On Sunday 13 March 2005 11:26, Stefan Seyfried wrote:
On Sat, Mar 12, 2005 at 11:18:42AM +0100, Felix Kurth wrote:
Nimm ordentliche Netzwerkkarten, eepro, tg3, oder notfalls tulip.
Es sind 3com-Karten.
Sage ich doch ;-)
(3c590-tx-nm). Die funktionieren hier schon mehrere Jahre einwandfrei unter Linux. Wie gesagt, per ftp ist der Traffic wunderbar: 11-12MB/s.
Das schafft eine RTL8139 auch, das sagt nichts über die Qualität des Chipdesigns und der Treiber aus.
ich habs ja auch getauscht, zuerst hatte ich Realtek im Server, broadcom (onboard) im client, nachdem das Mist war hab ich meine alten 3coms wieder ausgegraben. Ich denke nicht das es daran liegt.
In den letzten 5 Jahren war immer, wenn ich jemanden über Netzwerk fluchen hörte, eine 3com-Karte beteiligt. Selbst über die 8139 (die wohl wirklich der letzte Dreck sind) habe ich nicht soviele Flüche gehört (bei denen er- wartet man aber vermutlich auch nichts anderes und dafür sind sie billig).
lug-dd@mailman.schlittermann.de
-
Fabian Hänsel -
Felix Kurth -
holger.dietze＠advis.de -
Jonas Witt -
Stefan Seyfried