Bedre gigabit-ytelse i linux

[askt]

Har endelig satt inn et Intel GBe-kort i serveren, og må si meg rimelig fornøyd med en dobling i hastighet ved filkopiering.

 

MEN, ettersom jeg fortsatt har en del hastighet å gå på (~40MB/s pga 32-bits PCI), lurer jeg på hvor jeg kan hente denne. Hva er smart å tweake?

hdparm gir meg leseytelse på ~50MB/s, så problemet bør ikke ligge der. Setter snart opp RAID 0 i tillegg, og hadde jo vært gøy å få utnyttet dette.

 

Ligger på ca. 20-25MB/s for øyeblikket.

[Terrasque]

Er raskere enn diskene mine klarer.. hdparm's raw read gir ~50, men praktisk kopiering gir ~20-30 mb/s. Kan være fordi jeg har lvm system med en reiser3 partisjon som har vokst til 3x normal størrelse ettersom tiden gikk, og har over 90% av partisjonen brukt.

 

Hvilket harddisk-oppsett har du, hvilken type filer er det, partisjons-info?

[askt]

Kjører også LVM, fordelt på 3 disker. 98% bruk, men dette er i ferd med å ordnes opp i. Bruker ext3, og volumet blitt forholdsvis fragmentert. hdparm gir ~30MB/s på lvm-volumet, og kopiering herfra ligger mellom 15-20 som jo er helt greit. 50MB/s er fra en nymontert disk på en annen kontroller (HPT3xx ATA100 RAID) på hovedkortet som skal settes i RAID 0 med en 250GB som nå er en del av LVM-volumet (koblet til integrert ATA66-kontroller). Er store filer (700MB, 4,3GB etc.) på diskene.

[Terrasque]

med store filer kan det hende XFS filsystemet klarer seg bedre. Utenom det vet jeg desverre null og niks om gbit i linux. Så lenge det klarer å maxe 100mbit'en min stabilt er jeg fornøyd

[System-log.com]

Et spørsmål litt på kanten av det som du lurte på men.. kjører en ftp-server på gb-lan akkurat som deg, men jeg klarer ikke å lagre større filer enn 2 GB på serveren. Kjører glftpd på et ext3 filsystem. Regner nesten med at filsystemet er begrensningen da jeg hverken kan kopiere inn større filer i glftpd eller smb. Hva kan jeg gjøre for å få opphevet denne regelen? Skifte filsystem? Rettigheter? Jeg er lit n00b her, så all hjelp setter STOR pris på Og ja.. hvordan forandrer jeg den HDparm som det er snakk om her? Trenger max utnyttelse av diskene

[kyrsjo]

Hvilken distro har du? Mener at støtte for filer over 2 GB kom inn i en eller annen kernel eller glib...

[askt]

@Logic^sdz

Jeg kjører også ext3. Dette på en 2.6.10 kernel. Men jeg bruker kun Samba (v3) og ikke FTP for øyeblikket. Jeg ville sjekket innstillinger i glftpd først. Kopierer jevnlig 4GB+ filer via Samba, og dette fungerer knirkefritt. Prøv deg med Samba, sjekk om begrensningen også gjelder der. Hvilken kernel kjører du?

 

Sjekk her for tuning med hdparm. Google-link kan virke kjip, men ta en titt på de fleste som kommer opp... jeg har vært innom dem og fått mye info. Jeg fikk ikke mye økning i ytelse, simpelthen fordi innstillingene var godt satt opp i utgangspunktet. Tror dette er tilfelle i nyere distroer.

Du kan hvertfall sjekke nåværende ytelse med 'hdparm -t /dev/hd?'.

 

 

Er det ingen andre med erfaring med gigabit-nettverk i linux? Er som nevnt rimelig fornøyd med 20MB/sec, men føler det er mer å hente...

 

 

EDIT: d'oh. Overså 'smb'-kommentaren din. Vel, hvilken kernel sa du? Og hvilken samba-versjon? Jeg kjører forøvrig Debian testing.

Endret 13. januar 2005 av askt

[System-log.com]

Kjører på Mandrake 10.1, så regner nesten med at denne distribusjonen har bortimot siste kernel?

[askt]

Det vil jeg tro... skriv 'uname -a' og paste output her. Skriv også 'smbd --version'. Sjekk også glftpd-versjon. www.glftpd.at forteller at 2GB-støtte ble lagt inn i versjon 2.

[System-log.com]

Jeg kjører jo glftpd 1.32, så da kan jo problemet være åpenlyst! Tusen takk for hjelpen! Skal teste når jeg kommer hjem fra jobb!!

[Harkonnen]

Er det bare jeg som er under oppfattelsen at samba er grusomt mye treigere enn ftp overføring

[askt]

FTP har som oftest høyere prioritet enn samba, og hastigheten vil dermed kunne bli lavere. Men, teori stemmer ikke nødvendigvis med praksis i alle tilfeller. Hos meg får jeg ~15MB/s via FTP, og 20-25MB/s via SMB. Begge deler kan forsåvidt tunes, og jeg har hatt mest fokus på SMB.

 

Så "grusomt mye treigere" blir i beste fall en overdrivelse.

Endret 14. januar 2005 av askt

[Torbjørn]

hvordan setter du opp PCI-regnestykket ditt?

 

32 bit * 33 MHz * 1 byte / 8 bit = 132 Mbyte/sek

 

Husk at de 40 mb/sek du tror du klarer å lese skal lagres i andre enden, så write der blir en issue. med mindre du kopierer til /dev/null. kan kanskje være verd et forsøk.

[stigfjel]

Er det bare jeg som er under oppfattelsen at samba er grusomt mye treigere enn ftp overføring

FTP er nok raskere enn samba. På et 100 Mbps nettverk oppnådde jeg jevnt over 90 Mbps med overførsel av filmer. Fikk tilnærmet samme resultat ved overførsel av mp3.

[askt]

hvordan setter du opp PCI-regnestykket ditt?

Har ikke regnet på det men er klar over at PCI-32 gir teoretisk 133MB/s.

Jeg presiserer teoretisk. Er i praksis umulig utnytte maksimalt... er tross alt mange enheter som deler på PCI-bussen. Med PCI32 ligger maxgrensa på rundt 40-50MB/s (søk på nettet, flere sammenligninger mellom PCI32, PCI64 og CSA-bus).

 

Det som gir best GB-ytelse idag er som oftest kort som går over CSA-bussen. Har selv dette på hovedmaskinen, ASUS P4C800-E Deluxe, her vil ytelsen kunne gå opptil 90MB/s.

 

Skriveytelse kan absolutt være et hinder, derfor har jeg brukt WD Raptor ved testing. Det som er noe snodig, er at kopiering FRA WinXP-maskinen til serveren, får jeg 25-30MB/s... mot de tidligere nevnte 20-25 FRA linux-maskinen.

 

40MB/s-grensa har jeg fra SiSoft Sandra network throughput-testen. En helt ok test for ren båndbredde.

[askt]

The story took a surprising (?) turn... det viste seg at WinXP hadde skylda! Reinstallerte nettopp for å få en fresh SP2 installasjon, og nå ligger jeg på 30-35MB/s. Ettersom grensa (som tidligere nevnt) ligger på 40MB/s må jeg si meg meget fornøyd!

[stigfjel]

The story took a surprising (?) turn... det viste seg at WinXP hadde skylda! Reinstallerte nettopp for å få en fresh SP2 installasjon, og nå ligger jeg på 30-35MB/s. Ettersom grensa (som tidligere nevnt) ligger på 40MB/s må jeg si meg meget fornøyd!

Vil tippe at du kanskje vil klare enda mer mellom linux-maskiner. Windows er generelt dårligere på nettverk enn det Linux/Unix er. F.eks. på 100 Mbps-nettverk med en god 3Com-switch klarte jeg over 90 Mbps effektivt mellom to linux-maskiner, mens jeg kun klarer 80 mellom en linux-maskin og en windows-maskin.