Få gigabitnettverk til å yte BEST mulig.

[AnaXyd]

Heisann!

 

Det har seg slik at jeg har satt opp en server med følgende specs:

 

- Intel Q6600 CPU

- ASUS Rampage Formula Hovedkort (2x PCI-E nettverkskort)

- Raid-5 mellom 3x 1TB Samsung Spinpoint F3 Lagringsplass

- Windows Server 2008 R2 Operativsystem (Hyper-V er aktivert)

- CrystalDiskMark måler ca 250MB/s i lesing, og 200MB/s i skriving på serveren.

 

Denne skal være en "mye rart" -server, men også filserver som streamer HD-materiale til min hjemmekino. Derfor vil jeg ha best mulig hastighet mellom enhetene i nettverket. Etter hva CrystalDiskMark benchmarken tilsier, er ihvertfall diskene raske nok. ~200MB/s begge veier er mer enn hva som er teoretisk mulig på et gigabit nettverk.

 

Alt er koblet til en ASUS RT-N16 router med DD-WRT firmware. Alt går via gigabit med cat-5e kabler.

 

Men, så kjører jeg diverse målinger mellom min stasjonære maskin, og får ca 30MB/s i overføringshastighet med PCATTCP, som visstnok skulle være et nøyaktig verktøy. Når jeg overfører komprimerte filer (mest riktig resultat) med windows over nettverket, peaker den på kanskje 60-70MB/s enkelte ganger.

 

Har også prøvd Racoonworks speedtest, men der får jeg bare rundt 17-20MB/s.

 

Teoretisk skal man visstnok få til hastigheter på 125MB/s på et gigabitnettverk (1000Gbit/8=125). Jeg har veldig lyst til å klare ihvertfall stabilt på 80-90MB/s, men har nå satt meg fast.

 

Er det noen som har noen idè om hva som kan være galt, eller hva jeg må gjøre? Hadde satt veldig stor pris på svar her.

Endret 27. mars 2011 av AnaXyd

[LMH1]

Nå får jeg en mellom 30-60 MB/s på gigabit.

 

Så jeg har anderledes pcer, switch.

 

Så jeg antar flaskehalsen ligget i:

 

1. Harddisken leser data

2. Hovedkortet overfører fra harddisk til nettverkkortet

3. Nettverkkortet forsøker å pinge Mac-adressen

4. Den andre datamaskinen gir svar at den er tilgjenglig.

5. Switchen forsøker å pinge igjen andre maskiner

6. Filene kopieres (Fordelt på 2 pins av 8 pins).

 

Nå kan det være du klarer å slå av ping så kanskje det går litt raskere?

Eller bytter switchen med (krysset nettverkkabel) slik at da er det bare en vei å gå?

 

Slik at jeg tror du sliter å få raskere en praksis 60 mb/s på maks.

Nå kan det være windows operativsystemet er en lite flaskehals.

 

Nå vet jeg ikke om gigabit er fordelt slik: 1000/8 =125 MB/s (Maks ytelse)

 

Siden kabelen kan sende og motta ville det blitt:

 

125/2= 65 MB/s maks hastighet per vei?

Altså 1000/1000 mbit = 65/65 MB/s?

 

Men de fleste nettverkkortene klarer en 60 MB\s som maks derfor blir 60 MB\s toppen? på store filer, små vil 30 MB\s på grunn av responsiden og klokkehastigheten av TP.

Fiber ville nok klart en del raskere på mange små filer.

 

Det som er rart at det er mulig med 100 mbit cat 5 og få en 11 MB\s kopiering?

Endret 28. mars 2011 av LMH1

[AnaXyd]

Jeg forstod ikke helt innlegget ditt, så omformuler gjerne.

 

Det er slik at gigabit kan omregnes til byte ved å dele tallet på 8. (Det er 8 bit i en byte) Med andre ord, om man har en gigabitlinje som er 1000Gbps, og man skal finne hva teoretisk makshastighet i MB/s (megabyte per sek), deler man på 8. Altså 125MB/s. Skyt meg gjerne om jeg tar feil, men mener å ha sett den formelen som en fin gjenganger på forskjellige steder.

 

Så ved 100Mbps, så faller beløpet betraktelig mye, og havner på latterlige 12,5MB/s.

 

Uansett virker det som det er ganske mange faktorer som spiller inn, så makshastigheten er vanskelig å oppnå uten proff-utstyr.

 

Jeg følger med på en kar på Avforum som driver med litt hobbyserver og streaming, og han hadde en gjennomsnittshastighet på 100MB/s over 8t, hvor han overførte backups til serveren. Altså alt mulig av forskjellige størrelser på filene. Dette var ganske imponerende, og ganske så nære maksgrensa på hva gigabit kan klare.

 

Selv om jeg kanskje ikke trenger mer enn 20MB/s for å streame 1080p, så vil jeg ihvertfall prøve å utnytte nettverket så mye jeg kan! Fin lærdom å sitte å fikle og finne ut av slike ting også!

 

Min research: Jeg tror også faktisk jeg har funnet ut problemet også. Jeg har kjørt noen ekstra tester, og har fått en hastighet på 70MB/s. Det begynner å bli bra, men så sjekket jeg ut bussene på nettverkskortene jeg kjører. På serveren er det PCI-E, men på min maskin (som er 2mnd gammel) så er det faktisk bare PCI nettverkskort. PCI bussen tror jeg med andre ord er flaskehalsen i oppsettet her, så jeg skal kjøpe meg et nytt nettverkskort og sette det i PCI-E porten og sjekke på nytt. Rare greier at ASUS Sabertooth x58 hovedkortet ikke har PCI-E på nettverkskortene...

[Stigma]

Bare for å kaste inn en tanke her: Du kan ikke regne det så enkelt som du gjør. Du må også tenke over at det er overhead i TCP/IP. Hvor mye kommer ann på pakkestørrelse primært (ihvertfall TCP/IP som i praksis vil være det som blir brukt 99,9% av tiden). Sånn røfft regnet kan du nok regne med 15-20% tap i overhead. Jumbo frames vil nok evt. redusere dette en del.

 

Det forklarer ikke alt, men det er en stor faktor å regne med ihvertfall.

 

Det er helt normalt at du ikke får pushet gjennom en full Gbit/sek på en 1Gbit/sek switch. Jeg vet ikke helt om dette er switchenes "feil" eller ikke, men det virker å være noenlunde uniformt for alle gigabit switcher.

 

Jeg annbefaler at du tar en titt her:

http://www.smallnetbuilder.com/lanwan/lanwan-reviews/30195-8-port-gigabit-switch-roundup?showall=&start=1

Dette er en side jeg har mye tillit til i forhold til nettverksutstyr.

 

Her testes flere gigabit switcher og flere andre faktorer. Du vil se at dine resultater er ikke så hakkande gale egentlig - spesiellt om du ikke har brukt jumbo frames.

 

PS: Jeg håper det snart blir et push mot 10Gbit slik som ved det rimelig plutselige hoppet fra 100Mbit til 1Gbit. Med SSDene på markedet nå er dette allerede begynnt å bli en nødvendighet og vil bare øke kraftig fremover. 10Gbit vil også gjøre mulig en del kule ting som å overføring av ukomprimert HD-video direkte på TP-kabel (noe som krever mellom 95-160MB/sek avhengig av 720-1080 og andre ting). Vi mangler altså bare litt å gå på som det er. Da kan man få noen usansynlig lette klienter for HTPC siden serveren kan gjøre 100% av alt arbeid og du trenger kun en enkelt chip som har nettverkskort+adapter for skjerm. Full-kvalitet gaming burde også fungere helt flott så lenge serveren din har skjermkort til å drive det - og det ville i praksis ikke lenger være noen grunn til at ikke remote desktop og lignende skulle gi en reell 1:1 opplevelse av å bruke maskinen (i dag er det primært video via remote som sliter litt enda).

 

Kilde:

http://en.wikipedia.org/wiki/Uncompressed_video

 

-Stigma

Endret 29. mars 2011 av Stigma

[AnaXyd]

Er nok en del faktorer som spiller inn ja, er nok ikke tvil om det. Du har nok et viktig poeng ang dette med overhead osv(noe jeg bør lese mer om). Jumbo frames er et begrep jeg har sett er par ganger i min research, og kanskje jeg bør skru på denne i routeren min også, for å se hva som skjer.

 

Når jeg tok målingene med blant annet iperf, satte jeg windows size til 256k, som var en varm anbefaling av personen på Avforum. Da ble resultatet mer "riktig", visstnok. Om dette er tilfelle aner jeg ikke. Fikk ihvertfall et resultat på ca 600Mbits/s.

 

Resultatene er jo ikke gale de, og jeg er ganske fornøyd med å se at jeg pusher 600Mbits igjennom nettverket.

 

Fant forresten kilden min til disse formlene: http://www.enterprisenetworkingplanet.com/netsysm/article.php/3485486/Squeeze-Your-Gigabit-NIC-for-Top-Performance.htm

 

Og her er et ganske spennende utdrag:

 

Gigabit network cards provide speeds of 1000Mb/s, or 125MB/s. If the PCI bus is only capable of 80MB/s this is a major limiting factor for gigabit network cards. The math works out to 640Mb/s, which is really quite a bit faster than most gigabit network card installations, but remember this is probably the best-case scenario.

 

Om det som skrives der er sant, kan det se ut som min mangel på PCI-E bus på ene maskinen er signifikant. Nå har jeg bestilt et nettverkskort basert på PCI-E som jeg skal sette i maskinen for å se hva som skjer. Håper kortet er bra nok.

 

10Gbps er jo noe The Gathering virkelig satser mye på nå. Hadde vært spennende å sjekke ut utstyret de bruker i år, når de skal kjøre 100Gbps internett. Kan tenke meg det er ganske råe hastigheter de kommer med der!

[Snabel]

Hei,

 

Jeg kjører et Raid50 Array med 8x1TB WD Green disker. Når jeg kopierer fra SSD'ene i desktop'n til dette arrayet maxer jg ut Gbit nettverket mitt. Alle nic er forsåvidt på PCI-E

 

 

 

mvh

Snabelen

[madammim]

Jeg makser også ut mitt Gb-nettverk ved kopiering av store filer fra raid-0 til raid-0. Ligger stabilt over 95%, ofte på 99%+ i følge oppgavebehandleren. Jeg kjører over en Netgear GS108T switch og bruker en Linksys WRT54G med DD-WRT som router.

[siDDis]

Eg greier å få 125MB/s med iscsi ved lesing. Skriveytelsen er 100MB/s, men det er nok meir grunnet flaskehalser i skrivinga der ytelsen går litt bølger grunnet synkronisering av data til diskane.

 

For å oppnå 125MB/s så må ein ha skikkeleg nettverkskort. Eg har god erfaring med Intel sine pci-express. Ein må ha jumbo frames, eg har testa med 4k 7k og 9k der alle greide å makse eit gigabit nettverk.

Flow control på switchen er også ein gode ide, pluss at datatrafikken går igjennom eit eige vlan.

 

Det er ikkje lurt å blande jumbo frames inn i eit nettverk med fleire einheitar som ikkje brukar jumbo frames.

[AnaXyd]

Allright! Da begynner det å stemme med hva jeg leste meg til tidligere. Det er akkurat dette jeg sliter med - å makse gigabitnettverket. (Noe som i teorien ligger på 100MB/s - 125MB/s)

 

Nå er et intel pci-express kort på vei, så dette blir spennende. Håper virkelig dette er grunnen, og at det ikke er noe annet snusk. Når det kommer til jumbo-frames, så har jeg ikke dette aktivert på min RT-N16 router i skrivende stund. Er dette noe jeg aktiverer på maskinene tilkoblet også, eller bare i routeren?

[Stigma]

Jeg forstår ikke helt hvordan du noen gang kan "makse" en Gbit linje (altså om dette betyr å få 100% overføring av teoretisk maks) fordi overhead vil uansett eksistere i alle tilfeller. Selvfølgelig, forskjellen mellom 9K jumboframes og vanlig størrelse frames vil jo utgjøre veldig store forskjeller i denne overheaden, så kanskje man kan redusere den ned til bare et par prosent.

 

-Stigma

[AnaXyd]

Er nok muligens det som blir gjort i praksis også, Stigma. At ved å sette på jumboframes så får man en hastighet som nærmest makser gigabiten. Nå er jeg uansett ikke kyndig nok i dette faget til å uttale meg noe særlig, så noen andre får nesten svare bedre enn meg.

 

Venter uansett i spenning på Intel Pro/1000CT PCIe Desktop Adapter kortet jeg har bestilt. Noen som har erfaringer med det?

[siDDis]

Ja eg har det, det er eit kjempekort. Billig og kjapt! Kan også flashes med iPXE for ekstra funksjonalitet som ein eigentleg bare skal få på pro utgåva. Med iPXE så kan du boote frå nettverkskortet

[AnaXyd]

Ah, da var jeg heldig med valget da! Fant bare det billigste og beste med PCI-E, som var på lager. Hva annet spennende tilbyr iPXE da? Boote fra nettverkskortet er jo ikke annet enn morro! Men man må vel ha en server som tilbyr et OS over nettverk også?

[siDDis]

Nei, du får jo nettverksdisk så du installerer på vanleg måte.

 

Eg driver å leker meg med å installere ein Windows 7 klient oppå ZFS. Då får eg nytte av skikkeleg dataintegritet, snapshots, compression og ytelse som ligger mellom vanleg harddisk og ssd.

 

http://ipxe.org/howto/wds_iscsi

[Sokkalf™]

Jeg har samme Intel-nettverkskort som nevnt over her i serveren (FreeBSD/ZFS), vanlig Realtek-greie i den stasjonære (Windows 7).

 

Får 95-105MB/sec med Samba, både les og skriv. Uten jumbo frames eller annen tweaking (og en gammel og billig switch). Ganske godt fornøyd med det.

[AnaXyd]

Hvor mye skal det egentlig til for å makse en vanlig switch? Virker ikke ut som min RT-N16 merker noe av min 1Gbps overføring mellom to maskiner i nettverket. Overvåker routeren med PRTG, og sjekker CPU bruk og alt som er. Den vipper seg kanskje opp mot 8% i bruk, noe som er latterlig lavt?

[siDDis]

Det varierer frå switch til switch. Det mange switcher sliter med idag er at dei har for lite minne(buffer memory, 512KB per port er anbefalt). Det kan føre til elendig iscsi ytelse.

[Flimzes]

Med min D-Link dir655 får jeg ca 112MB/s sustained fra raidet på en pc til ramdisk i en annen.

Med min 3com 3c16486 får jeg rundt 120MB/s sustained på samme overføring.

 

EDIT: Nvidia chipset nforce 4 og nforce 5 nettverkskort.

Endret 4. april 2011 av Flimzes