Gå til innhold

Er RAID-kontroller nødvendig her for økt ytelse?

m0g1e

Av m0g1e
i Lagringsmedier

Anbefalte innlegg

Videoannonse

Videoannonse
Annonse
Varj

Varj

Skrevet
Skrevet

tweaking av xfs hjelper null når han scorer lavt på hdparm, hdparm leser rett fra devicen, uten å ta hensyn til filsystem.

 

hvis jeg skal tippe, så er den innebygde kontrolleren hans koblet til hk på en tåpelig måte, da det er grei båndbredde til singel disk, men ussel når den må lese/skrive flere ting samtidig mot flere disker.

 

en 200 kroners pci-ex kontroller vil raskt gi svar på om dette er tilfelle dog.

Lenke til kommentar
Agrop

Agrop

Skrevet
Skrevet (endret)

http://www.supermicro.com/products/accesso...C-SASLP-MV8.cfm

 

Disse er bra om skall ha Software raid eller WHS. Får dem for 110$ opptil 8 HDD på pci-e 4x, Det er jo 1GB/s. Men du må kjøpe miniSAS til sata kabler.

 

 

http://cgi.ebay.com/Supermicro-AOC-SASLP-M...id=p3286.c0.m14 han sender til norge om snakker med han. Har kjøp fra han tilire, andre pc deler.

Endret av Agrop
Lenke til kommentar
Agrop

Agrop

Skrevet
Skrevet

siden sata verson bruker PCI-X. Så jeg tror neppe du har i PCn, Om setter den PCI spot får max 133MB/sek. Ville jeg gått for PCI-E med miniSAS. Har du hverfall bandbrede om kjøper flere disker etter hvert.

 

 

Husk detter er software raid kontroll. Men siden bruker linux har du jo mulighet få bra hastighet.

Lenke til kommentar
marsboer

marsboer

Skrevet
Skrevet (endret)

Jeg kjører Debian Lenny med 5 stk 1TB disker i et mdadm RAID5 (med LVM oppå, men det er irrelevant i denne sammenhengen)

 

Diskene er 4 stk WD Black Edition disker og 1 stk noe tregere Samsung F1 1TB.

Tre av diskene står tilknyttet hovedkortets integrerte s-ata kontroller, mens de to siste står på en billig Adaptec to-porters S-ATA2 kontroller i en PCI-e slot. Jeg bruker kortet kun for å få to ekstra S-ATA-porter.

 

Hardware specs på filserveren:

 

Intel Core 2 Duo E8400 (3 Ghz, LGA775)

Asus P5N7A-VM

8GB RAM - Ett sett 8192MB (4x2GB) Kingston HyperX DDR2 PC6400 800mhz CL4 brikker

4 stk Western Digital Caviar Black 1TB 32MB 7200RPM S-ATA2/300

Samsung SpinPoint F1 1TB 32MB 7200RPM S-ATA2/300

Samsung SpinPoint S166 160GB 8MB 7200RPM S-ATA2/300"

NEC ND-3520A black (DVD-brenner, IDE)

Intel Pro 1000/PT Desktop (PCI-e 1x)

Adaptec RAID 1220SA (PCI-e 1x, 2xS-ATA)

2 stk Chieftec SST-2131SAS Hot-Swap bays

 

Denne maskinen får følgende resultater om jeg skal kjøre de samme testene som ble kjørt tidligere:

 

jupiter:/home/hkbakke# hdparm -tT /dev/md0

 

/dev/md0:

Timing cached reads: 14246 MB in 1.99 seconds = 7152.16 MB/sec

Timing buffered disk reads: 796 MB in 3.00 seconds = 265.28 MB/sec

 

For å få et mer realistisk bilde av skriveytelsene kjørte jeg en test hvor jeg stanset testen etter 5 minutter og 45 sekunder. Da rakk den å skrive 42GB, dvs 122MB/s i ren kontinuerlig ytelse.

 

jupiter:/home/hkbakke# dd if=/dev/zero of=/storage/lv1/Temp/Diverse/test bs=1024

41006857+0 records in

41006857+0 records out

41991021568 bytes (42 GB) copied, 345.258 s, 122 MB/s

 

 

Filserveren min er ytelsesmessig "tunet" mot at den står på gigabit LAN og at det er den eneste måten jeg jobber mot serveren. Med andre ord er det 120MB/s både lese og skrive som er den "magiske" grensen for å makse gigabiten (de øvrige 5MB/s+ forsvinner i protokolloverhead)

 

Med software RAID5 på min maskin ligger jeg i praksis og makser gigabiten ved både lesing og skriving mot serveren fra PCen som også har raske disker i RAID0 for å holde følge. Årsaken til at jeg har 8GB RAM er rett og slett at dette fungerer som diskcache i Linux og RAM er billig i dag. Med andre ord må jeg opp i mot 16GB data på en overføring før det i det hele tatt er særlig sannsynlig at diskene teoretisk sett kan bli en flaskehals ved skriving til serveren (noe de ikke blir siden software raidet klarer å holde ytelsen over gigabiten i de fleste tilfeller)

Dette er årsaken til at hardware RAID ikke gir noen mening på min server.

 

Jeg får forøvrig 120MB/s med Samba på Debian-serveren og Windows på den ordinære maskina.

Jeg har også et skikkelig Intel NIC i serveren for å maksimere nettverksytelsen, noe som gir store fordeler på full duplex ytelsen over nettverket i praksis, selv med så kraftig CPU.

Endret av marsboer
Lenke til kommentar
marsboer

marsboer

Skrevet
Skrevet (endret)
  Nizzen skrev:
Hva slags fordeler har du egentlig med det intel NIC i serveren din i forhold til onboard realtek eller noe anna onboard NIC?

 

Max hastighet er jo ikkje bedre med Intel VS realtek eller Marvell f.eks..

 

Ikke i én retning nei.

 

Men prøv å bruk et verktøy som f.eks iperf og generer en full duplex test hvor det generers maksimalt med trafikk i begge retninger.

Da svikter onboard totalt, mens Intel NICet begynner å jobbe.

I tillegg er pakke-latencyen lavere med Intel NICene noe som gir bedre resultater ved høy belastning.

 

En annen stor fordel er at disse kortene knapt bruker CPU-ressurser, selv ved maks reell gigabit throughput. Dette er alltid en fordel, og definitivt ved bruk av software RAID.

 

Et eksempel fra her hjemme med to maskiner som begge hadde E8400 CPU og 4GB RAM. Testen ble for begge gjennomført mot Debian Lenny firewallen min med et dual GB Intel Server NIC (PCI-e x4):

 

Gigabittest i én retning:

nforce NIC: 930 Mb/s

Intel NIC: 936 Mb/s

 

Med andre ord så godt som likt.

 

Deretter går vi for fullduplex testen i iperf:

nforce NIC: 870 Mb/s i en retning, 330 Mb/s i den andre retningen.

Intel NIC: 930 MB/s i en retning, 910 MB/s i den andre retningen. Lavere CPU bruk også!

 

Så når man skal skille menn fra gutter i NIC-verdenen er det bare å guffe på med full-duplex testen i iperf, forutsatt at du har en maskin med ordentlig NIC å teste mot.

I tillegg er det meget interessant å overvåke CPU-bruken.

Men merk at Linux er helt overlegen Windows på CPU-bruk ved nettverksbelastning, selv om Windows 7 har nærmet seg veldig kontra Vista som virkelig sugde på dette området.

Endret av marsboer
Lenke til kommentar
marsboer

marsboer

Skrevet
Skrevet (endret)
  Nizzen skrev:
nforce kan man ikkje sammenlikne med, de er jo evig dårlige :p

 

Har sammenlignet med den integrerte broadcomen i firewallen også. Men har ikke forsøkt noen andre. Har enda ikke sett et onboard NIC som klarer seg noe særlig i full-duplex testen.

Men man skal jo aldri si aldri. Men 3-400kr for det beste standard-NICet på markedet er en liten pris å betale i en server, spesielt mtp den fantastisk gode innebyggede driverstøtten i Linux. Server NICet i firewallen koster en del mer, men har også dobbel gigabit (inside og outside)

 

I den vanlige PCen min klarer jeg meg med integrert. Det er bare serverne mine som har fått eget Intel NIC siden jeg måler flere 100Mb/s forskjell i full duplex ytelse hver gang jeg tester mot noe annet.

Endret av marsboer
Lenke til kommentar
marsboer

marsboer

Skrevet
Skrevet
  Nizzen skrev:
hva er instillingene til iperf som du brukte?

 

iperf - ????

 

På server:

iperf -s -w 256k -i 3

 

På klient:

iperf -c 10.0.0.1 -i 3 -w 256k -t 30 -d

 

Hvor 10.0.0.1 er ip'en til serveren.

På full-duplex testen må du følge med på både server og klient siden dataene blir outputet individuelt for de to tilkoblingene.

Lenke til kommentar
Nizzen

Nizzen

Skrevet
Skrevet
  marsboer skrev:
  Nizzen skrev:
hva er instillingene til iperf som du brukte?

 

iperf - ????

 

På server:

iperf -s -w 256k -i 3

 

På klient:

iperf -c 10.0.0.1 -i 3 -w 256k -t 30 -d

 

Hvor 10.0.0.1 er ip'en til serveren.

På full-duplex testen må du følge med på både server og klient siden dataene blir outputet individuelt for de to tilkoblingene.

 

takk :D

 

Nå må jeg bare få iperf på ubuntuserveren :)

Lenke til kommentar

Opprett en konto eller logg inn for å kommentere

Du må være et medlem for å kunne skrive en kommentar

Opprett konto

Det er enkelt å melde seg inn for å starte en ny konto!

Start en konto

Logg inn

Har du allerede en konto? Logg inn her.

Logg inn nå
Gå til emneliste

  • Hvem er aktive   0 medlemmer

    • Ingen innloggede medlemmer aktive
×
×
  • Opprett ny...