PCI 32-bit 66MHz RAID-kontroller på PCI 33MHz?

[Playmofetish]

Jeg sliter med å finne meg et RAID-kort. Har vurdert Highpoint 2310, men mangelen på XOR-prosessor gir fryktelig dårlige skriverestultater har jeg sett på diverse tester av lignende Highpoint-kort.

 

DETTE fra Promise bruker en PCI 32-bit/66MHz-tilkobling. Vil ikke dette fungere i det hele tatt på et standard PCI 32-bit/33MHz-spor? Er kortet kun forbeholdt servere- og arbeidsstasjonshovedkort?

 

Hvis det vil fungere, vil det bli en flaskehals å kjøre på en 33MHz-buss?

[covah]

Har selv et 66Mhz Adaptec SCSI kort i et vanlig 33Mhz spor, så jeg vil tippe at det virker.

[Playmofetish]

Har du noen som helst problemer med flaskehals gjennom PCI-sporet? Har du RAID0 eller 5, og hva får du av read-hastigheter?

[john.einar]

Sjekket på min maskin og faktisk så kjører f.eks. onboard PCI utstyret på 66MHz allerede, så tror ikke du vil få problemer. 66MHz kort har også fungert smertefritt på 33MHz hos meg også, så tror ikke det skal skape noe problem.

 

Angående speed så vil jo selvfølgelig PCI bussen være en flaskehals, men da må du ha en del disker i RAID0 eller RAID5. Selv har jeg testet med bonnie++ på et software RAID5 som er fordelt på 3 SATA disker. Fikk da disse resultatene:

 

Sekvensiel skriving: 51MB/s

Sekvensiel lesing: 54MB/s.

 

Dette med PCI basert SATA kontrollere som kjører på 33MHz.

 

Woopsie, det var RAID1'et det jeg testa, skal teste RAID5'et nå...

 

Ser ut som jeg må teste RAID5'et når jeg kommer hjem. De resultatene over er ihvertfall fra software RAID1 (mirror). Skal se om jeg får testet RAID0 også, for å se om det skalerer lineær fra RAID1'et, eller om PCI bussen begynner å begrense allerede på ca 100MB/s. (PCI har 133MB/s, men snakker om reel hastighet)

Endret 24. juli 2006 av johneinar

[Playmofetish]

Veldig flott om du får sjekket akkurat det ja. Men det virker uansett som om PCI kan bli en begrensning på hva RAID5 skal kunne (teoretisk) klare av leseytelse. Har sett enkelte tester av selv de rimeligere kortene som klarer 200-250MB/s på leseytelse, dog kun sekvensiell.

 

Jeg frykter at Highpoint-kortet har veldig dårlig skriveytelse grunnet mangel på XOR hardware-behandling. Men et kort som takler XOR hardware og har PCI-E 1x/4x har jeg rett og slett ikke funnet. Ikke til dødelig pris i hvert fall.

[Geir68]

Har nettop vært igjennom samme besluttningsprosessen som deg, og har spart på en del linker av test av TX4310:

 

Bjorne3d.com

extremetech.com

 

Problemet med slike reviews er at de bruker benchmarks, og ikke alle benchmarks gir et riktig bilde av Raid5. Når ATTO benchmarken viser 50MB/s og PCMARK viser 5MB/s er noe riv ruskende galt.

 

Jeg konkluderte til slutt med at et kort med hardwarebasert XOR kort kostet 2-3000kr og var ikke villig til å betale dette for den økte skriveytelsen.

 

Mitt 750GB Raid5 array skriver 18 MB/s og leser 107MB/s.

Er laget av 4 stk Samsung 250GB kjøpt på weekendtilbud for 599,- pr stk.

 

 

Geir

[Playmofetish]

Hehe, men hvilken RAID-kontroller ble det? SW? Promise? Highpoint?

 

 

Edit: Da har jeg i hvert fall bestilt meg et Highpoint 2310 PCI-E 4x, SATA300 RAID5.

Har en Samsung 300GB SATA300 fra før, og bestilt tre nye.

 

Tester først med RAID5 og ser hva jeg får av hastigheter.

Om jeg syns det blir alt for dårlig tester jeg heller RAID 10, for litt høyere sikkerhet, men mindre lagringsplass.

Endret 25. juli 2006 av Playmofetish

[Geir68]

Hehe, men hvilken RAID-kontroller ble det? SW? Promise? Highpoint?

6552351[/snapback]

 

Det ble Windows Raid5 dvs ikke kontrollerkort i det hele tatt. Det var den absolutt billigste løsningen. Kjører direkte fra hovedkortets SATA plugger.

 

Løsningen er beskrevet her:

 

www.tomshardware.com/2004/11/19/using_windowsxp_to_make_raid_5_happen

 

Du får si fra hvilken skrivehastighet du får. Artig å vite hvor mye hastighet jeg "mister" ved å være gjerrig!

[Playmofetish]

Har sett mulighet for software RAID5 ja. Men nå får jeg snart en kontroller til 1200,- så da får jeg prøve å utnytte det

 

Følgende varer er bestilt fra Norek, for de som måtte være interessert. Er spent på om Chieftec-løsningen fungerer bra, og om den i det hele tatt passer i mitt Cooler Master Stacker.

 

Følgende varenr kan kopieres inn i Noreks eller Komplett sin hurtigkasse:

 

307913 4

318306

319943

 

Har en Tagan 480W, som nå snart skal prøve seg på totalt 7-8 disker, i tillegg til resten av specs som ligger i min profil. Har en Hiper 580W liggende hvis det skulle bli noe problem, men jeg innbilder meg at Tagan bør være tilnærmet like god/seig.

[john.einar]

Gammel thread, men jeg lovte (og glemte) å komme med litt software raid benchmarks.

 

Har 3 raid oppsett å vise til her nå. Det er snakk om et 1.2TB raid5 array av 4 disker (4x400GB), et 1TB raid5 array av 6 disker(6x200GB) og et 10GB raid6 array av 4 disker (4x5GB). ("Disker" er i denne sammenheng partisjoner på fysiske disker)

 

Hardware er:

AMD64 3000+ (754 socket)

1GB minne

2xSil3114A kontrollere via kort kjørende på 66MHz PCI buss.

1xSil3512A kontroller onboard kjørende på 66MHz PCI buss.

 

Alle 3 kontrollerene står på samme PCI buss (hovedkortet har 2 busser, en for native + en for alt annet (det være seg onboard 3.parts kontrollere og innstikskort)

 

Disker:

WDC WD2000JD-00HBB0

WDC WD3200JD-00KLB0

WDC WD4000KD-00NAB0

SAMSUNG SP2004C

SAMSUNG SP2504C

SAMSUNG SP2504C

SAMSUNG SP2504C

SAMSUNG HD401LJ

SAMSUNG HD401LJ

SAMSUNG HD401LJ

 

Software:

Gentoo Linux 2.6.17-gentoo-r7 (gentoo-sources kernel (vanilla + gentoo patches)) 64-bit (long mode).

 

Testene er utført med bonnie++ med 3GB dataset.

Så over til tallene:

                    les     skriv    overskriv
Raid5 med 4 disker: 70MB/s  60MB/s   18MB/s 
Raid5 med 6 disker: 70MB/s  60MB/s   20MB/s
Raid6 med 4 disker: 76MB/s  45MB/s   16MB/s

 

Som man ser så hjelper det ikke å øke antall disker i raid5 settet fra 4 til 6 for lesing og skriving, men får en liten (~11%) økning ved overskriving (aka read, verify existing data, change data, recalc parity, write new data and write updated parity).

 

Raid6 har litt bedre leseytelse enn raid5, men mye (25%) dårligere skriveytelse. Også ved overskriving yter den dårligere.

 

Raid6 har den fordelen at den er mer robust (2 disker kan dø) og har en grei leseytelse (~8% økning vs raid5 med likt antall disker). Den passer da kanskje til data som leses ofte, skrives skjelden og er svært kritisk (man husker vel å ta backup? raid er ikke en erstatning for backup!). Raid6 sløser mer enn raid5 på plass (N-2 vs N-1), så det koster å ha store sett i raid6.

Endret 10. september 2006 av johneinar

[Playmofetish]

Interessante tall, takk for det.

 

Merker meg at RAID6 ikke har noe særlig for seg med mindre man har 5+ disker. Ved 4 disker kunne man likesågodt satt opp RAID10, som gir bedre ytelser de fleste veier, og enklere prosessering for kontrolleren.

[Micro80]

Noen her inne som er interisert i dette kortet. Jeg skal oppgradere, derfor bytte det ut.

[Ueland]

johneinar: For meg virker det som at du har en annen flaskehals et sted, for jeg har ikke hatt problemer med å nå over 100MB/s lesehastighet på et RAID5-sett, da kun med SW raid på disker bare koblet til intigrerte SATA porter.

 

Har en boks stående med 6x200GB disker i RAID5, skal få benchmarket den når jeg har fått fullført en resync av diskene. (systemlås under skriving er alltid kos..)

[john.einar]

Litt intr. i å finne ut hva det kan være i såfall. Noen tips?

Har et PCI kort stående i den som kommer til å fjernes snart (IDE kontroller). Kortet var ikke i bruk under testing (0 load på maskina), men kan hende den "forstyrrer" litt på PCI bussen.

[john.einar]

Interessante tall, takk for det.

 

Merker meg at RAID6 ikke har noe særlig for seg med mindre man har 5+ disker. Ved 4 disker kunne man likesågodt satt opp RAID10, som gir bedre ytelser de fleste veier, og enklere prosessering for kontrolleren.

6838757[/snapback]

 

Husk at kontrolleren i dette tilfellet er CPU'en. SATA kontrolleren(e) merker ingen differanse. Men du har rett, mer jobb for CPU. På min maskin har jeg 6,1GB/s (generic_sse) i raid5 og 2,7GB/s i raid6 (sse2x4), så tror neppe CPU'en setter begrensning, men mindre den har mye annet å gjøre også.

 

De samme 4 "diskene" fra raid6'et, men i 2xRAID1 i RAID0:

Read: 80MB/s

Write: 46MB/s

Rewrite: 24MB/s

 

De samme 4 "diskene" igjen med "ekte" (og merket som experimental) RAID1+0 modul i linux kernelen:

Read: 80MB/s

Write: 46MB/s

Rewrite: 24 MB/s

 

Ser her at read er høyere enn raid6, men fortsatt under de 100MB/s som Ueland snakker om.

 

Edit:

Tror jeg har funnet ut hvorfor jeg har lave hastigheter nå: Chunk-size.

Med 1MB chunksize får jeg:

Read: 98MB/s

Write: 46MB/s

Rewrite: 32MB/s.

 

De andre var ved default (32kb).

En annen liten ting: filsystemet som brukes er xfs. Har testet med ext2 også, men det ga ingen merkbar diff (litt lavere ytelse faktisk).

Endret 10. september 2006 av johneinar

[john.einar]

Enda en liten update, fra en annen maskin. Denne maskina har en Sil3114 kontroller med 4x 200GB disker i raid0. Den fungerer som scratch disk for rastrering av bilder før print i et trykkeri. Boksen er tilkoblet et gigabit nettverk og kjører selvfølgelig 64bit Linux (på en Celeron 2,4GHz). Over til tallene:

 

Read: 103MB/s

Write: 98MB/s

 

Dette er ved måling av et 2GB dataset. Begrensende faktor her er 133MB/s på PCI bussen. Både diskene og cpu'en har mye å gå på.