[LØST] Svært treg skriveytelse i (software) RAID-5

[Sokkalf™]

Jeg har nylig gått til innkjøp av 3x Samsung F1 750GB SATA-disker, og tenkte jeg skulle bruke disse i RAID-5 e.l.

 

I maskinen jeg har satt de i, var det tidligere 2x200GB og 1x160GB IDE-disker som var satt opp i software RAID-5 (mdadm under linux) med 3x160GB partisjoner. Brukte IDE-kontroller på hovedkortet samt et PCI-kontrollerkort fra Promise (ATA133). Med disse diskene fikk jeg god ytelse, ca 70MB/sec les og 50MB/sec skriv (raskere enn singel disk).

 

Med de nye diskene og SATA får jeg helt horribel skriveytelse (ikke over 20MB/s, typisk 15MB/sec), mens leseytelsen er god (90-100MB/sec).

 

Har prøvd å sette de opp både i linux med mdadm/LVM, og i FreeBSD med ZFS RaidZ, med samme resultat.

 

Jeg har en server stående med lignende oppsett, 5x disker i ZFS RaidZ under Solaris, hvor jeg får svært god ytelse på både les og skriv.

 

Eneste store forskjellen på oppsettene (annet enn antall disker), er sørbrikken, som igjen vil si diskkontrolleren.

 

På maskinen jeg har problemer med er kontrolleren Intel ICH7, mens på den raske er kontrolleren ICH9R.

 

Kan det være kontrolleren som er flaskehals her?

Endret 3. september 2008 av Sokkalf^

[runniz]

Jeg har nylig gått til innkjøp av 3x Samsung F1 750GB SATA-disker, og tenkte jeg skulle bruke disse i RAID-5 e.l.

 

I maskinen jeg har satt de i, var det tidligere 2x200GB og 1x160GB IDE-disker som var satt opp i software RAID-5 (mdadm under linux) med 3x160GB partisjoner. Brukte IDE-kontroller på hovedkortet samt et PCI-kontrollerkort fra Promise (ATA133). Med disse diskene fikk jeg god ytelse, ca 70MB/sec les og 50MB/sec skriv (raskere enn singel disk).

 

Med de nye diskene og SATA får jeg helt horribel skriveytelse (ikke over 20MB/s, typisk 15MB/sec), mens leseytelsen er god (90-100MB/sec).

 

Har prøvd å sette de opp både i linux med mdadm/LVM, og i FreeBSD med ZFS RaidZ, med samme resultat.

 

Jeg har en server stående med lignende oppsett, 5x disker i ZFS RaidZ under Solaris, hvor jeg får svært god ytelse på både les og skriv.

 

Eneste store forskjellen på oppsettene (annet enn antall disker), er sørbrikken, som igjen vil si diskkontrolleren.

 

På maskinen jeg har problemer med er kontrolleren Intel ICH7, mens på den raske er kontrolleren ICH9R.

 

Kan det være kontrolleren som er flaskehals her?

 

 

Har ikke noen erfaring med servere, men det er vel kjent at skriveytelsen i raid 5 er lik eller verre enn en enkelt disk.

ICH9 er bare litt raskere enn ICH8 i raid 0, men ca. 20% raskere i raid 5 i følge en benchmark jeg leste for en stund siden, mens ICH7 var bemerkelsesverdig tregere enn begge kontrollerne i alle raid.

 

EDIT: Har som sagt ingen erfaring, men gir det ikke bedre resultat med styring via hardware ?

Endret 1. september 2008 av runniz

[Wibla]

Prøv med et annet hovedkort om du kan, er mulig kontrolleren ikke liker diskene.

 

Ellers skalerer RAID5 bra på skriveytelse om man har bra nok kontroller, langt over singel disk.

[Sokkalf™]

Ja, har som sagt god ytelse i det andre raidet som sitter på ICH9R-kontrolleren (rundt 130MB/s stabilt, med bursts vel over 200MB/s)

 

@runniz: Interessant info at du har sett benchmarks hvor ICH7 er tregt, kanskje det er problemet (selv om jeg ikke forventet at det skulle ha noe å si på software-raid)

 

Skal se om jeg får prøvd diskene i en annen maskin, lurer på om det ikke er ICH9R i desktop-maskinen, og der er det plass til diskene også.

[Gjest Slettet-t8fn5F]

Skriverhastigheten går logartimist ned alt etter hvor stor mengde som skal kopieres til disksettet.

Fil på 20 MB = ok hastighet

Filer på 20 MB = ok hastighet.

Fil på 4 GB = nokså ok

Filer på 40 GB = deggern det tar tid...

Endret 1. september 2008 av Slettet-t8fn5F

[Wibla]

Siden både parity og data er stripet, så vil skrivehastigheten være avhengig av XOR-ytelsen til raidkontrolleren (enten cpu på swraid eller dedikert chip på hwraid). På gode system er det ikke mye forskjell på skrive og lesehastighet på raid5. Eksempler er de nyeste kontrolleren fra Areca og 3ware.

(Ref: Areca)

 

Det er en utbredt misforståelse at skriveytelsen på RAID5 er begrenset til tilsvarende singel disk.

 

Jeg klarer selv å pushe over 120MB/s skrivehastighet på 10x500GB Samsung HD501LJ disker i HW RAID5, som ikke klarer mer enn 50-60MB/s alene, da med testsett på 4-20GB i bonnie++.

Det eneste som begrenser meg er at jeg har en eldgammel raidkontroller (3ware 9500S-12).

Endret 1. september 2008 av Wibla

[Sokkalf™]

Nå har jeg fått testet diskene i en annen maskin (med ICH9).

 

Resultatet ble først 60MB/sec skriv, noe som var svært mye bedre, men var fortsatt ikke helt fornøyd.. enabled så AHCI i BIOS, og nå flyr det.. bikket såvidt over 100MB/s i skrivehastighet.

 

Lesehastigheten ligger nå på 140MB/sec.

 

Blir nok nytt hovedkort på meg, med en bedre kontroller.