Dårlig ytelse med SW Raid-5

[Joffer]

Jeg har en Pentium III 667 MHz 256MB RAM og 3 WD800 (80GB hda/b/d) disker og en CD-ROM (som hdc). På denne har jeg installert Trustix 2.1 og konfiguert /boot på hda (128MB) samt 2 stk 128 MB swap partisjoner på henholdsvis hdb og hdd. Videre har jeg laget to RAID-5 partisjoner, 3 partisjoner á 128MB til /tmp (=256MB prg RAID-5) og 3 store (resten av diskene) som root partisjon /, ca 150GB.

 

Så problemet:

/dev/hdd kjører med veldig nedsatt ytelse. 'hdparm' gir meg full fart på hda og hdb (ca 30MB/s på begge) mens hdd bare gir ca 3MB/s. Alle hdparm parameterne er like på alle diskene.. (dma er satt på osv). Om jeg kjører diskene som single disker/partisjoner (ingen SW Raid-5) så yter alle 100% (ca 30MB/s)

 

Hvorfor vil ikke disk nr 3 gi meg full ytelse? Kan ikke kjøre software Raid-5 med en så treg disk!

 

Litt config og utlisting:

root@c3po ~# cat /etc/fstab
/dev/md0                /                       reiserfs defaults        1 1
/dev/hda1               /boot                   ext3    defaults        1 2
none                    /dev/pts                devpts  gid=5,mode=620  0 0
none                    /proc                   proc    defaults        0 0
/dev/md1                /tmp                    reiserfs defaults        1 2
/dev/hdb1               swap                    swap    defaults        0 0
/dev/hdd1               swap                    swap    defaults        0 0
/dev/cdrom              /mnt/cdrom              iso9660 noauto,owner,kudzu,ro 
0 0

 

root@c3po ~# cat /etc/mdadm.conf
DEVICE /dev/hda3 /dev/hdb3 /dev/hdd3
ARRAY /dev/md0 level=raid5 devices=/dev/hda3,/dev/hdb3,/dev/hdd3
DEVICE /dev/hda2 /dev/hdb2 /dev/hdd2
ARRAY /dev/md1 level=raid5 devices=/dev/hda2,/dev/hdb2,/dev/hdd2

 

root@c3po ~# hdparm /dev/hd{a,b,d}

/dev/hda:
multcount    = 16 (on)
IO_support   =  0 (default 16-bit)
unmaskirq    =  0 (off)
using_dma    =  1 (on)
keepsettings =  0 (off)
readonly     =  0 (off)
readahead    =  8 (on)
geometry     = 9729/255/63, sectors = 156301488, start = 0

/dev/hdb:
multcount    = 16 (on)
IO_support   =  0 (default 16-bit)
unmaskirq    =  0 (off)
using_dma    =  1 (on)
keepsettings =  0 (off)
readonly     =  0 (off)
readahead    =  8 (on)
geometry     = 9729/255/63, sectors = 156301488, start = 0

/dev/hdd:
multcount    = 16 (on)
IO_support   =  0 (default 16-bit)
unmaskirq    =  0 (off)
using_dma    =  1 (on)
keepsettings =  0 (off)
readonly     =  0 (off)
readahead    =  8 (on)
geometry     = 9729/255/63, sectors = 156301488, start = 0

 

root@c3po ~# hdparm -tT /dev/hd{a,b,d}

/dev/hda:
Timing buffer-cache reads:    96 MB in  2.01 seconds =  47.76 MB/sec
Timing buffered disk reads:   92 MB in  3.05 seconds =  30.16 MB/sec

/dev/hdb:
Timing buffer-cache reads:   116 MB in  2.06 seconds =  56.31 MB/sec
Timing buffered disk reads:   92 MB in  3.00 seconds =  30.67 MB/sec

/dev/hdd:
Timing buffer-cache reads:   116 MB in  2.03 seconds =  57.14 MB/sec
Timing buffered disk reads:   10 MB in  3.21 seconds =   3.12 MB/sec

[Cronius]

Kjapp skumming fra min side.

 

Du kan begynne med å sette io_support til 32bit på alle diskene (hdparm ettellerannet 1, se man hdparm), readahead kan du sette til 256, unmask_irq tror jeg også er en fordel, multcount kan også kanskje settes høyere (husker ikke).

 

Så til kjernen: jeg ville testet om du kanskje har dårlig hovedkort/kabler. Med "dårlig" mener jeg at kanskje ide kontrolleren ikke støtter ata100 (eller hva det nå skal være) på begge ide-kanalene, eller kabelen ikke gjør det. Den enkleste måten å utelukke hardware som et problem (siden diskene er like) er å bytte om to av diskene og se om feilen følger disken eller "kontroller plassen" dvs. hdd.

 

Noe mer enn det har jeg ikke å by på ...

 

Edit: sorry, var litt lat der. Burde selvfølgelig lest posten din nøyere, du sier jo at alt fungerer fint uten sw-raid. I så fall høres det mistenkelig ut som et software problem, kanskje en annen raid-løsning (striping) kan prøves for å se om det er software som er problemet?

Endret 15. mars 2004 av Cronius

[Joffer]

Kablene er helt nye ata100 kabler.

 

Har flyttet rundt på diskene, og også prøvd med "bare" RAID-1 på diskene, men med samme resultat, /dev/hdd gir meg bare ca 5MB/s, mens hda/b gir meg ca 30MB/s.

 

Skjønner ingenting jeg...

 

Skal prøve med en Red Hat 9 CD og se hva jeg får da...

[Joffer]

Samme resultat med Red Hat 9. 5MB/s for /dev/hdd. Med bare to disker hda og hdd så fikk jeg også samme resultat, dvs 6MB/s, en bitteliten økning, men fortsatt feil når jeg får nesten 30MB/s på hda. Må se om jeg kan finne et annet hovedkort og se om det kan være noe galt med hovedkortet....

[Joffer]

Ser ut til at når installasjonen var ferdig, så måtte disk 2 (i en to disk raid-1 setting) rekonstrueres.. etter det (en time ca) så var disken i full fart...

[Cronius]

Godt å høre. Så feilen lå i ... hovedkortet?

[Joffer]

Var kanskje ikke noen feil??

 

Jeg installerte samme maskinen i går med 3 80GB WD disker i Raid 5. Det samme skjedde... når installasjonen var ferdig og maskinen rebootet, så begynte maskinen å (re)konstruere Raid5.. tok 3-4 timer... mens det pågikk så fikk jeg bare 3-6MB/s på hdd, mens jeg fikk full fart (ca 30MB/s) etter at (re)konstruksjonen var ferdig...

 

så det er kanskje slik SW Raid funker i linux?? Er mer eller mindre første gang jeg prøver meg på SW raid....

 

Ville nå bare tro at alt var i orden etter en installasjon.. og at slik rekonstruksjon bare var nødvendig om en av diskene feilet....???

[kyrsjo]

if it works: DONT fix it!

[Joffer]

Ser ut til at det bare er slik det skal være, at rebuilding skjer etter at installasjonen er gjort.. har np 4 stk 80GB disker i raid 5