Gå til innhold

Er RAID-kontroller nødvendig her for økt ytelse?

m0g1e

Av m0g1e
i Lagringsmedier

Anbefalte innlegg

m0g1e

m0g1e

Skrevet
Skrevet

Har et socket 939 LAN-party hovedkort med NF4 chipset, samt en innebygd Silicon 3114 kontroller, pluss unødvendig rask RAM og 2.4GHz Opteron Dualcore.

 

Har og 3 stk Seagate 1TB disker i sw-raid 5, Ubuntu kjørende nå.

Merker at lesehastigheten er på ca 25-30MB/s lokalt fra serveren.(varierende)

Tidligere hadde jeg godt oppi 55MB/s fra enkeltdisker (ikke RAID)

Dette gjelder store filer.

Har gigabit nettverk, og samba configs er ikke skylda for hastigheten her.

 

 

Spm er om ting vil gå raskere i med et hw-raid kort i raid5? Lurer og på om evt en disk til i RAID0+1 vil kunne fungere greit, eller om kontrolleren på HK kneler uansett.

 

Er villig til å bla opp noen tusen for et godt RAID-kort om det gjør nytten.

Lenke til kommentar

Videoannonse

Videoannonse
Annonse
Varj

Varj

Skrevet
Skrevet (endret)

4 disker software raid-5 i debian, vanlige greenline 1.5TB disker, så ikke spesielt raske. cpu/hk er billig strømsvak fra amd.

 

Merk også at disse tallene er mens det går en del annen i/o mot diskene, så er langt fra optimale.

 

enkel lesetest:

 

montgomery:~# hdparm -tT /dev/md2

 

/dev/md2:

Timing cached reads: 2358 MB in 2.00 seconds = 1179.91 MB/sec

Timing buffered disk reads: 658 MB in 3.00 seconds = 219.24 MB/sec

montgomery:~#

 

enkel skrivetest av 1GB fil:

 

montgomery:/mnt/raid5/temp# dd if=/dev/zero of=/mnt/raid5/temp/test.fil bs=1024 count=1000000

1000000+0 records in

1000000+0 records out

1024000000 bytes (1.0 GB) copied, 6.07221 s, 169 MB/s

montgomery:/mnt/raid5/temp#

Endret av Varj
Lenke til kommentar
Varj

Varj

Skrevet
Skrevet

med software raid er det svært viktig at du har bra båndbredde til hver disk, da all data går helt inn til hovedkortet for utregning av paritet etc, det skjærer seg fort om du f.eks kobler flere disker til en kontroller som står i et gammelt pci spor.

Lenke til kommentar
m0g1e

m0g1e

Skrevet
  • Forfatter
Skrevet (endret)

Kontrollerne er innebygd i HK. En vanlig SATA (nf4?) chipset kontroller, og Silicon 3114.

 

Ser at alle 3 teradiskene mine går på 3114 kontrolleren.

 

Her er

Timing cached reads: 1398 MB in 2.00 seconds = 698.81 MB/sec

Timing buffered disk reads: 116 MB in 3.01 seconds = 38.47 MB/sec

 

På skrivetesten jobbern hardt. valser imellom 40-50% på CPU i top.

...den er ikke ferdig ennå etter 5 min. :p

 

Varj: Er diskene kun koblet til mainboard-kontroller?

Det vil altså hjelpe om jeg fordeler diskene på hver kontroller?

 

 

Tillegg:

Her har vi'n:

38642793+0 records in

38642793+0 records out

39570220032 bytes (40 GB) copied, 725,081 s, 54,6 MB/s

Endret av mogie
Lenke til kommentar
Varj

Varj

Skrevet
Skrevet

jeg har riktignok to kontrollere, men er rimelig sikker på at alle i det raidet står på den innebygde.

 

men innebygd kan jo bety så mangt, mange måter å koble en innebygd kontroller til resten av systemet.

 

om bussen til kontroller er flaskehalsen, så kan raid10 hjelpe for skrivehastigheten, da du slipper å lese over samme linken hver gang du skal skrive noe.

 

men jeg tror uansett det hadde vært greit å finne det faktiske problemet, sjekk at standard ting som dma og slikt er aktivert.

 

hva sier hdparm testen om du kjører den mot single disk?

(den skriver ingenting, så det er trygt å kjøre den mot single disker som er del av et raid, mens raidet er oppe.)

Lenke til kommentar
m0g1e

m0g1e

Skrevet
  • Forfatter
Skrevet

/dev/sda1:

Timing cached reads: 1446 MB in 2.00 seconds = 723.72 MB/sec

Timing buffered disk reads: 290 MB in 3.01 seconds = 96.21 MB/sec

 

.. for singel disken. Du ser markant forskjell.

 

men innebygd kan jo bety så mangt, mange måter å koble en innebygd kontroller til resten av systemet.

..hvis kontrolleren er innebygd i hovedkortet? :hmm: Tror jeg har repetert det ganske mange ganger her..

 

Sjekket hdparm /dev/md1, men får ingen output på om DMA er aktivert. Ville nesten tro det siden /dev/sda er normal.

 

 HDIO_GET_32BIT failed: Invalid argument
HDIO_GET_UNMASKINTR failed: Invalid argument
HDIO_GET_DMA failed: Invalid argument
HDIO_GET_KEEPSETTINGS failed: Invalid argument
readonly	  =  0 (off)
readahead	 = 256 (on)
geometry	  = 5696/2/4, sectors = 3907039744, start = 0

Lenke til kommentar
m0g1e

m0g1e

Skrevet
  • Forfatter
Skrevet

Jo, btw: DMA ser ut til å være aktivert.. (om jeg ikke har misforstått noe voldsomt :p)

 

[	0.000000]   DMA			 0 ->	 4096
[	0.000000]   DMA zone: 32 pages used for memmap
[	0.000000]   DMA zone: 0 pages reserved
[	0.000000]   DMA zone: 4064 pages, LIFO batch:0
[   36.507067] sata_sil 0000:01:08.0: Applying R_ERR on DMA activate FIS errata																			  fix
[   36.509717] ata1: SATA max UDMA/100 mmio m1024@0xfbfff000 tf 0xfbfff080 irq 2																			 1
[   36.509719] ata2: SATA max UDMA/100 mmio m1024@0xfbfff000 tf 0xfbfff0c0 irq 2																			 1
[   36.509722] ata3: SATA max UDMA/100 mmio m1024@0xfbfff000 tf 0xfbfff280 irq 2																			 1
[   36.509724] ata4: SATA max UDMA/100 mmio m1024@0xfbfff000 tf 0xfbfff2c0 irq 2																			 1
[   37.836188] ata5: PATA max UDMA/133 cmd 0x1f0 ctl 0x3f6 bmdma 0xe800 irq 14
[   37.836190] ata6: PATA max UDMA/133 cmd 0x170 ctl 0x376 bmdma 0xe808 irq 15
[   38.175042] sata_nv 0000:00:07.0: Using ADMA mode
[   38.176419] ata7: SATA max UDMA/133 cmd 0x9f0 ctl 0xbf0 bmdma 0xd400 irq 19
[   38.176421] ata8: SATA max UDMA/133 cmd 0x970 ctl 0xb70 bmdma 0xd408 irq 19
[   38.685472] ata7.00: ATA-8: ST31000340AS, SD15, max UDMA/133
[   38.722966] ata7.00: configured for UDMA/133
[   39.235138] ata8.00: ATA-8: ST31000340AS, SD15, max UDMA/133
[   39.275122] ata8.00: configured for UDMA/133
[   39.275319] sata_nv 0000:00:08.0: Using ADMA mode
[   39.275955] ata9: SATA max UDMA/133 cmd 0x9e0 ctl 0xbe0 bmdma 0xc000 irq 16
[   39.275957] ata10: SATA max UDMA/133 cmd 0x960 ctl 0xb60 bmdma 0xc008 irq 16
[   40.050663] ata9.00: ATA-8: WDC WD3200BEVT-22ZCT0, 11.01A11, max UDMA/133
[   40.084440] ata9.00: configured for UDMA/133
[   40.594306] ata10.00: ATA-8: ST31000340AS, SD15, max UDMA/133
[   40.634276] ata10.00: configured for UDMA/133

Lenke til kommentar
m0g1e

m0g1e

Skrevet
  • Forfatter
Skrevet (endret)

Uansett, ser det ut som at jeg hiver meg på en teradisk til, samt en RAID-kontroller kort.

 

Spm er så hva trenger jeg å investere i?

 

Priguide'r litt på noen av diss:

HighPoint RocketRAID 2320

Adaptec RAID 1430SA

HighPoint RocketRAID 2300

Promise FastTrak TX4650

 

Er litt nyskjerrig på hvor grensen går før jeg vil merke noe "ytelsehopp" på de forskjellige kontrollerne. :)

 

Takk for øvrig med hjelpen så langt!

Endret av mogie
Lenke til kommentar
Varj

Varj

Skrevet
Skrevet
men innebygd kan jo bety så mangt, mange måter å koble en innebygd kontroller til resten av systemet.

..hvis kontrolleren er innebygd i hovedkortet? :hmm: Tror jeg har repetert det ganske mange ganger her..

 

det at den fysisk sitter på hovedkortet sier lite om hvordan den er koblet til, pci, pci-ex etc

 

du må selvsagt gjerne bruke penger på en hardware raid kontroller, men det hadde vært hakket mer interessant å finne problemet.

Lenke til kommentar
m0g1e

m0g1e

Skrevet
  • Forfatter
Skrevet (endret)

Da er det fint med forslag også til hva jeg bør se etter! :)

 

Forsøkt å sette IDE UDMA i bios fra disabled til enabled,

samt sette silicon 3114 kontrolleren fra "SATA"-->"SATA RAID 0,1,05.." modus, uten at jeg tror det har noen stor betydning.

 

Har gått igjennom hele BIOS og alt ser tilsynelatende ok ut.

 

Kjørt hdparm -tT /dev/md1 utallige ganger. Rett etter bootup var Timing buffered disk read alt fra 800kB/s - 37MB/s. Men har nå stabilisert seg på de tidligere resultatene:

 

Timing cached reads: 2326 MB in 2.00 seconds = 1164.30 MB/sec

Timing buffered disk reads: 112 MB in 3.00 seconds = 37.30 MB/sec

  • Kan det være drivere som er problemet? Ville tro disse er greie i Ubuntu.
  • HDD overflate? Vil uansett kjøre en scan nå.
  • Få gjerne flere forslag. :)

litt lspci info:

  • RAID bus controller: Silicon Image, Inc. SiI 3114 [sATALink/SATARaid] Serial ATA Controller (rev 02)
  • ISA bridge: nVidia Corporation CK804 ISA Bridge (rev a3)
  • SMBus: nVidia Corporation CK804 SMBus (rev a2)
  • IDE interface: nVidia Corporation CK804 Serial ATA Controller (rev a3)

Endret av mogie
Lenke til kommentar
m0g1e

m0g1e

Skrevet
  • Forfatter
Skrevet (endret)

Kanskje litt mer interessant info: Kjører hdparm på hver enkelt av raid5 diskene og outputen er alt fra fra 60-100MB i Timing buffered disk read.

 

Det er noen merkbare forskjeller på diskene i raidet. Men jo flere tester jeg gjør her, jo mer jevne blir resultatene: Akkurat nå ligger alle 3 diskene på rundt 87 MB/sec.

På /dev/md1 forblir resultatene på rundt 39.82 MB/sec.

 

Akkurat nå er alle diskene satt tilbake på Silicon 3114 kontrolleren som var utgangspunktet. (som foreløbig gir best resultater)

 

Videre til /etc/fs. Er det noen parametere/tags jeg kan ha glemt her som kan være årsaken?

 

## /dev/md1
UUID=83d287e4-0b19-470d-8f2a-3563cc07f443	   /mnt/tera	   xfs rw 0 0

Endret av mogie
Lenke til kommentar

Opprett en konto eller logg inn for å kommentere

Du må være et medlem for å kunne skrive en kommentar

Opprett konto

Det er enkelt å melde seg inn for å starte en ny konto!

Start en konto

Logg inn

Har du allerede en konto? Logg inn her.

Logg inn nå
Gå til emneliste
×
×
  • Opprett ny...