BSD/UnixLitt om ytelse på ZFS

[stigfjel]

I sommer skaffet jeg jobben min en filserver. Det var en Dell PowerEdge 1950 med et PowerVault MD1000 diskrack for SAS/SATA. I den står det 6x750 GB SATA-disker. I helgen ble den satt opp med Solaris 10 8/07 (Update 4). Diskene ble konfigurert som enkelstående hvor diskene ble satt i et ZFS-pool (raidz eller raidz2), eventuelt med en i hotspare. RAID'et lå i ZFS-poolet. Mine kollegaer gjorde lese/skrivetester på poolet, og resultatet var svært oppsiktsvekkende.

 

Skriveytelse lokalt: 220 MB/s

Leseytelse lokalt: ca 300 MB/s

 

Spec's på filserveren

 

Intel Xeon E5335 2.0 GHz quad-core

4 GB RAM type FB-DIMM

2x Broadcom Server NIC (ikke sikker på modell)

2x73GB Hitachi 15k SAS (satt opp i hardware mirror)

PERC 5/i (kontroller for interne disker i PE1950)

PERC 5/E (kontroller for MD1000)

6x750GB SATA (satt opp som enkelt-disker i kontrolleren.

 

Hva synes dere om disse resultatene? Ikke verst, hva?

Endret 17. september 2007 av stigfjel

[Flexo]

nei, det var satan meg bra det der..

[Lufen]

Rimelig gode resultater det der.

Hadde vært morro å se hva du hadde fått dersom det hadde vært 6x SAS disker istedet:P

[stigfjel]

nei, det var satan meg bra det der..

9514373[/snapback]

Først trodde jeg at jeg så feil, men det gjorde jeg tydeligvis ikke da jeg pratet med kollegaen min. Så det betyr vel at ZFS ikke akkurat har problemer med ytelse...

 

Edit:

 

@lufen: du sier noe der, ja. Men med SAS hadde prisen skutt til himmels. Og når vi uansett får slike resultater, og det jobber 20 personer der, hva skal man med SAS da?

 

Vi fant ut at for å kunne nærme oss full utnyttelse så må vi bruke 2x1 Gbps nettverk på serveren.

Endret 17. september 2007 av stigfjel

[Sokkalf™]

Knallbra det der ja. ZFS krever dog en del mer CPU-kraft enn de fleste andre filsystemer pga checksummingen osv, men det er neppe noe problem når jeg ser specsa på den maskinen der.

[stigfjel]

Knallbra det der ja. ZFS krever dog en del mer CPU-kraft enn de fleste andre filsystemer pga checksummingen osv, men det er neppe noe problem når jeg ser specsa på den maskinen der.

9514527[/snapback]

Om nødvendig kan man hive inn enda en quad-core CPU. Så det mangler ikke på CPU-kraft. Og dermed ser man plutselig nytten av flerkjerne-prosessorer.

[Lufen]

Minne er vell kansje det som maskinen burde få mer av, før ekstra CPU. 4GB minne er jo ikke så mye lenger

[stigfjel]

Minne er vell kansje det som maskinen burde få mer av, før ekstra CPU. 4GB minne er jo ikke så mye lenger

9515680[/snapback]

Det er ikke noe problem. Serveren har 8 RAM-slotter, og de 4 GB RAM er fordelt på bare 2 brikker. Dermed kan jeg makse med 16 GB RAM om nødvendig, uten at det koster så alt for mye. Man må begynne et sted, og 4 GB RAM er et godt utgangspunkt.

 

Edit:

 

@sokkalf: det er en av grunnene til at jeg vil ha en quad-core på min personlige filserver som jeg planlegger (som også skal kjøre Solaris). Solaris utnytter SMP ganske bra, og det er i slike sammenhenger man virkelig ser fordelen av en mulitcore CPU. Har imidlertid måttet utsette det prosjektet grunnet at jeg ikke får studielån og må finne meg en jobb.

Endret 17. september 2007 av stigfjel

[Sokkalf™]

Hehe, hver sin lyst. Filserveren min har en 600MHz Pentium 3, og den er idle mesteparten av tiden, men man har vel forskjellige behov.

[stigfjel]

Hehe, hver sin lyst. Filserveren min har en 600MHz Pentium 3, og den er idle mesteparten av tiden, men man har vel forskjellige behov.

9516474[/snapback]

Xeon X3210 er ganske så rimelig for tiden. Koster ikke stort mer enn en vanlig dual-core CPU, og er mer enn kraftig nok. Men, det er en annen historie. Håper disse resultatene gir en idé om hvordan ZFS duger.

[slettet_konto]

kan jeg spørre hvor mye dere betalte for maskina ?

[stigfjel]

kan jeg spørre hvor mye dere betalte for maskina ?

9525914[/snapback]

Listeprisen for det oppsettet lå på over 76000 kr + mva, men jeg prutet den ned til ca 55000 kr. Det var ikke mulig å replikere oppsettet 100% på nettet i forhold til det oppsettet jeg fikk, derfor fikk jeg ingen nøyaktig pris på nettet. Kjørte anbudskonkurranse hvor flere aktører knivet om å få tilslaget, og da falt prisene drastisk.

 

Edit: listeprisen på det nærmeste jeg kom var på ca 76000 samlet, men oppsettet jeg fikk inneholdt ekstra fordyrende faktorer.

Endret 19. september 2007 av stigfjel

[slettet_konto]

med litt mer minne og et SAN kunne dette være en ideel maskin for en VMware Server ESX derfor jeg spør .

[stigfjel]

med litt mer minne og et SAN kunne dette være en ideel maskin for en VMware Server ESX derfor jeg spør .

9526006[/snapback]

Serveren er heldigvis modulær, og kan bygges ytterligere ut. Jeg kan bruke inntil 3 diskrack på den serveren. Det var derfor jeg endte opp med denne løsningen. Satte den opp nettopp med tanke på senere oppgraderinger, slik at den kan skalere i lang tid fremover uten at kostnadene blir for store.

 

Edit: men denne tråden handler om hvor høy ytelse jeg fikk med ZFS. Er ganske sikker på at ytelse kan bli enda høyere hvis man bruker flere og raskere disker.

Endret 19. september 2007 av stigfjel

[slettet_konto]

men har nå en super server til den bruken på jobb uansett

 

Har en HP ProLiant DL385 G1

4CPU x 2,205GHz AMD Opteron

8 GB ram

 

denne drifter 20 servere og har et stort SAN for lagring

 

EDIT : litt off-topic , beklager

Endret 19. september 2007 av ogger