Kjøp av medieserver til FreeNAS, ZFS

[IceHeim]

Tenkte bygge meg en filserver med passe god plass til å begynne med, og som senere kan utvides uten for mye arbeid.

Tanken er å jobbe ut fra FreeNAS som OS og med ZFS som filsystem med 6 x 4 TB disker i RAID-Z2. Dette skal gi mulighet for at det meste kan administreres gjennom et webgrensesnitt uten større problemer. Har forstått det slik at det med ZFS er smart å bruke ECC minne for å bedre sikre seg mot "silent corruption" av zpoolen. Nå er det sjelden jeg har sett minne med feil, iaf. etter at memtest86 har gitt dem grønt lys, men greit å være på sikre siden. Det vil naturligvis også være backup av kritisk materiale på ekstern enhet.

Har satt sammen en del desktop utstyr før, men tenkte sette sammen litt mer serverkomponenter nå, dette er dog ikke noe jeg har særlig erfaring med så tar imot kommentarer på oppsettet.

Supermicro X10SLH-F
Intel Xeon E3-1230 V3 3.3GHz Socket 1150

Kingston ValueRAM DDR3 PC12800/1600MHz CL11 ECC Intel 4x8GB (KVR16E11K4/32I)

 

Såvidt jeg har forstått er det her ikke nødvendig med noen GPU hverken i prosessor eller som eget ekspansjonskort ettersom hovedkortet har en innebygget, og når den først er oppe og går gjøres jo alt over webgrensesnittet.

Jeg har ingen kjennskap til IPMI, men hovedkortet skal støtte denne protokollen og slik jeg forstår skal mye kunne kontrolleres derfra, selv BIOS.

 

Når det blir tid for utvidelse ser jeg for meg at et kontrollertkort ala LSI 9207 HBA kan fungere godt. Ellers er OS tenkt installert på en minnepinne.

 

[ilpostino]

På hovedkortet du har valgt står det "Integrert grafikkort: Nei" og det samme gjør det på prosessoren.

 

Hva er egentlig forskjellen på å bruke den prosessoren du har lenket til og å bruke en i/ med tilsvarende klokkehastighet?

[ATWindsor]

Må man ikke ha Xeon for å støtte ECC? Eller er jeg litt usikres på det med IPMI remote kvm selv, i prinsippet skal dette være støttet av Intel Vpro, feks om man har c226-chipset og en xeon med innebygd GPU, så man ikke trenger noen spesielt på hovedkortet, men jeg vet ikke om det er sånn i praksis. Altså om alle chipset og cpu-komboer som støtter vpro støtter innebygd kvm, eller om man må ha noe spesiell støtte på selve hovedkortet i tillegg.

 

AtW

[IceHeim]

På hjemmesiden til Supermicro listes det VGA: BMC Integrated Aspeed AST2400. Jeg trodde dette var en veldig enkel integrert GPU og at det dermed ikke burde være nødvendig med hverken et dedikert kort eller GPU i CPU'en. Skulle sistnevnte være nødvendig får jeg heller velge en Xeon som ender på xxx5.

 

Grunnen for Xeon er litt for å være sikker på at det er ECC støtte, selv om i alle fall en del i3 og f.eks. Pentium G2030 også skal ha det.

Endret 27. mars 2014 av IceHeim

[ATWindsor]

På hjemmesiden til Supermicro listes det VGA: BMC Integrated Aspeed AST2400. Jeg trodde dette var en veldig enkel integrert GPU og at det dermed ikke burde være nødvendig med hverken et dedikert kort eller GPU i CPU'en. Skulle sistnevnte være nødvendig får jeg heller velge en Xeon som ender på xxx5.

 

Grunnen for Xeon er litt for å være sikker på at det er ECC støtte, selv om i alle fall en del i3 og f.eks. Pentium G2030 også skal ha det.

 

Joda, men har du låst deg til det hovedkortet? Det koster jo litt kontra features feks?

 

AtW

[IceHeim]

Neida, ikke låst meg til noe egentlig, men trenger noe som støtter minst 32GB ECC minne, har et greit antall sata porter og mulighet for å koble på kort som kan øke dette antallet senere.

[ATWindsor]

Neida, ikke låst meg til noe egentlig, men trenger noe som støtter minst 32GB ECC minne, har et greit antall sata porter og mulighet for å koble på kort som kan øke dette antallet senere.

 

Er 6 ett greit antall for deg? Det tror jeg nesten alle kortene i klassen har, da c22x-chipsettet har 6 innebygd.

 

AtW

[IceHeim]

Jepp, tenkte 6 som minimum slik at en kan få ren 4kB stripe med RAID-Z2. De fleste kortene jeg har sett på har også 6 porter. Enkelte har også mer, men da med en ekstra kontroller.

[siDDis]

ZFS skriver alltid i reine blokker med power of 2. Enten det er 3, 4 eller 5 disker.

[siDDis]

Nå veit eg heller ikkje kva du skal bruke serveren til, men du vil tene meir på å investere i ein SSD disk enn i masse ram.

[IceHeim]

ZFS skriver alltid i reine blokker med power of 2. Enten det er 3, 4 eller 5 disker.

Det er vel sant, jeg uttrykte meg kanskje litt klønete. Poenget er vel å passe på at stripen faller på 4k sektorgrensen til nyere disker. Således skulle RAIDZ2 trenge 2^n+2 disker. 4 disker totalt gir for lite bruksplass, mens 6 disker er ok for nå.

 

Tenker du da at SSD disken skal fungere som RAM? Jeg har prøvd å lese litt rundt og det virker som de fleste går for mye RAM, type 1GB pr. TB lagring; har ikke sett så mye SSD til det formålet.

[siDDis]

Dette med stripe size var det ein som tok opp på Hardforumet for eit par år sidan, det går på block alignment. Det går vell meir på utnyttelsegraden av diskplass enn ytelse. Og om du fyrer på compression så kan det bli heilt annerleis i tillegg om du lagrer data som kan kompremerast. Eg anbefaler uansett sterk å fyre på LZ4 compression, det er ein såpass effektiv algoritme at du auker ytelsen uansett kva slags oppsett/hardware du har.

 

Grunnen for at dei fleste seier 1GB ram per TB lagring er fordi dei ikkje har peiling. ZFS går så det suser med bare 2GB ram sjølv om du har 1PB med lagringsplass.

 

Skal du stort sett bruke dette til datalagring for media, så greier du deg fint med 2GB. Skal du bruke det til andre ting som f.eks database(som og i tillegg er av ein viss størrelse) så hjelper ram veldig på. ECC er heller ikkje påkrevd som mange trur.

[ATWindsor]

1 Gb per TB er vel ett råd som kommer fra oppsett som bruker deduplication, det er vel ikke nødvendig for "vanlige" oppsett. Ellers presenterer vel i praksis fortsatt alle disker 512-sektorer ut til filsystemet, selv om de bruker 4k internt?

 

AtW

Endret 28. mars 2014 av ATWindsor

[siDDis]

Nei idag er 4k vanleg på disker. Så det skrives ikkje lenger mindre enn 4k.

 

1GB per TB for deduplisering er også feil, det er meir nærmare 5-10GB per TB. Og det vil framleis vere kanontreigt. Er deduplisering viktig, så kikk heller på HammerFS. Den har offline dedup som greier fint å fungere med bare 256MB ram.

[IceHeim]

1 Gb per TB er vel ett råd som kommer fra oppsett som bruker deduplication, det er vel ikke nødvendig for "vanlige" oppsett. Ellers presenterer vel i praksis fortsatt alle disker 512-sektorer ut til filsystemet, selv om de bruker 4k internt?

 

AtW

 

Jeg ser ikke bort ifra at 1GB pr TB er overkill for et non-enterprise oppsett for hjemmebruk, men selv på FreeNAS sin egen "manual" så er det den mengden som er oppgitt som anbefalt, selv før deduplication.

http://doc.freenas.org/index.php/Hardware_Recommendations (se også link til post på Hardforumet derfra ang. minnebruk)

 

Selv om harddisker presenterer 512-sektorer til OS, vil det ikke likevel være en idé og mulig ytelsesforbedring å ha skikkelig block alignment fysisk på disken?

 

Om jeg totalt skal gi blaffen i anbefalt minnemengde og støtte for ECC (det meste av ram pleier jo fungere godt om det først er testet OK), så har jeg en eldre maskin med Core Quad Q6600 og 4 GB minne som kan brukes til dette formål. Sånn i første omgang kan diskene bestilles inn og testes i dette oppsettet og skulle det fungere tilfredstillende så har jeg spart meg for en del penger i alle fall. Et mulig ankepunkt med dette er at det hovedkortet har Realtek eller annet non-Intel NIC; har lest at BSD kan være litt kresen om en ønsker topp ytelse.

[siDDis]

Njei! Realtek fungerer som regel fint nok. Det er når du skal bruke iSCSI eller trenger støtte for MTU på 9k at Intel spele inn.

 

Prøv den gamle hardwaren du, eg trur du vil bli positivt overraska

[IceHeim]

Satser på å teste det gamle først da i alle fall. Disker er nettopp bestilt:)

 

Takk for all input folkens!

[sdf123]

Hva endte du opp med her?

 

Har selv en AMD med x4 620 CPU og 6gb ram som jeg lurte på å installere freenas og zfs. Skal brukes som ren filserver.

[stigfjel]

Pass på at du også velger et HK, evt. CPU som støtter KVM-funksjonalitet, som vPro eller IPMI 2.0. En del hovedkort fra Supermicro støtter IPMI 2.0, og tildels også vPro. Straks du får det, vil du neppe se deg tilbake, og du vil spørre deg hvordan i all verden du klarte deg uten det før.

[IceHeim]

Hva endte du opp med her?

 

Har selv en AMD med x4 620 CPU og 6gb ram som jeg lurte på å installere freenas og zfs. Skal brukes som ren filserver.

 

Står nå på hardwaren jeg listet litt lenger opp. Det fungerer rimelig greit, men klarer ikke makse hastigheten ved overføringer. Samba/Cifs begynte rundt 60 MB/s, men har dalt ned til omtrent 40 MB/s ved omtrent 80% fullt zpool. NFS ligger fremdeles rett oppunder 60 MB/s. Har testet og kjører nå med dobbel mengde ram (8 GB), men det ser ikke ut til å utgjøre nevneverdig forskjell. Usikker på hvor flaskehalsen ligger så vet ikke hva jeg skal forandre på for å forbedre dette. Har nå også en Core 2 Duo E8400 og et Gigabyte P45 kort liggende som jeg kan teste ut. Skulle det være billig non-Intel NIC som er synderen vil det neppe hjelpe mye da ettersom begge kortene har det. 40 MB/s er nå stort sett greit nok for min del uansett, men hadde vært fint om den peaket litt nærmere teoretisk verdi.

 

Som stigfjel sier så ville jeg satset på et kort med IPMI om jeg skulle handlet nytt. Har ikke nok skjermkort liggende så må bytte mellom maskiner når jeg vil inn i BIOS for å gjøre endringer eller andre saker, og det blir passe tungvint.

 

Beklager forresten sent svar.

 

Edit: Hovedkortet som blir brukt er et Asus P5K Premium (P35), ser det ikke ble nevnt lenger opp.

Endret 25. april 2014 av IceHeim