BSD/UnixBSD/UnixPlanlegger ZFS / napp-it all in one hjemmeserver

[pal.carlsen]

Først litt bakgrunn:

 

Mitt kjære NAS, Qnap T509 døde forleden. Dermed røyk forbausende mange tjenester jeg har blitt vant til å ha tilgjengelig i heimen. RAID5 med 5x2TB disker holder jo relativt mye data også, men de tror jeg jeg skal klare å hente ut, var nemlig selve HW i qnapen som døde, ikke raidet

 

Dermed ble det nødvendig å skaffe seg noe nytt. Problemet mitt er at qnapen hadde jeg "hacket" med å dytte inn en Intel E7400 (Core2Duo på 2,8 GHz) i stedenfor den slappe celeronen den ble levert med samt økt ram fra 2(eller var det 1?) til 4 GB RAM. Nå, hvor finner jeg et nytt NAS som yter bedre, eller omtrent likt som den fire år gamle boksen min? Ehh, det er jo pokker ikke mulig for betalbare kroner. Er jo bare slappe Atom greier til salgs nå

 

Dermed må jeg tenke nytt, og da blir det nærliggende å bygge selv:) Har kjørt ubuntu server til hjemmebruk i ulike tapninger før, men siden jeg ikke snakker "native cli" så synes jeg det ble for tidkrevende å holde på med. Etter å ha lest litt rundt ble jeg veldig fristet at tanken på en "all-in-one" server.

 

Den foreløpige planen er å bygge en rack server i et 4U kabinett, kjøre ESXi i gratis versjon, installere OmniOS, Napp-it, sette opp zraid og tilby lagringen som ressurser til et en virtalisert windows 2012 server, samt trolig en linux server eller to.

 

Foreløpig hw ser omtrent slik ut:

• Kabinett: Antec 4U22ATX450-2 450W Rack-kabinett
  
• harddisk kontroller: IBM ServeRAID M1015 Kontroller
  
• HK: Supermicro X9SCA-F
  
• RAM: Kingston ValueRAM TS DDR3 PC12800/1600MHz CL11 ECC Reg 4x8GB DDR3-minne
  
• Disker til zraid1: WD RE WD3000FYYZ 64MB 3TB 3,5" x3
  
• Til ZIL i speil: Kingston SSDNow V300 SV300S37A 60GB Solid State Disk (SSD) x 2
  
• Intel Xeon E3-1270v2 3,5GHz Socket 1155 Box
  

http://www.prisjakt.no/list.php?l=51365&view=m

 

Noen synspunkter på dette? Jeg bør kanskje legge til et par "hdd rammer" slik at jeg kan montere 4x3,5 tommer hdd i de 5,25 åpningene i front på 4U kabinettet ?

 

Jeg er også litt i stuss på selve boot disk til ESXi, ser det står at man kan bruke en USB minnepinne, men er det "bra nok" da? Blir man ikke hindret av USB hastigheten her, eller leses det bare fra denne under boot, også ligger ESXi i minne kontinuerlig, dvs ingen ny lesing fra USB? Kanskje ikke nødvendig med redundans/speiling om man booter fra USB stick, da kan man bare ha en kopi liggende i skuffen om det skjer noe? Innspill og anbefalinger mottas med takk. Booter man fra disk, så bør det vel være speilet eller hva?

 

Dedikerte ZIL disker har jeg skjønt man bør vurder for å bøte på problemet med sync write og redusert ytelse fra et RAIDZ. Vil dette være fornuftig i mitt tilfelle? Bør jeg jobbe litt for å finne ssd'er som yter bra og ikke bare ta noen tilfeldige(billige) til denne bruken?

 

ESXi har cap på 32 GB ram, og dermed holdt jeg meg til 1155 og de rimelige prosessorene som stanger i samme max 32 GB ram begrensning. Hvor stor zpool kan jeg lage med oppsettet jeg har skissert? Dvs, omtrent hvor mange TB kan jeg få med anstendig ytelse ved bruk av ZFS på en slik rigg?

 

Edit: feil link på handlekurven.

Endret 30. mai 2013 av pal.carlsen

[endrebjo]

Har du planer om å bruke RAID-funksjonaliteten i RAID-kontrolleren (M1015), eller la ZFS ta seg av alt? Er grunnen til en ekstra SATA-kontroller at du skal ha plass til både nye og gamle disker?

 

Minneforbruk kommer an på hvor mye snacks du har planlagt å bruke i ZFS. Deduplication er det som krever desidert mest minne, men ZFS i seg selv krever også en del. Uten dedup er 1 GB RAM pr. TB lagring en grei tommelfingerregel, med 8 GB som anbefalt minstekrav (uavhengig av lagringskapasitet). Med dedup kan du trenge 5 GB pr. TB, men jeg har også sett estimater i størrelsesorden 3 GB pr. TB. Dedup-table kan plasseres på L2ARC hvis du ikke har plass til mer minne. Andre ting som kan bruke minne er kryptering,

 

Du har heller ikke sagt noe særlig om bruksområdet til NASet. Det er ganske vesentlig for om tuning som dedikert ZIL og/eller L2ARC er nødvendig. ZIL er uansett bare en write-only operasjon når alt fungerer som det skal. Så til ZIL-disker bør du finne noen som er gode på skriving og latency. SLC SSD er ofte foretrukket pga mange write cycles, men er til gjengjeld for dyre. Samme antall write-cycles kan du i prinsippet oppnå ved å overdimensjonere en MLC SSD, f.eks vil en 200 GB MLC SSD ha samme antall write-cycles som en 20 GB SLC med ti ganger høyere oppgitt write-cycles.

 

Er det noen grunn til at du går for OmniOS+Napp-it i stedet for f.eks FreeNAS?

[pal.carlsen]

RAID kontrolleren skal flashes med "IT firmware" slik at den ikke fungerer som et LSI 9211 kort. Poenget her er at virtual passthru skal gi native tilgang til disse diskene i det virtualiserte oset, og dermed kunne bygge zpoolen min opp av "rådiskene" i OmniOs/OpenIndiana eller hva jeg lander på. Jeg vil ha et software raid, og ikke noe hardware raid som gjør meg avhengig av en spesifikk raid kontroller.

 

Jeg har i stor grad basert meg på forslag gitt av _GEA http://hardforum.com/member.php?u=223700" på hardforums samt nettsiden hans, se her:

http://www.napp-it.org/manuals/all-in-one_en.html

Det er også grunnen til at jeg har valgt disse Solaris derivatene, og ikke f.eks FreeNAS, men god mulig at FreeNAS også er et gyldig alternativ.

 

Bruksområdet er i først og fremst som "NAS", dvs holde alle mine ripped cder, DVD(har ikke orket å begynne på ripping av Blu-ray enda), xbmc sentralisert database, transmission server, squezebox server osv osv. Planlegger å kjøre mesteparten av disse tjenestene fra et virtualisert windows 2012 image. Ikke fordi de ikke kan gjøres på ubuntu eller annet, men fordi det koster meg mindre tid i admin siden jeg "kan" windows server uendelig mye bedre en linux kommandoer.

 

Foreløpig lave krav altså. Lagring og streaming av mediafiler krever jo først og fremst bare plass, ikke veldig mye ytelse.

I tillegg ønsker jeg å ha mulighet til å eksperimentere med å sette opp ulike utviklingsimages(både win og linux) i ESXi slik at jeg kan bruke heimen som en simpel lab.

 

Har kjørt pfSense som firewall, router, vpn server osv osv i årevis på avlagt desktop hardware av ulik tappning pluss et ekstra Intel NIC. Utrolig fornøyd med det, men jeg ser ikke bort i fra at jeg kan ønske å eksperimentere med en dedikert vm som kan ta over dette også. Den "compaq deskpro" med P4 prosessor jeg kjører idag er merkelig trofast, men jeg merker at den ikke har helt head-room hvis jeg begynner med IPSec(selv med eget crypto kort fra ebay), i tillegg til Snort ol.

 

Jeg leste litt om ZIL og L2ARC, og så vidt jeg skjønner så er plassen man trenger på ZIL _meget_ begrenset. Dermed er jeg ikke spesielt nervøs for å bruke MLC all den tid ZIL disken aldri vil være i nærheten av full. En dedikert L2ARC disk tror jeg jeg utsetter foreløpig, det putter jeg i et fremtidig tuning/fikling budsjett, hehe.

 

Dedup er helt uaktuelt foreløpig, og kryptering av data er definitivt ikke nødvendig. Har ingen så viktige hemmeligheter hjemme(heldigvis).

[Kamerat]

Foreløpig hw ser omtrent slik ut:

• Kabinett: Antec 4U22ATX450-2 450W Rack-kabinett
  
• harddisk kontroller: IBM ServeRAID M1015 Kontroller
  
• HK: Supermicro X9SCA-F
  
• RAM: Kingston ValueRAM TS DDR3 PC12800/1600MHz CL11 ECC Reg 4x8GB DDR3-minne
  
• Disker til zraid1: WD RE WD3000FYYZ 64MB 3TB 3,5" x3
  
• Til ZIL i speil: Kingston SSDNow V300 SV300S37A 60GB Solid State Disk (SSD) x 2
  
• Intel Xeon E3-1270v2 3,5GHz Socket 1155 Box
  

http://www.prisjakt....?l=51365&view=m

 

Noen synspunkter på dette? Jeg bør kanskje legge til et par "hdd rammer" slik at jeg kan montere 4x3,5 tommer hdd i de 5,25 åpningene i front på 4U kabinettet ?

Du kan ikke bruke registered-minne på dette hovedkortet. Gå for unbuffered i stedet.

 

Kjører selv OpenIndiana med napp-it under ESXi 5.0. Har fungert som bare det det siste 18 måndene med 8x 2TB i RAIDZ2 (bytta ut ene disken denne uka da ZFS hadde funnet den for upålitelig til å være med lenger).

[pal.carlsen]

Well, nå som "Haswell" er på full fart ut i butikkene så må jeg nesten justere oppsettet litt.

 

Endringer blir som følger

• CPU: Intel Xeon E3-1270v3 3,5GHz Socket 1150 Box
  
• HK: Supermicro X10SLM-F
  
• USB boot: Verbatim USB 3.0 Store-N-Go V3 64GB x 2
  

De nye X10 kortene til supermicro støtter USB 3 også så da tenke jeg å boote fra interne usb headers. Det skal så vidt jeg har skjønt fungere utmerket, og så slipper jeg å bruke en egen disk til dette.

 

Til mitt behov så tror jeg at jeg dropper dedikert ZIL i første omgang og heller kjører zfs uten sync. Skal ikke kjører noen viktige DB servere, så da trenger jeg ikke den type sikkerhet(tror jeg). Mulig jeg skal kjøre med en ok ssd som read cache i stedenfor ZIL.

 

Kamerat: Takk for innspill, men jeg tror du tar feil. Det er da definitivt støtte for ECC ram på det HK, samt det nye jeg har plukket fram. Det er mye av grunnen til at jeg valgte det, og jeg vil definitivt kjøre ECC ram for å unngå bit errors.

Se under "System memory":

http://www.supermicro.nl/products/motherboard/Xeon/C202_C204/X9SCA-F.cfm

http://www.supermicro.nl/products/motherboard/Xeon/C220/X10SLM-F.cfm

[Kamerat]

Kamerat: Takk for innspill, men jeg tror du tar feil. Det er da definitivt støtte for ECC ram på det HK, samt det nye jeg har plukket fram. Det er mye av grunnen til at jeg valgte det, og jeg vil definitivt kjøre ECC ram for å unngå bit errors.

Se under "System memory":

http://www.supermicr...204/X9SCA-F.cfm

http://www.supermicr...20/X10SLM-F.cfm

Tror du blander begrepene litt, man får minne med ECC-minne både som UDIMM (unbuffered) og RDIMM (registered). Her er et eksempel på ECC UDIMM: http://www.prisjakt.no/product.php?p=1354232

[Sokkalf™]

Ang. ZIL-device og kjøre ZFS uten sync etc.. har du nok trøkk til at det er noe poeng? (Og om du har noe trøkk å snakke om - er det lurt?)

 

Jeg har nå et ganske tilsvarende oppsett som deg - ESXi 5, OpenIndiana-VM med directI/O til en M1015-kontroller, med 6x 3TB WD RED-disker i raidz2 på.

 

Har 5-6 VMer hvor diskene ligger lagret på ZFS og er montert tilbake til ESXi via NFS (i tillegg 3-4 VMer som er montert på disker som ikke inngår i OI/ZFS). Disse er forsåvidt for det meste temmelig idle - men en kjapp sjekk nå viser at jeg har 300MB/sek sekvensiell les/skriv til raidet, uten å ha gjort noen spesiell tuning av ZFS (OI-VMen har 6GB tildelt RAM).

 

Makser også ut Gigabit-nettverk både til/fra serveren uten problemer, over Samba, NFS. (Linux- og Windowsklienter). Edit: Og dette er med étt "shared" nettverkskort, dvs, alle VMer henger på samme fysiske nettverkskort.

 

Har lekt med tanken på SSDer til ZIL/L2ARC, men kan egentlig ikke se behovet, selv om det åpenbart klør i fiklemuskelen til tider.

Endret 17. juni 2013 av Sokkalf™

[pal.carlsen]

Ang. ZIL-device og kjøre ZFS uten sync etc.. har du nok trøkk til at det er noe poeng? (Og om du har noe trøkk å snakke om - er det lurt?)

 

Jeg har nå et ganske tilsvarende oppsett som deg - ESXi 5, OpenIndiana-VM med directI/O til en M1015-kontroller, med 6x 3TB WD RED-disker i raidz2 på.

 

Har 5-6 VMer hvor diskene ligger lagret på ZFS og er montert tilbake til ESXi via NFS (i tillegg 3-4 VMer som er montert på disker som ikke inngår i OI/ZFS). Disse er forsåvidt for det meste temmelig idle - men en kjapp sjekk nå viser at jeg har 300MB/sek sekvensiell les/skriv til raidet, uten å ha gjort noen spesiell tuning av ZFS (OI-VMen har 6GB tildelt RAM).

 

Makser også ut Gigabit-nettverk både til/fra serveren uten problemer, over Samba, NFS. (Linux- og Windowsklienter). Edit: Og dette er med étt "shared" nettverkskort, dvs, alle VMer henger på samme fysiske nettverkskort.

 

Har lekt med tanken på SSDer til ZIL/L2ARC, men kan egentlig ikke se behovet, selv om det åpenbart klør i fiklemuskelen til tider.

 

Takk for betraktninger Sokkalf, veldig glad for folk med praktisk erfaring med noe tilsvarende det jeg skal bygge.

 

Når det gjelder sync og hvorvidt den bør være av eller på så er det vel ikke være enn å teste først med default som betyr sync == true. Hvis det gir meg for crap hastighet så kan jeg heller skru av sync og tune litt.

 

Men, de hastighetene du snakker om virker jo veldig lovende. Plenty for mitt behov. Er i første omgang spent på hvordan et Windows 2012 wm vil oppleves og respondere i et test/utviklings scenarie. Heng, og treig disk følelse der er døden for produktivitet.

 

 

Grunnen til at jeg konkluderte med at jeg kan skru av sync er at jeg ikke kommer til å kjøre seriøse databaser med hauger av transaksjoner osv og jeg har et ups som gir meg sikring mot strømbrudd. Dermed er det bare hw feil som kan føre til at jeg taper kanskje et sekund eller to i integritet, og det har jeg ingen problemer med å akseptere.