Den "store" FreeNAS tråden

[Lindsay]

Nå er jeg av den typen som mener ECC må benyttes ikke bare for ZFS men andre filsystemer også.

 

Hvilket raidnivå en benytter avhenger av innholdet, selv vil jeg heller ha mirrors enn raidz1,2 eller 3 i et pool.

 

Takker for tipset angående asrock kortet og støtte for ECC.

[Reeve]

Husk at Ryzen APUer ikke støtter ECC.

[Reeve]

Liten oppdatering her: Etter tips fra freeNAS-forumet har jeg endt opp med å kjøpe følgende:

 

Hovedkort: Supermicro X9SRL-F

CPU: Intel Xeon E5 2630L v2

RAM: 8x4GB 1600MHz DDR3 ECC

PSU: EVGA 600W 80+ Bronze

Kabinett: Fractal Design Define R6 (10 interne 3,5 bays)

Boot SSD: Intel 180GB SATA (en jeg har liggende)

HDD: 9x WD RED 4TB 5400RPM

 

Totalpris for hele serveren ble da: kr 13705,-

 

Dette er delvis mulig pga. tilgang på eBay/Amazon i USA for deler av komponentene.

 

Tilsvarende i Norge hadde vært dyrere, og f.eks. nærmeste Synology-løsning (DS 1819+ med 8x WD RED 4TB) hadde endt på ca 21000kr eller mer, og da med 4TB mindre lagring.

 

Kommer tilbake med updates etterhvert som jeg får satt sammen serveren!

[Nimrad]

Liten oppdatering her: Etter tips fra freeNAS-forumet har jeg endt opp med å kjøpe følgende:

 

Hovedkort: Supermicro X9SRL-F

CPU: Intel Xeon E5 2630L v2

RAM: 8x4GB 1600MHz DDR3 ECC

PSU: EVGA 600W 80+ Bronze

Kabinett: Fractal Design Define R6 (10 interne 3,5 bays)

Boot SSD: Intel 180GB SATA (en jeg har liggende)

HDD: 9x WD RED 4TB 5400RPM

 

Totalpris for hele serveren ble da: kr 13705,-

 

Dette er delvis mulig pga. tilgang på eBay/Amazon i USA for deler av komponentene.

 

Tilsvarende i Norge hadde vært dyrere, og f.eks. nærmeste Synology-løsning (DS 1819+ med 8x WD RED 4TB) hadde endt på ca 21000kr eller mer, og da med 4TB mindre lagring.

 

Kommer tilbake med updates etterhvert som jeg får satt sammen serveren!

Virket som en veldig god pris. Hvordan har oppsettet gått?

[Reeve]

Virket som en veldig god pris. Hvordan har oppsettet gått?

Det har stort sett fungert helt utmerket!

 

De fleste komponentene ble kjøpt på USA-tur (CPU, HK, RAM, og harddisker) via Amazon. Strømforsyning og kabinett ble kjøpt i Norge.

 

Bygging og oppsett var enkelt, og installering av freeNAS, samt opprette nettverksstasjon med tilganger gikk greit. Jeg har aldri brukt Linux før, og heller aldri satt opp en nettverksstasjon, så det måtte litt googling til før alt var på plass, men i løpet av noen timer, så var alt oppe og gikk.

 

Jeg hadde regnet med at 16GB RAM gikk fint, men kjøpte 32GB for å sikre meg mot eventuelle defekte brikker. Jeg opplevde ustabilitet, og serverkrasj ved høy last over tid, og fant etterhvert ut at én eller to brikker/DIMM-slots var defekt. I stedet for å feilsøke mer, tok jeg bare ut begge brikkene som produserte feilmeldinger, og har brukt serveren med 24GB minne, som bør være mer enn nok til et pool på 24 TB tilgjengelig lagringsplass.

 

Jeg hadde også et annet problem. Ved én type arbeidsbelastning (scan og skybackup av hele serveren), så frøs serveren og måtte hard-resettes. Jeg fant aldri feilen, men etter et par uker med frustrasjon (serveren frøs etter ca. 1-2 timer med kjøring av backup), kom det ek oppdatering til freeNAS, som fikset problemet.

 

Siden har den fungert helt utmerket, og uten noen problemer. Jeg kan streame 10-15 1080p streams samtidig, uten problemer (ikke at jeg noen gang vil ha behov for dette), og den takler også fint 4K HDR-streaming på lokalnettverket.

 

Det er jo mye annet man kan bruke en freeNAS til, men jeg har kun brukt den til NAS/Plex-server. I fremtiden har jeg tenkt å prøve ut å bruke den som server for f.eks. TeamSpeak-server og lignende.

 

Som sagt har jeg 9x 4TB WD Red-disker, som i rå lagringsplass gir ca. 32,7 TB. Jeg har satt det opp i ZTS2 (tilsvarer mer eller mindre RAID6), som betyr at jeg kan miste opptil to disker, uten noe tap av data. Dette gir meg ca. 24TB utbyttbar lagringsplass, og jeg bruker allerede ca. 18TB, så jeg ser etter oppgradering allerede nå.

 

Neste oppsett tenker jeg blir 10x 10TB disker, også satt opp i ZFS2 (kanskje ZFS3, men det er kanskje overkill).

 

Kjøper jeg disse på en planlagt USA-tur, får jeg disse for 1400kr per disk, og så håper jeg å få solgt diskene jeg bruker i dag for en grei sum (burde være mulig å få 500kr per disk, for WD Red 4TB med under 6mnd brukstid på dem)

[Nimrad]

Neste oppsett tenker jeg blir 10x 10TB disker, også satt opp i ZFS2 (kanskje ZFS3, men det er kanskje overkill).

Jeg har sett litt på finn.no etter supermicro-servere en god stund nå for ca samme bruksområde. Kom blant annet over denne. Jeg er skeptisk til lagringsplassen. Som du også merker, så ryker gigabyte-ene fort når man gjerne vil ha 4K HDR-innhold.

 

Ellers godt å høre at det funker ålreit. Kjører nå en 10+ år gammel QNAP-NAS og den sliter veldig, så alt annet blir jo en oppgradering.

[siDDis]

Eg har ein Supermicro 846 med 24 hot swap, som eg har med enkle grep gjort lydstille. De koster ca 1000kr i frakt per stykk til Norge fra USA.

Ville ha gått for TQ eller A versjonene, ikke de med expander. Expandere har ikke nok båndbredde til SSD'er, bare 4 stykk makser båndbredden.

[Nimrad]

Eg har ein Supermicro 846 med 24 hot swap, som eg har med enkle grep gjort lydstille. De koster ca 1000kr i frakt per stykk til Norge fra USA.

Ville ha gått for TQ eller A versjonene, ikke de med expander. Expandere har ikke nok båndbredde til SSD'er, bare 4 stykk makser båndbredden.

Jeg er jo dessverre ikke teknisk nok til å forstå hva du mener. TQ eller A versjon av hva? Når du snakker om expandere, så tenker du på kort for å utvider lagringsplass?

 

Hva tenker du om kabinettet da? Er det for lite? Jeg kommer til å stue det bort i en bod uansett. Ikke så bekymret for moderat støy.

 

edit: PC-en jeg lenket til kan jeg kjøpte uten HDD-er for 2-3k mindre.

Endret 27. august 2019 av Nimrad

[Reeve]

Jeg er jo dessverre ikke teknisk nok til å forstå hva du mener. TQ eller A versjon av hva? Når du snakker om expandere, så tenker du på kort for å utvider lagringsplass?

 

Hva tenker du om kabinettet da? Er det for lite? Jeg kommer til å stue det bort i en bod uansett. Ikke så bekymret for moderat støy.

 

edit: PC-en jeg lenket til kan jeg kjøpte uten HDD-er for 2-3k mindre.

Ikke undervuuder hvor idiotisk mye server-kjølere kan støye. Jeg hadde originalt en serverkjøler på mitt Supermicro-hovedkort. Og selv om serveren stod i boden i gangen, så var denne såpass støyende at den var hørbar helt inn i stuen, gjennom to dører. Jeg byttet derfor ut denne med en Noctua-kjøler, tilpasset server-socket, som er tilnærmet helt lydløs (hører såvidt en svak summing om man legger øret helt inntil kabinettet).

 

Angående serveren du har postet, og resten, så kan jeg svare mer senere. Jeg vet heller ikke hva TQ eller A-versjon vil si, men jeg antar det enten er varianter av ferdigbygget server (som Supermicro 842), eller kun ekspanderkortet (HBA - Host Bus Adapter) som står i serveren.

 

Jeg synes 7-8 lapper for systemet på finn ser bra ut, men at det har en nokså stiv pris.

[siDDis]

Nei det er backplanet på Supermicro harddisk kabinett, TQ er SATA/SAS, med 24 kabler. Litt rot, men du får full 12Gbps per linje. A er med mini-SAS kontakt, trenger bare 6 kabler som gir 24 lanes. Expandere trenger bare 1 kabel, men du er begrenset til 4x6Gbps for alle 24 disker. SAS3 expandere gir opptil 4x12Gbps.

 

Min er så og si lydløs, bruker resistorer til kabinettviftene, også har eg vanlige kjøleribber på begge prosessorene, og 1x SQ 920 PSU. Kjøler mer enn godt nok og.

[Nimrad]

Ikke undervuuder hvor idiotisk mye server-kjølere kan støye. Jeg hadde originalt en serverkjøler på mitt Supermicro-hovedkort. Og selv om serveren stod i boden i gangen, så var denne såpass støyende at den var hørbar helt inn i stuen, gjennom to dører. Jeg byttet derfor ut denne med en Noctua-kjøler, tilpasset server-socket, som er tilnærmet helt lydløs (hører såvidt en svak summing om man legger øret helt inntil kabinettet).

 

Angående serveren du har postet, og resten, så kan jeg svare mer senere. Jeg vet heller ikke hva TQ eller A-versjon vil si, men jeg antar det enten er varianter av ferdigbygget server (som Supermicro 842), eller kun ekspanderkortet (HBA - Host Bus Adapter) som står i serveren.

 

Jeg synes 7-8 lapper for systemet på finn ser bra ut, men at det har en nokså stiv pris.

Plasseringen av serveren blir i 3.etasje i en bod. Jeg skal ta en sjekk med selgeren ang. støy. 7-8000, ja. Jeg får høre litt om han er åpen for bud. Han kunne trekke fra 3k om jeg vil ha den uten HDD-ene.

[Reeve]

Spørsmål angående resilver/gjenoppbygging av pool:

 

Som jeg har nevnt tidligere i tråden, har jeg i dag en server med følgende specs:

 

HK: Supermicro X9SRL-F

CPU: Xeon E5-2630L v2
RAM: 24GB Hynix 1333MHz ECC (6x4GB sticks)
HDDs: 9x4TB WD Red (alle montert på HK, har ikke sett behovet for HBA når jeg har nok SATA-porter på hovedkortet)

 

Jeg har satt opp alt i ett ZFS2 pool. Jeg planlegger allerede oppgradering av hele serveren, først og fremst diskene, til: 10x10TB white label WD Red (tatt ut fra WD EasyStore 10TB eksterne disker), som også skal stå i ett stort ZFS2 pool.

 

Spørsmålet mitt er; hva slags ytelse kan jeg forvente hvis jeg mister en disk og må bygge opp igjen poolet på nytt?

 

Og kan det være verdt det å oppgradere til en E5-2650 v2, samt 64GB+ RAM?

[siDDis]

Vil nok ikke være forskjell på det nei. Med 80% fullt opp så vil nok scrub/resilver ta 24-48 timer.

Eneste eg kan foreslå som hjelper med ytelse er en Intel 32GB optane som ZIL. Men det kommer veldig an på hva du har av sync writes. Bilder/video kan være full async

zfs set sync=off tank

, mens databaser / virtuelle maskiner bør ha det på standard.

RAM hjelper bare om du har mye random io, igjen database eller virtuelle maskiner. Men også spilldisk, men her kan du også bruke ein partisjon av Optane 32GB som L2ARC.

 

24GB ram er egentlig ganske ok og skal holde i massevis.

Endret 31. august 2019 av siDDis

[Reeve]

Er 24GB RAM greit også ved 100TB raw space/60TB usable ZFS2? Jeg har allerede kjøpt E5-2650 v2, og planlegger å kjøpe 64GB RAM. Det koster "kun" 1100kr for 64GB Hynix ECC 1600MHz DDR3.

Endret 31. august 2019 av Reeve

[siDDis]

ja det fungerer heilt fint, mer RAM hjelper om du har mye random io med små blokker, altså virtuelle maskiner eller databaser

[Reeve]

Postet dette i RAID-tråden for dummies, men det er kanskje mer relevant her. Posten er delvis selvskryt, men også delvis guide/tips til andre. Spesielt det å kjøpe eksterne WD-hardisker på ferie i USA, og fjerne dem fra kabinettet, vil jeg anbefale. Diskene er identisk med WD Red, bare med et annet klistremerke, og koster bokstavelig talt halvparten. Du mister 5 års reklamasjonsrett, men har 2 eller 3 års garanti direkte til Western Digital, som også gjelder selv om du tar disken ut av  det litte eksterne kabinettet, og setter den i en PC/server.

 

Jeg tenkte å komme med en liten oppdatering her. Da er endelig serveren (mer eller mindre) komplett.

Jeg venter fortsatt på HBA-kort slik at jeg kan koble til flere disker enn 10. I dag bruker jeg alle 10 portene til ett stort pool på 10x10TB, og kjører operativsystemet fra en USB-minnepenn. Dette er egentlig en grei løsning, men jeg ønsker mulighet til å sette inn SSD-er til å kjøre VMs fra, men dette er mindre viktig.

Under er specs på serveren i dag:

Hovedkort: Supermicro X9SRL-F (1200 kr)
CPU: Intel Xeon E5-2650 v2 (8C/16T) (600 kr)
RAM: 64GB Hynix 1600MHz DDR3 ECC (1100 kr)
Kabinett: Fractal Design Define XL R2 (900 kr)
PSU: Corsair VS650 (500 kr)
NIC: Intel X540-T2 10GbE RJ45 (800kr)
Boot-disk: Sandisk 16GB USB2 stick (79 kr)
Harddisker: 10x10TB WD Red (såkalt White Label, tatt ut fra eksterne WD Easystore/Elements harddisker) (16500 kr)

Totalpris blir da i underkant av 22,000kr for 100TB raw space. Det er verdt å nevne at hvis jeg skulle kjøpt ny hardware med tilsvarende ytelse, så ville prisen blitt minst det dobbelte (ca. 10,000 kr eller mer for serveren). Nye WD Red 10TB koster ca. 3500 kr per stykk i Norge, så totalpris på serveren, kun nye komponenter, og i Norge, hadde kommet på ca. 45,000 - 50,000 kr. Langt over det jeg var villig til å betale.

Serveren kjører fortsatt freeNAS, med ett stort, kryptert ZFS2 pool. Dette gir meg ca. 67TB brukbar lagringsplass.

Ytelsen er også (etter min mening) god. Jeg overførte flere hundre GB i går, med gjennomsnittlig skrivehastighet på over 500MB/s. Mindre datamengder på under 50-60GB går som regel på 700-1000MB/s, ettersom det først skrives til hurtigminnet (ARC), før det blir dumpet til harddiskene.

Som nevnt før, så er nok 100TB "overkill" for mitt bruk, men det var disse diskene som gav meg flest GB for pengene, og da har jeg nok lagringsplass ut levetiden til diskene. I tillegg fylles de opp av både egne rips av mediasamlingen, i tillegg til GoPro/Dronevideoer (100Mbps bitrate blir fort store filer).

Det neste jeg nå ønsker, er UPS for å gi litt bedre sikkerhet mot strømtap/lynnedslag og lignende. Da er det i utgangspunktet kun brann og vannskade som står igjen som risikofaktorer. Det meste av egenprodusert materiale (drone/gopro/kamerafilming backes også opp i skyen, mens egen mediasamling er ikke kritisk å miste.

 

Edit: Bilder. Jeg synes serveren ser relativt ryddig ut, men ja, du ser litt ketchup- og sennepskabler her og der. Men den trenger heller ikke perfekt, da hele formålet er at den skal stå bortgjemt i boden, og bare fungere.

 

 

 

 

[norsemanGrey]

On 11/10/2019 at 4:12 PM, Reeve said:

Postet dette i RAID-tråden for dummies, men det er kanskje mer relevant her. Posten er delvis selvskryt, men også delvis guide/tips til andre. Spesielt det å kjøpe eksterne WD-hardisker på ferie i USA, og fjerne dem fra kabinettet, vil jeg anbefale. Diskene er identisk med WD Red, bare med et annet klistremerke, og koster bokstavelig talt halvparten. Du mister 5 års reklamasjonsrett, men har 2 eller 3 års garanti direkte til Western Digital, som også gjelder selv om du tar disken ut av  det litte eksterne kabinettet, og setter den i en PC/server.

 

Jeg tenkte å komme med en liten oppdatering her. Da er endelig serveren (mer eller mindre) komplett.

Jeg venter fortsatt på HBA-kort slik at jeg kan koble til flere disker enn 10. I dag bruker jeg alle 10 portene til ett stort pool på 10x10TB, og kjører operativsystemet fra en USB-minnepenn. Dette er egentlig en grei løsning, men jeg ønsker mulighet til å sette inn SSD-er til å kjøre VMs fra, men dette er mindre viktig.

Under er specs på serveren i dag:

Hovedkort: Supermicro X9SRL-F (1200 kr)
CPU: Intel Xeon E5-2650 v2 (8C/16T) (600 kr)
RAM: 64GB Hynix 1600MHz DDR3 ECC (1100 kr)
Kabinett: Fractal Design Define XL R2 (900 kr)
PSU: Corsair VS650 (500 kr)
NIC: Intel X540-T2 10GbE RJ45 (800kr)
Boot-disk: Sandisk 16GB USB2 stick (79 kr)
Harddisker: 10x10TB WD Red (såkalt White Label, tatt ut fra eksterne WD Easystore/Elements harddisker) (16500 kr)

Totalpris blir da i underkant av 22,000kr for 100TB raw space. Det er verdt å nevne at hvis jeg skulle kjøpt ny hardware med tilsvarende ytelse, så ville prisen blitt minst det dobbelte (ca. 10,000 kr eller mer for serveren). Nye WD Red 10TB koster ca. 3500 kr per stykk i Norge, så totalpris på serveren, kun nye komponenter, og i Norge, hadde kommet på ca. 45,000 - 50,000 kr. Langt over det jeg var villig til å betale.

Serveren kjører fortsatt freeNAS, med ett stort, kryptert ZFS2 pool. Dette gir meg ca. 67TB brukbar lagringsplass.

Ytelsen er også (etter min mening) god. Jeg overførte flere hundre GB i går, med gjennomsnittlig skrivehastighet på over 500MB/s. Mindre datamengder på under 50-60GB går som regel på 700-1000MB/s, ettersom det først skrives til hurtigminnet (ARC), før det blir dumpet til harddiskene.

Som nevnt før, så er nok 100TB "overkill" for mitt bruk, men det var disse diskene som gav meg flest GB for pengene, og da har jeg nok lagringsplass ut levetiden til diskene. I tillegg fylles de opp av både egne rips av mediasamlingen, i tillegg til GoPro/Dronevideoer (100Mbps bitrate blir fort store filer).

Det neste jeg nå ønsker, er UPS for å gi litt bedre sikkerhet mot strømtap/lynnedslag og lignende. Da er det i utgangspunktet kun brann og vannskade som står igjen som risikofaktorer. Det meste av egenprodusert materiale (drone/gopro/kamerafilming backes også opp i skyen, mens egen mediasamling er ikke kritisk å miste.

 

Edit: Bilder. Jeg synes serveren ser relativt ryddig ut, men ja, du ser litt ketchup- og sennepskabler her og der. Men den trenger heller ikke perfekt, da hele formålet er at den skal stå bortgjemt i boden, og bare fungere.

 

 

 

 

Bra oppsett! Er alt kjøpt i USA eller bare HD. Syntes resterende HW hadde veldig hyggelige priser ?

[Reeve]

Det meste er kjøpt i USA, men kabinett, PSU og CPU-kjøler er kjøpt i Norge.

Siden posten har jeg imidlertid oppgradert litt til, og da bestilte jeg mer RAM, nytt hovedkort, og en CPU til fra eBay. Dette var uproblematisk. Serveren er litt dyrere, men langt mer kapabel.

Nye specs:

Hovedkort: Supermicro X9DRL-3F (1500 kr)
CPU: 2x Intel Xeon E5-2650 v2 (Totalt 16C/32T) (2x 540 kr)
RAM: 128GB Hynix 1600MHz DDR3 ECC (2200 kr)
Kabinett: Fractal Design Define XL R2 (900 kr)
PSU: Corsair VS650 (500 kr)
NIC: Intel X540-T2 10GbE RJ45 (800kr)
HBA: LSI 9211-8i (IT mode) (300 kr)
Harddisker: 10x10TB WD Red (såkalt White Label, tatt ut fra eksterne WD Easystore/Elements harddisker) (16500 kr)

[Nimrad]

Reeve skrev (1 time siden):

Siden posten har jeg imidlertid oppgradert litt til, og da bestilte jeg mer RAM, nytt hovedkort, og en CPU til fra eBay. Dette var uproblematisk. Serveren er litt dyrere, men langt mer kapabel.

Kjører du VMs eller siden du trenger så heftige specs?

[Reeve]

Nimrad skrev (4 timer siden):

Kjører du VMs eller siden du trenger så heftige specs?

Jeg virtualiserer ja. Kjører freeNAS med 4 fysiske kjerner og 90GB RAM. Resten brukes nå til 2x Win10 VM (en for automatisk medie-ingest, en for Plex), samt en Ubuntu for TS og andre spillservere. I tillegg har jeg planer om å installere OS X, men jeg må først få tak i en MacBook for å laste ned gyldig installasjonsfil av OS X.

Jeg har bare virtualisert (ESXi) i en ukes tid, så jeg kommer nok til å gjøre ting mer effektivt i fremtiden. F.eks. Plex Media Server fungerer knallbra i Windows (bedre enn som Plugin i freeNAS), men langt mindre effektivt. Med like mye dedikerte ressurser, er Windows-basert Plex Media Server ca. 50% "svakere" enn freeNAS. Men det blir vel en slags "brute force"-fremgangsmåte, siden jeg har mer enn nok krefter å ta av.