Den "store" FreeNAS tråden

[0laf]

Kjører noe lignende som Plex-server, dog ikke med 100TB, har rett over 30TB brukbar plass med ZFS2.
Har benyttet dette oppsettet i et par år, uten nevneverdig problemer.

Hovedkort : Supermicro X9SCI-LN4F
CPU : Intel Xeon E3-1270V2
Kjøler : Noctua NH-D14
Minne : 4 x Hynix 8GB PC3-1600 ECC (32GB)
Kontroller : LSI 9201-16i kontroller
Harddisker : 14 x WD Red 3TB
Boot-disk : Intel SSD 120gb
Kabinett : Modifisert Corsair Graphite 600T med 3 stk. Icy Dock 5x3.5"->3x5.25" for 15 plasser totalt
PSU : Seasonic Platinum 750w

Mulig det blir en oppdatering etterhvert, serveren er egentlig full, og har måtte flyttet en del ting over på en Qnap for å frigjøre mer plass til nye ting.

X11 er foreløpig alt for dyrt, å det fungerer helt fint med X9-kort og den CPU'en jeg har, det er plassen det skorter på.

Hovedkortet har dessverre bare en PCI-E port, så selv om jeg har en HP HBA liggende, så må både hovedkortet og kabinettet byttes for å få flere disker, så trolig blir det kun å oppgradere til større disker.
3TB var "mest TB per krone" når jeg kjøpte diskene, å for et par år siden hadde jeg trodd 30TB var mer enn nok, men det forsvinner fort.

 

Endret 10. januar 2020 av 0laf

[Nimrad]

Reeve skrev (7 timer siden):

Jeg har bare virtualisert (ESXi) i en ukes tid, så jeg kommer nok til å gjøre ting mer effektivt i fremtiden. F.eks. Plex Media Server fungerer knallbra i Windows (bedre enn som Plugin i freeNAS), men langt mindre effektivt. Med like mye dedikerte ressurser, er Windows-basert Plex Media Server ca. 50% "svakere" enn freeNAS. Men det blir vel en slags "brute force"-fremgangsmåte, siden jeg har mer enn nok krefter å ta av.

Skjønner. Er FreeNAS også virtualisert altså?

[Nimrad]

0laf skrev (6 timer siden):

3TB var "mest TB per krone" når jeg kjøpte diskene, å for et par år siden hadde jeg trodd 30TB var mer enn nok, men det forsvinner fort.

Og du kjører FreeNAS? Du har ikke vurdert Unraid? Jeg valgte det over FreeNAS da det er ekstremt fleksibelt mtp å utvide i etterkant med ny HW. Relativt fersk med unraid, men det er software-raid hvor du ikke må ha samme størrelser på HDD og kan lett legge til/bytte ut HDD-er med større plass i etterkant uten problemer.

[0laf]

Nimrad skrev (5 timer siden):

Og du kjører FreeNAS? Du har ikke vurdert Unraid? 

Vurderte flere andre for noen år siden når jeg satte opp serveren, men ettersom jeg kun bruker dette med Plex, så falt valget på FreeNAS.

[Nimrad]

0laf skrev (2 timer siden):

Vurderte flere andre for noen år siden når jeg satte opp serveren, men ettersom jeg kun bruker dette med Plex, så falt valget på FreeNAS.

Fordelen med unraid er det å kunne legge til lagringskapasitet uten å måtte bytte hele HDD-parken. Det passer egentlig perfekt til en 100% plex-bruker, som får mer og mer data, men ikke ønsker å legge ut for hele lagringskapasiteten ved oppstart. Det var grunnen til at jeg gikk bort fra qnap-serveren min. Måtte liksom kjøpe 3+ HDD-er i slengen uansett.

[Reeve]

Jeg er helt enig og vurderte også Unraid. Når det kommer til utvidelse av lagringsplass, så er det absolutt en fordel. Jeg håper mine 70TB holder i noen år da, bare så det er sagt! Hovedproblemet med Unraid for meg, er ytelse. Såvidt jeg forstår, vil man ikke få høyere ytelse enn kanskje 100 MB/s (maksimalt skrivehastigheten til én av diskene, men ofte lavere), som virker å være en for stor begrensning for meg. Leseytelsen er vel også tilsvarende, Ettersom hver enkelt fil er lagret på en enkelt disk?

Utenom dette, så kan jeg vurdere Unraid. Finnes muligheten for effektiv og transparent caching av lagring på Unraid? Jeg har sett løsninher hvor all ny data lagres på en raskere enhet, eksempelvis en NVMe-SSD, men det virker som om dataen periodevis overføres til harddiskene. Jeg klarer ikke se at det finnes dynamisk og kontinuerlig cache-muligheter?

Vurtualiseringsmulighetene til Unraid er også langt, langt bedre enn freeNAS sine. Hadde unraid vært raskere, hadde valget for meg vært enkelt.

[Nimrad]

Reeve skrev (1 time siden):

Finnes muligheten for effektiv og transparent caching av lagring på Unraid? Jeg har sett løsninher hvor all ny data lagres på en raskere enhet, eksempelvis en NVMe-SSD, men det virker som om dataen periodevis overføres til harddiskene. Jeg klarer ikke se at det finnes dynamisk og kontinuerlig cache-muligheter?

Vurtualiseringsmulighetene til Unraid er også langt, langt bedre enn freeNAS sine. Hadde unraid vært raskere, hadde valget for meg vært enkelt.

Mine VMs er kun på SSD, så det går kjapt.

Hva gjelder lese/skrivehastigheter generelt så holder 100MB/s i massevis for meg uansett, men cache-disker er nesten obligatorisk på unraid, ja. Jeg har 2 SSD-er. Den ene er cache og lagring av app-data, mens den andre er forbeholdt VMs. Mover-en (som flytter data fra cache til array) må settes opp til å flytte ved faste intervall, ja. Jeg gjør det daglig, og får da NVMe-hastigheter helt til jeg eventuelt har lastet inn 500GB på en dag til serveren. Så ekstremt bruksmønster har jeg ikke.

[siDDis]

Kva skal ein med Unraid når ein med ZFS(FreeBSD/FreeNAS) får

1ms snapshots

live compression av data

self healing av data (veldig praktisk ved unclean shutdown)

dynamic block sizes

Mulighet for å utvide read cache og legge til sync write log

Muligheter for å lage nye blokkdisker med sine sære innstillinger (f.eks windows sql server liker bare 4kb blokker)

For windows brukere så er iSCSI kraftig undervurdert og fungerer utrolig bra sammen ZFS.

Trenger eg meir diskplass så kjøper eg 5 nye disker og lager ein ny pool. Men nå kommer snart mulighet for å utvide eit pool i ZFS med ein disk også https://github.com/zfsonlinux/zfs/pull/8853 http://www.open-zfs.org/w/images/6/68/RAIDZ_Expansion_v2.pdf

[Reeve]

siDDis skrev (31 minutter siden):

Kva skal ein med Unraid når ein med ZFS(FreeBSD/FreeNAS) får

Hva bruker du til å virtualisere? Jeg liker freeNAS, men synes det er for svakt til virtualisering. ESXi pluss freeNAS slik jeg kjører det nå derimot, har vært fantastisk!

Og trenger jeg mer plass, så er det så langt frem i tid at jeg kan ta engangsutgiften med ny vdev med 5-10 disker.

Forresten, må vdevs være samme størrelse? Nå har jeg ett svært RAIDz2 pool med 10 stk. 10TB disker. Kan jeg utvide med en ny vdev med f.eks 5 disker i RAIDz1?

[siDDis]

Eg bruker Linux/KVM til virtualisering, så eg har ein maskin nummer 2 til det. Den er tilkoblet NAS'et mitt via 40Gbps nettverk, så all disk-io blir gjort på NAS'et.  Bhyve er enda litt for knotete etter min smak.

Vdev trenger ikke å være samme størrelse, nei. Eit pool trenger heller ikke det, men du får bare plassen til minste disk der.

[Nimrad]

siDDis skrev (På 11.1.2020 den 19.42):

Kva skal ein med Unraid når ein med ZFS(FreeBSD/FreeNAS) får

Det er flere fordeler/ulemper med begge system, men for en som bruker Plex og tenker å utvide array-et gradvis med mer lagring synes jeg det kan være en god ide. Har ikke tenkt å gjøre det til noe "versus"-diskusjon, men for mitt bruk var det ikke noe tvil om at unraid passet bedre

[Boye]

Noen som klarer å kjøre spindown (spinner ned disker over SAS-kontrollere for å spare strøm/varmeutvikling) i XigmaNAS/NAS4Free (RAIDZ2, 6 og 8 disker) uten tilfeldige restarts av VM eller baremetal installasjon når diskene skal spinne opp via lesing eller skriving, sånn ca. 1/10 ganger? Eller noen som kjenner til problemet?

Klarer fint å spinne ned og opp, men innimellom restarter XigmaNAS/NAS4Free = litt småirriterende

Endret 14. januar 2020 av Boye

[The_Lolk_Plays]

Er ikke tilfeldigvis noen som har klart å skaffe seg et kompatibelt 10GBe SFP+ nettverkskort noe sted i norge? Litt pain å vente 3-8 uker på ebay