FreeNAS og utviding av RAIDZ2

[Joachim Vadseth]

Jeg har ett array på 5x2TB-disker hvor den ene disken røyk her en dag så fikk beskjed om at jeg kjørte i degraded. Jeg tok ut disken tvert, uten å gjøre noe som helst i FreeNAS først, i håp om att FreeNAS kanskje kunne ordne opp i det selv på et vis i og med det var 4 disker igjen i arrayet..

 

Så nå har jeg kjøpt meg 3x4TB disker - hva burde jeg gjøre? Bare lage meg ett nytt RAIDZ1 med de tre nye diskene (WD RED forresten, 2TB-diskene er WD Green) og flytte over data og kassere de "udugelige "2TB-diskene, eller utvide mitt eksisterende RAIDZ2 og ikke få utnyttet mer enn 50% av kapasiteten på de nye diskene inntil videre? 

 

 

Var forresten et array på opprinnelig 6x2TB med WD Green i utgangspunktet. Først feilet en disk i RAID5-arrayet mitt i Openfiler, strømbrudd under rebuild og voila der røyk faen meg alt, og så feilet en disk nå ca en måned senere etter att jeg gikk over på FreeNAS. 

 

Hjertelig takk for svar!

[kpolberg]

Siden 2TB diskene dine er såpass ustabile, samtidig som det ikke ser ut til at du kommer til å bytte ut diskene etterhvert som de feiler. Så hadde jeg nok opprettet en ny zpool med ett nytt raidz1.

 

EDIT: Forøvrig stusser jeg over valget ditt av WD RED. Failure raten er jo skyhøy i forhold til f.eks HGST.

 

Kilde: https://www.backblaze.com/blog/best-hard-drive/

Endret 21. august 2015 av kpolberg

[jonny]

Kjøp 3 4TB disker til og opprett et nytt RAIDZ2 :-)

 

Selv benytter jeg 6 x ST4000DM000 (Seagate) i et RAIDZ2 (ikke FreeNAS, men Ubuntu server), disse diskene er jeg svært fornøyd med (jeg betalte ikke mer enn kr 5700,- for dem).

[siDDis]

Pass på når du gjør dette at du ikke lager en dynamisk stripe på det eksisterende raidet

[strike_]

Og kjøp deg en UPS, så slipper du å risikere å miste data under et strømbrudd. En UPS til 1000-1500 kr er en liten og god invistering for å sikre NAS'en din.

 

Hvis du går for å lage et nytt array, så vil jeg annbefale deg å se på et annet NAS OS, siden du likevel starter fra scratch liksom. unRAID er både mer fleksibelt,sikkert og har flere muligheter enn FreeNAS. Ta deg hvertfall bryet med å sjekke ut om det er noe for deg, jeg angrer ikke hvertfall. Du kan jo bruke de 2TB diskene dine til å sette opp et array å sjekke det ut: http://lime-technology.com/

 

For å sitere meg selv:

 

 

Raid er gammeldags, du burde migrere til unRAID hvis du er redd for dataene dine. Der er det nesten komplett umulig å miste all data.. Med mindre alle diskene ryker samtidig da. Per i dag er det single parity, men dual parity er på trappene. unRAID kan sammenlignes med JBOD + parity. Data blir lagret på induvidielle disker med en parity disk for alle disker (snart dual parity). Det vil si at ryker 2 disker samtidig mister du kun data på de 2 diskene og ikke hele arrayet. I motsettning til raid5 der du mister alt om 2 disker ryker. Da dual parity snart er på trappene får du redundansy tilsvarende raid6, bare at hvis 3 disker ryker samtidig, så mister du bare data på de 3 diskene og ikke hele arrayet som med raid6. Siden det er induviduel filsystem på alle diskene kan hver enkelt disk f.eks puttes i hvilken soim helst pc å lese av dataene, noe som ikke vil fungere med raid. Det vil si at ved hardwarefeil, kan du fortsatt få tilgang til alle data ved å bare putte diskene i en annen pc i motsettning til vanlig raid. Har du store array burde du absolutt vurdre unRAID: http://lime-technology.com/

I tilegg til å være en NAS kan du bruke unRAID til viritualisering eller benytte deg av masse community apps. Ved bruk av docker kan praktisk talt alle linux programmer kjøres på unRAID.

 

Jeg angrer ikke hvertfall! Vurderte lenge tradisjonel raid, freenas, nas4free,snapraid, men unRaid trakk det lengtse strået.

 

Jeg vet ikke hvilken hardware du kjører på, men har du en medium/kraftig server så er det litt kjedelig å la den kjøre på halv gass ved å bare være NAS.. Trykk heller gassen i bånn med unRAID og sett opp flere VM'er, f.eks en for gaming med windows, og en for multimedia med Openelec f.eks. Begge med GPU passthrough. NAS,GAMING,MEDIA.. One box to rule them all!

 

Edit: Jeg glemte også å nevne at du kan mixe å trixe med disker så mye du vil i unRAID, så hvis du vil har du et 20TB array med alle diskene dine.

Endret 22. august 2015 av strike_84

[kpolberg]

unRAID er sikkert vel å bra det, men du får jo bare ytelsen til en single disk da. Forøvrig er sjansen for å miste/korrumpere data på grunn av strømbrudd ikke særlig sannsynlig med ett CoW (copy-on-write) filsystem som ZFS.

 

Når det gjelder å kombinere disker slik unRAID gjør oppå ett underliggende filsystem, så er dette gjort i utallige prosjekter, riktignok gjennom userspace. Så akkurat den muligheten er ikke helt spesiell for unRAID. Som ett ekstra lite stikk i siden, hvem baserer seg på ReiserFS i første omgang?!

 

https://en.wikipedia.org/wiki/Copy-on-write

Endret 22. august 2015 av kpolberg

[siDDis]

unraid er latterlig dårleg samanlikna med ZFS, ikkje kom her og sei noko anna.

[kpolberg]

Hehehe, sånn går det når man prøver å være politisk korrekt

[strike_]

unRAID er sikkert vel å bra det, men du får jo bare ytelsen til en single disk da. Forøvrig er sjansen for å miste/korrumpere data på grunn av strømbrudd ikke særlig sannsynlig med ett CoW (copy-on-write) filsystem som ZFS.

 

Når det gjelder å kombinere disker slik unRAID gjør oppå ett underliggende filsystem, så er dette gjort i utallige prosjekter, riktignok gjennom userspace. Så akkurat den muligheten er ikke helt spesiell for unRAID. Som ett ekstra lite stikk i siden, hvem baserer seg på ReiserFS i første omgang?!

 

https://en.wikipedia.org/wiki/Copy-on-write

Jeg sa ikke at det var bare unRAID som kunne kombinere disker, jeg vet godt at det er flere løsninger som støtter dette. Det var tidligere versjoner av unRAID som baserte seg på ReiserFS, med unRAID 6 kan du velge mellom ReiserFS, XFS eller BTRFS så din informasjon er litt utdatert kan du si... Og ReiserFS har et veldig bra trackrecord for å fikse korrupte filer, så det er jo ikke direkte dårlig vil jeg si, dog begynner det å bli utdatert ja. Men hva gjør vel det når man har 2 andre filsysytemer å velge mellom

 

unraid er latterlig dårleg samanlikna med ZFS, ikkje kom her og sei noko anna.

Hehe.. Sier du bare fordi du ikke har prøvd det.. Uansett så har vel vi diskutert ferdig? Du har fortsatt ikke kommet med noe ZFS er bedre på enn unRAID, så jeg velger å la det tale for seg..

Endret 22. august 2015 av strike_84

[kpolberg]

Manglende copy-on-write, dårlig performance (jada jeg vet du kan legge til cache disk), ikke opensource(så langt jeg kan se ihvertfall), var basert på reiserfs (jada jeg vet de bruker xfs som default nå), koster penger.

 

EDIT: Ting ZFS er bedre på..... _alt_

Endret 22. august 2015 av kpolberg

[strike_]

Jeg vet ikke hva performancen ligger på med ZFS, men jeg fikk hvertfall bedre performance med unRAID VS de gamle RAID5 boxene mine. På filer under 4 GB ligger skrivehastigheten min på 80-100+ MB/s på større filer daler riktignok hastighen noe (til 40+ MB/s), men likevel bedre enn mine gamle RAID5 boxer. Hva ligger ZFS på?

 

Greit manglende copy on write skal du få.. Men det er jo bare 1 ting, kansje 2 hvis ZFS slår min ytelse da.. Skal jeg ramse opp hva som er bedre med unRAID? jeg har jo ramset opp en hel del over da så.. Men sikrere, mer fleksibelt og flere muligheter burde ramse opp det meste..

 

Og at det koster penger gjør vel ikke noe, jeg betaler gjerne for noe som er bra. Ikke er det dyrt heller..

Endret 22. august 2015 av strike_84

[kpolberg]

På en ubalansert zpool

Les:

7045133203 bytes (7.0 GB) copied, 13.7298 s, 513 MB/s

Skriv:

17179869184 bytes (17 GB) copied, 30.2018 s, 569 MB/s

Endret 22. august 2015 av kpolberg

[strike_]

Ok, da er det 2 ting som er bedre da. Jeg kunne nok fått bedre ytelse jeg og hvis jeg hadde benyttet cache disk. Men ytelse er ikke alt.

 

Var det alt du hadde? Hva hvis du kjører RAIDZ og 2 disker ryker samtidig da? Mister du hele arrayet da? Jeg har et array på 48TB, ryker 2 disker hos meg mister jeg bare 8 TB data.. det gjør ikke du.. Du mister alt du, uff daa.. Så ZFS sikrere? NEI.

 

ZFS Fleksibelt? Kan ikke utvide arrays uten videre, unRAID takler alt.

ZFS flere muligheter? Kan du bruke din ZFS box til å kjøre praktisk talt alt av linux programmer, kan du kjøre flere VM'er? Eller som jeg sa kan du bruke din ZFS box til NAS+Mediaboks+gaming rigg.. Samtidig?? Ikke det nei...

[kpolberg]

Ok, da er det 2 ting som er bedre da. Jeg kunne nok fått bedre ytelse jeg og hvis jeg hadde benyttet cache disk. Men ytelse er ikke alt.

Neida, ytelse er ikke alt. Men det er fryktelig kjekt og ha det også.

Var det alt du hadde? Hva hvis du kjører RAIDZ og 2 disker ryker samtidig da? Mister du hele arrayet da? Jeg har et array på 48TB, ryker 2 disker hos meg mister jeg bare 8 TB data.. det gjør ikke du.. Du mister alt du, uff daa.. Så ZFS sikrere? NEI.

Med tanke på data integritet(korrupsjon) så er zfs sikrere. Når det kommer til antall paritets disker, så bestemmer jeg det helt selv når jeg setter opp zpoolen. Men du har helt rett, hvis jeg mister 2 disker samtidig i samme vdev i en zpool så vil jeg miste hele zpoolen. Hadde jeg ønsket mer sikkerhet hadde jeg lagt opp mer paritets disker.

ZFS Fleksibelt? Kan ikke utvide arrays uten videre, unRAID takler alt.

Jada, du kan fint utvide en zpool med flere vdevs.

ZFS flere muligheter? Kan du bruke din ZFS box til å kjøre praktisk talt alt av linux programmer, kan du kjøre flere VM'er? Eller som jeg sa kan du bruke din ZFS box til NAS+Mediaboks+gaming rigg.. Samtidig?? Ikke det nei...

Det kan jeg, og det gjør jeg også. Siden jeg har bedre ytelse enn deg, så vil jeg sannsynligvis også kunne kjøre flere VMer enn deg. Når det kommer til gaming, så er du prisgitt at du har VT-d støtte eller HVM for AMD cpu. I så måte er det også flere problemer VFIO og diverse GPUer, så du skal ha tunga rimelig rett i munnen. Men det går fint an.

[strike_]

Jeg har ikke testet ZFS, men hvordan kan du si at det er sikrere gitt at du mister alle disker du kan miste? Meg bekjent kan du velge bare RAIDZ/RAIDZ2/RAIDZ3 (jeg tar ikke med de andre) med ZFS altså 1/2 eller 3 paritets disker.. eller? Si at du kjører RAIDZ3 da og mister 4 disker så mister du fortsatt hele arrayet.. Det gjør man ikke med unraid. Du mister bare de diskene du mister (hvis du mister mer en 1 da) hverken mer eller mindre. Er ikke det sikrere? Har du et array på 12*4TB vil du vel heller miste 16TB enn 48TB? Og hvis du velger BTRFS så er du vel sikret mot korrupsjon også?

 

I tilegg ved hardware feil kan du sette hvilken som helst disk i hvilkensom helst pc og få lest av data. Kan du det med ZFS?

 

Kjører du freenas som guest? Eller sier du at du kan lage VM'er i freenas? Kan du kjøre alle linux programmer i freenas? Jeg bare spør får du har jo ikke sagt noe om ditt oppsett..

 

Edit: Kan jo også legge til at de fleste som kjører unRAID har vært borti ZFS tidligere og det må det jo være en grunn til, at de valgte å bytte mener jeg.

Endret 22. august 2015 av strike_84

[Joachim Vadseth]

God morgen godt folk! Det var da voldsomt til respons og diskusjon her!  

 

Jeg gikk for WD Red fordi det var de jeg kom på i farta da jeg bestilte etter noen videoer jeg så på Youtube, pluss at HGST var litt dyrere (200kr er nok verdt det..). 

 

Jeg kjører blant annet Plex og forskjellig på FreeNASen og Xbox One til avspiller. Så langt er jeg egentlig fornøyd med FreeNAS. 

 

HW jeg kjører på er et Zotax H67ITX med 6stk SATA-porter, en i3-T-ettellerannet 2,3GHz tror jeg og kun 8GB ikke-ECC RAM. har en 2-porterst Juniper diskkontroller som OS-disken henger på (ja kunne nok kjørt OS på USB men..)

 

Det jeg tror jeg gjør er å sette en av de to 2TB-diskene mine inn i min stasjænre PC, flytte over all data (kun 1,4TB eller noe slikt siden jeg mistet alt her for leden) over på en av de diskene (regner med disken fungerer fint, for det er vell slik at RAID-løsninger er litt mer følsom for sektorfeil o.l enn ved en standalone-disk?), tar ut alle 2TB-diskene for å være sikker og sette inne de tre 4TB-diskene og starte fra scratch med et RAIDZ1, eller jeg kjøper en til for å få et RAIDZ2. 

 

Har egentlig litt lyst på en HP Microserver Gen8 og ta det derifra, med 16GB ECC RAM. 

[IceHeim]

På en ubalansert zpool

Les:

7045133203 bytes (7.0 GB) copied, 13.7298 s, 513 MB/s

Skriv:

17179869184 bytes (17 GB) copied, 30.2018 s, 569 MB/s

 

Hvilke kommandoer er det du brukte for å teste den ytelsen?

 

Har et 10 x 4 TB RAIDZ2 system med 16 GB RAM. Sekvensielle overføringer over nett utnytter omtrent kapasiteten på 1 Gbit, men synes mappelisting med mange mapper/filer (eks. 1000) kan ta litt tid. (Går f.eks. vesentlig raskere på en enkel intern snurredisk.) Overføring av mange småfiler går heller ikke spesielt raskt. Har du noen forslag på hvordan forbedre dette? 

Har tidligere hatt systemet på både 4 og 8 GB RAM og det har blitt mer responsivt med mer så går an å doble til 32 her.

 

HW:

Asus Maximus V gene, Z77

i5 2500k

Areca 1280ML

10x WD RED 4 TB

16 GB DDR3

[Sokkalf™]

Jeg har ikke testet ZFS, men hvordan kan du si at det er sikrere gitt at du mister alle disker du kan miste? Meg bekjent kan du velge bare RAIDZ/RAIDZ2/RAIDZ3 (jeg tar ikke med de andre) med ZFS altså 1/2 eller 3 paritets disker.. eller? Si at du kjører RAIDZ3 da og mister 4 disker så mister du fortsatt hele arrayet.. Det gjør man ikke med unraid. Du mister bare de diskene du mister (hvis du mister mer en 1 da) hverken mer eller mindre. Er ikke det sikrere? Har du et array på 12*4TB vil du vel heller miste 16TB enn 48TB? Og hvis du velger BTRFS så er du vel sikret mot korrupsjon også?

 

I tilegg ved hardware feil kan du sette hvilken som helst disk i hvilkensom helst pc og få lest av data. Kan du det med ZFS?

 

Kjører du freenas som guest? Eller sier du at du kan lage VM'er i freenas? Kan du kjøre alle linux programmer i freenas? Jeg bare spør får du har jo ikke sagt noe om ditt oppsett..

 

Edit: Kan jo også legge til at de fleste som kjører unRAID har vært borti ZFS tidligere og det må det jo være en grunn til, at de valgte å bytte mener jeg.

 

Et par poenger her:

1. Du må ikke bruke FreeNAS for å få ZFS. Jeg har ZFS på Ubuntu, det funker helt fint.

2. Du kan kombinere "raid levels" på ZFS. Dvs at du f.eks kan ha et 3-veis mirror som inneholder 3 raidz2 vdevs med f.eks 6 disker hver. Da kan du miste 2 disker i hver raidz2 vdev og fortsatt ha dataene dine, og du kan også i worst case miste 2 hele mirrors (12 disker) + 2 disker i mirroret som er igjen, altså 14 av 18 disker, uten å miste data.

Hvordan man kombinerer for å få en god kombinasjon av økonomi og sikkerhet, er opp til en selv.

[siDDis]

ZFS checksummer alle datablokker og har diverse in memory protecting options som sørger for at dataen din er verna frå ende til ende. Silent bit corruption skjer ofte, av diverse årsaker som software feil, feil i psu, feil ved kabler, firmware feil, straumbrot, elektromagnetisk stråling. Denne dekninga er gull verdt.

 

Billige < 1s snapshots er ein anna ting som er gull verdt. Med det kan eg lage fin historikk over dataen min og rulle tilbake om eg skulle vere så uheldig å trykke på delete knappen for mange gonger.

 

Smart cache, du har lvl 1 og lvl 2, cachen bruker også LZ4 compression.

 

Realtime compression, f.eks med LZ4 så kan ein fort oppleve lesehastigheitar på 5 GB/s, samtidig som ein sparer på mykje plass. For databaser så er LZ4 ein heilt vill performance boost.

 

Dynamiske blokkstørrelser, så du kan tilpasse dataen etter små random IO eller sekvensiell IO.

 

Enkel backup med send og receive for snapshots. Du sender over endringane siden sist som gjer at backupprosessen går mykje fortare.

 

Alle skriveoperasjonar er transaksjonelle, ergo du trenger aldri fsck.

 

Dynamisk striping av vdevs, høgare performance, og trenger heller ikkje å tenke på at vdevene skal vere prikk like.

 

Muligheter for å lage volumer som kan f.eks formateres med andre filsystemer(men framleis vere verna med ZFS også kan man framleis bruke compression)

 

Og sjølvsagt så er det mykje meir.

[kpolberg]

Jeg har ikke testet ZFS, men hvordan kan du si at det er sikrere gitt at du mister alle disker du kan miste? Meg bekjent kan du velge bare RAIDZ/RAIDZ2/RAIDZ3 (jeg tar ikke med de andre) med ZFS altså 1/2 eller 3 paritets disker.. eller? Si at du kjører RAIDZ3 da og mister 4 disker så mister du fortsatt hele arrayet.. Det gjør man ikke med unraid. Du mister bare de diskene du mister (hvis du mister mer en 1 da) hverken mer eller mindre. Er ikke det sikrere? Har du et array på 12*4TB vil du vel heller miste 16TB enn 48TB? Og hvis du velger BTRFS så er du vel sikret mot korrupsjon også?

 Jeg tar heller backup av det jeg trenger, og tar sjansen(svært usannsynlige sjansen) at zpoolen ryker, enn å sitte med én disk med hallveis data. Delvise data har liten/ingen verdi for min del. Og nei, jeg vil ikke si det er sikrere. Backup må man ha uansett.

 

EDIT: Altså, zpoolen kan bli så sikker som jeg ønsker det. Jeg kan kombinere vdevs i alle mulige kombinasjoner, slik at sjansen for at zpoolen skulle kunne dette ned er minimal. Nei jeg kan ikke hente ut data fra én enkeltdisk, men det er også helt uvesentlig for min del.

 

siDDis sin post over summerer ganske greit opp. Men for min del er det snapshots, send/recv, zvols og checksumming som er viktige.

 

Funksjoner som dedup, l2arc, slog/zil og til tider compression krever at du skjønner hva slags data som drar nytte av disse funksjonene, og i noen tilfeller kan de faktisk gjøre at zpoolen får dårligere ytelse.

I tilegg ved hardware feil kan du sette hvilken som helst disk i hvilkensom helst pc og få lest av data. Kan du det med ZFS?

Jeg kan flytte alle diskene over i en annen maskin, men nei, jeg kan ikke ta en vilkårlig disk i raidsettet.

Kjører du freenas som guest? Eller sier du at du kan lage VM'er i freenas? Kan du kjøre alle linux programmer i freenas? Jeg bare spør får du har jo ikke sagt noe om ditt oppsett..

ZFS on Linux på akkurat denne maskinen, men har også en del Sun servere med ZFS osv.

Edit: Kan jo også legge til at de fleste som kjører unRAID har vært borti ZFS tidligere og det må det jo være en grunn til, at de valgte å bytte mener jeg.

Manglende kunnskap? Ønske om click next løsning? Endret 22. august 2015 av kpolberg