FreeNAS og utviding av RAIDZ2

[Bjonness406]

Jeg tar heller backup av det jeg trenger, og tar sjansen(svært usannsynlige sjansen) at zpoolen ryker, enn å sitte med én disk med hallveis data. Delvise data har liten/ingen verdi for min del. Og nei, jeg vil ikke si det er sikrere. Backup må man ha uansett.

Hva bruker du/hvordan tar du backup?

Endret 22. august 2015 av Bjonness406

[strike_]

Jeg gidder ikke sitere alle for det blir en lang post.

Sokkalf:

1: Det vet jeg, men jeg trodde det var freenas vi snakket om i denne tråden.

2: Det visste jeg ikke, hvis man kan miste 2 hele mirrors som du sier, så er jo det supert!

 

siDDis: Her kom du med mye bra informasjon, som jeg må sjekke ut, det takker jeg for.

 

Uten å ha sjekket ut all informasjonen så kan jeg vel ikke lenger si at unRAID er bedre, ut i fra det JEG visste så så det bedre ut på papiret, men jeg må nok sjekke ut ZFS selv på en annen box om jeg skal bli tilfredsstilt. Men jeg setter pris på å lære noe nytt, så det kan jo bli spennende.

 

Edit: Man har jo muligheten til å velge BTRFS i unraid, men jeg vet for lite om det filsystemet til å si at det kan bli bedre enn ZFS, men noen like funksjoner har de jo uten å ha lest meg opp på det

Endret 22. august 2015 av strike_84

[siDDis]

 

Jeg tar heller backup av det jeg trenger, og tar sjansen(svært usannsynlige sjansen) at zpoolen ryker, enn å sitte med én disk med hallveis data. Delvise data har liten/ingen verdi for min del. Og nei, jeg vil ikke si det er sikrere. Backup må man ha uansett.

Hva bruker du/hvordan tar du backup?

 

 

ZFS send/receive?

Endret 22. august 2015 av siDDis

[Joachim Vadseth]

Jeg vil påstå dere har hijacked tråden min

 

Hva kan jeg forvente i i/o egentlig med 4-5 disker i RAIDZ2? Har egentlig ikke testet da jeg har hatt litt mangel på data xD Får ca 60mbps nå over gigabit med 4 disker i degraded mode på store filer. Tidligere med Openfiler hadde jeg opp mot 90-100mbps med et fullt fungerende array på 6 disker i RAID5. 

Endret 22. august 2015 av Joachim Vadseth

[kpolberg]

Hva bruker du/hvordan tar du backup?

CrashPlan for laptoper, BackupPC for maskiner som står statisk i VPNet. Og i noen grad zfs send/recv.

 

@Joachim, med IO mener du sekvensiell les/skriv? Jeg ville tippet ca 300 mB/s les/skriv _lett_

 

Enkelt å teste.

 

# dd if=/dev/zero of=/path/til/filsystem/testfil bs=1M count=32768 (skrive test)
# dd if=/path/til/filsystem/testfil of=/dev/null bs=1M (lese test).

Ergo ~2400 mbps Endret 22. august 2015 av kpolberg

[Joachim Vadseth]

Det er vell internt på arrayet? Ikke så jævlig viktig egentlig da det skjer særdeles lite aktivitet inne på selve arrayet. Er hva som kommer ut av nettverkskortet som er relevant, og det er vell heller 100-ish mbps med gigabit ethernet. 

[kpolberg]

Med gigabit ethernet har du teoretisk 1000 mbps eller 125 mB/s, jeg klarer ca 109 mB/s som stemmer relativt bra med hva som er praktisk mulig.

[jonny]

Det er vell internt på arrayet? Ikke så jævlig viktig egentlig da det skjer særdeles lite aktivitet inne på selve arrayet. Er hva som kommer ut av nettverkskortet som er relevant, og det er vell heller 100-ish mbps med gigabit ethernet. 

Med gigabit ethernet har du teoretisk 1000 mbps eller 125 mB/s, jeg klarer ca 109 mB/s som stemmer relativt bra med hva som er praktisk mulig.

 

Stemmer bra med hva jeg får også, her er eksempel på kopiering fra en Ubuntu server med en raidz2-pool (6x4TB) til en Windows-maskin.

 

[Joachim Vadseth]

Noen som har prøvd NIC teaming og fått det til å fungere bra? Hva vil potensiell ytelse være egentlig? Antar 2xGigabit vil være litt for enkelt kanskje..? 

 

Har satt i en 2TB-disk nå og ført over ca 800GB. har 1050GB igjen og det tar jeg i morgen, så begynner vi på scratch! Må få bestilt en 4TB disk til. Hva tjener dersom jeg investerer i 16GB ECC RAM, noen som vet? Har kun to slotter på hovedkortet, så må være 2x8GB moduler Eller bør jeg ha 32GB i og med det blir "16TB med disker"? ZFS krever vell 1GB RAM per TB og x antall GB i bunn? 

[kpolberg]

Jeg kjører teaming gjennom nye teaming driveren. Men det er mest for morroskyld. 1 til 1 overføringer tjener absolutt ingenting på det.

 

Vanskelig å si når det gjelder minne. Selv om ZFS er glad i minne så tipper jeg at du ikke umiddelbart vil merke noen forskjell(jeg har bare 16G på mine 24T(32T hvis man regner med paritets diskene).

[siDDis]

ZFS krevje på ingen måter 1GB per TB. Det køyre heilt fint med bare 2GB ram. Deduplisering derimot krevje minst 5-10GB per TB. ZFS og deduplisering fungerer i mine augo ganske dårleg. Det er treigt, og du tene bare på det i begrensa tilfeller.

[kpolberg]

Hvis jeg ikke husker feil, så koster l2arc og slog også.

[Joachim Vadseth]

Da blir det ikke mer minne med det første. Spørsmålet er om jeg skal kjøpe en eller to disker til.. får jo til RAIDZ2 med 4 disker, så kjøper jeg en til neste lønning så blir det 5. 

[IceHeim]

Vet ikke hvor mye det har å si, men det er stort sett anbefalt å ha 2^n + paritet antall disker. For RAIDZ2 vil det f.eks. bli totalt 4, 6, 10, eller 18 disker.

[siDDis]

Hvis jeg ikke husker feil, så koster l2arc og slog også.

 

Trur ikkje slog krevje noko særlig ekstra, men ja det er sant at L2ARC bruker litt meir ram, då data må mappes mellom L1 og L2

I FreeBSD(FreeNAS) så vil ein sjå denne minnebruken i Header. Denne vil vekse betrakteleg om du har mange små blokkstørrelser eller køyre f.eks recordsize=8k. Bruken her er med blokkstørrelser på ca 64k

Endret 23. august 2015 av siDDis

[Joachim Vadseth]

1stk WD Red 4TB til bestilt. Blir nok en til neste måned. Tenkte også å kjøpe nye sykkelsko, å de koster dobbelt så mye som disken :3

[Joachim Vadseth]

Da var siste 4TB i hus og installert. Har fortsatt 4x2TB disker som fungerer, har 3x av de i systemet nå. Tenkte jeg skulle kjøre RAIDZ1 på de. Så flytter jeg FreeNAS over på USB og setter inn den siste 2TB-en. 

 

 

Er det forresten en måte å klone alt over fra det som nå er et degraded array "pool1" til det nye "pool2"? Tenker på jails, rettigheter osv. 

 

Edit: tror det ordner seg med en "zfs send -Rv pool1@manual-20150828| zfs receive -Fdu pool2" - tro om denne tar med seg både jails og alt? Slipper å gjøre noe som helst med feks Plex? 

 

Edit 2: da var alt i orden! zfs send fikk kun med seg timemachine-opplegget og jail'sa og ikke noe data kanskje ikke så rart ettersom jeg kjørte kun 3 av 5 disker fra "pool1".. uansett hadde alt på en 2TB i destkoppen, selv om store deler av sektorne på den disken tydeligvis var busta (fikk ikke kopiert ut 3-400GB av 1,9TB). 

 

Tror jeg kjøper meg en 4TB til neste måned! 

Endret 29. august 2015 av Joachim Vadseth