BTRFS - Raid og status

[N|troXx]

Hei,

 

hvordan fungerer BTRFS sitt Raid opplegg?

jeg leser at Raid 5/6 støtte ikke er skikkelig på plass, og noe med at Raid 1 for BTRFS er litt det samme som duplicate files i windows.

 

Jeg vil gjerne hive ut windows og legge inn Clearos/Zentyal, men samtidig vil jeg beholde en type Raid funksjonalitet for hurtig sentral lagring og sikring mot HW feil. Har i dag HW raid-5 via Areca Kort og WD Red 3tb disker. Ja jeg har backup via Crashplan til Crashplan server (vurderer Jotta også, men ikke noen linux klient som jeg har funnet). 

 

Noen som har noen tips til hva jeg burde gjøre, og hvilken distro jeg burde gå for og hvorfor?

[AM2petterk]

Hei,

 

hvordan fungerer BTRFS sitt Raid opplegg?

jeg leser at Raid 5/6 støtte ikke er skikkelig på plass, og noe med at Raid 1 for BTRFS er litt det samme som duplicate files i windows.

 

Jeg vil gjerne hive ut windows og legge inn Clearos/Zentyal, men samtidig vil jeg beholde en type Raid funksjonalitet for hurtig sentral lagring og sikring mot HW feil. Har i dag HW raid-5 via Areca Kort og WD Red 3tb disker. Ja jeg har backup via Crashplan til Crashplan server (vurderer Jotta også, men ikke noen linux klient som jeg har funnet). 

 

Noen som har noen tips til hva jeg burde gjøre, og hvilken distro jeg burde gå for og hvorfor?

 

Raid 1 betyr at om du f.eks har 2 disker, så vil de være identiske (mirroring). Lesehastigheten vil være noe høyere, men skrivehastigheten vil være den samme.

 

Hvis du idag har HW raid via dedikert Raid hw, trenger du ikke sette opp noen form for software raid.

[N|troXx]

Jeg er fullt klar over hvordan vanlig raid fungerer, men BTRFS er litt ullent for meg enda. Jeg har forsøkt å lese meg opp, men blir ikke helt klok. 

 

Vanlig software raid har jeg ikke bruk for, det er riktig. Men BTRFS har en form for self-heal/bit-rot beskyttelse. Og denne virker meget spennende. Derfor er jeg ute etter å høste kunnskap før jeg gjør noe dumt (som å hive inn btrfs på server uten å vite om mulige fallgruver).

[Nizzen]

Hva skal du bruke det til da? Ren backup?

[N|troXx]

Jeg tenker som plex server, bilder, lokal lagring av husets pcer osv. Kjører backup fra server kryptert til skyen via Crashplan.

 

Tanken var å legge inn Zentyal eller Clearos for enkel administrasjon via web.

 

Er dog usikker på hvor langt BTRFS har kommet i utvikling av raid 5/6, da informasjonen spriker rundt om på nett. Noen skriver at det er fult brukende og andre sier at man skal holde seg unna.

 

Så er det noen som kjenner BTRFS sin status i dag?

[Sokkalf™]

Status er vel fortsatt "needs more testing". Altså ikke putt data du ikke kan miste/som er et slit å hente tilbake fra backup på det.

Sitter selv på gjerdet ennå, og bruker ZFS via zfsonlinux (som forøvrig fungerer fint, og har samme features du ønsker fra btrfs)

[Nizzen]

Min erfaring er å bruke noe som man kan fikse lett selv. F.eks lehge til disker, flytte disker til ny maskin etc. Er man avhengig av hjelp fra andre, er det plutselig ganske tungvindt om man MÅ gjøre noe en spesifikk dag.

[Simen1]

Så vidt jeg har skjønt har btrfs vært stabilt ved "normal bruk" i flere år allerede. Dvs. Raid 0,1 og 10 og oppretting, sletting av arrays. Det som ikke er helt driftsstabilt ennå er Raid 5/6 og resizing av array.

 

Her er en ni måneder gammel rapport om status på btrfs. (fram til v 3.17)

Detaljert wiki om status på ulike funksjoner og deler av btrfs. (fram til v 4.1.2)

[AM2petterk]

The one missing piece, from a reliability point of view, is that it is still vulnerable to the parity RAID "write hole", where a partial write as a result of a power failure may result in inconsistent parity data.

• Parity may be inconsistent after a crash (the "write hole")
• No support for discard? (possibly -- needs confirmation with cmason)
• The algorithm uses as many devices as are available: No support for a fixed-width stripe (see note, below)

 

Fra btrfs sin wiki om RAID56. Dette gjelder da >=linux 3.19.

 

Forøvrig har jeg god erfaring med ZFS under *BSD systemer med RAID, så hvis ZFSoL er kommet tilnærmet like langt som det har hos sine søsken så er iallefall det en mulighet dersom ikke btrfs er modent nok enda.

Endret 21. juli 2015 av petter3k

[endrebjo]

Forøvrig har jeg god erfaring med ZFS under *BSD systemer med RAID, så hvis ZFSoL er kommet tilnærmet like langt som det har hos sine søsken så er iallefall det en mulighet dersom ikke btrfs er modent nok enda.

ZFSoL bruker nøyaktig samme kodebase (OpenZFS) som sine *BSD-søsken, og er derfor i prinsippet kliss likt. Det ligger et DKMS-lag mellom ZFS og Linux-kernelen. På CentOS 7 har jeg måttet reinstallere dette laget et par ganger i forbindelse med kerneloppdatering, av uvisst grunn. Men det er ikke verre enn å kjøre 'yum reinstall zfs-dkms dkms zfs' når ZFS-poolen ikke oppdages.

Jeg har fortsatt med ZFS på CentOS siden jeg var godt vant med det fra FreeBSD. Og jeg har ikke noe problem med å anbefale det til andre. Men jeg er ikke i stand til å sammenlikne det med btrfs.

Endret 17. september 2015 av endrebjo

[N|troXx]

Tusen takk for svar alle sammen,

 

jeg er fremdeles noe tilbakeholden til ZFS, mye grunnet lesing om vansker med å utvide et Raid5/6 sett, hvor det kreves oppretting av nye vdev (og tilsvarende innkjøp av like mange hdd som eksisterende vdev). 

 

Hvis dette lar seg gjøre, så skal jeg vurdere ZFS, hvis ikke, så følger jeg rådet til Nizzen og Sokkalf og joiner Sokkalf på gjerdet etter tips her i tråden. 

[hernil]

Raid 5/6 fikk masse forbedringer i 3.19 og skal fungere bra, men det som altså mangler på den fronten er langtidstesting. Jeg kjørte selv et raid 1 i litt over ett år før jeg utviddet det til et raid 5 for et par måneder siden (med kjerne 4.0.2). Dette er en hjemme/medie/backupserver som ser veldig moderat bruk, men det har ikke vært noe problemer. Har også kjørt btrfs på hovedmaskinen fast i noen måneder nå og det fungerer også knirkefritt

 

For alt annet enn kritiske systemer med krav om oppetid med høy last ville jeg ikke hatt noe problem med å bruke btrfs. Det er alltid en avveining av risiko vs. fordelene systemet gir, og for min del er det en stund siden btrfs ble bra nok til at fordelene veier tyngre enn potensiell risiko i de fleste tilfeller!

[N|troXx]

Raid 5/6 fikk masse forbedringer i 3.19 og skal fungere bra, men det som altså mangler på den fronten er langtidstesting. Jeg kjørte selv et raid 1 i litt over ett år før jeg utviddet det til et raid 5 for et par måneder siden (med kjerne 4.0.2). Dette er en hjemme/medie/backupserver som ser veldig moderat bruk, men det har ikke vært noe problemer. Har også kjørt btrfs på hovedmaskinen fast i noen måneder nå og det fungerer også knirkefritt

 

For alt annet enn kritiske systemer med krav om oppetid med høy last ville jeg ikke hatt noe problem med å bruke btrfs. Det er alltid en avveining av risiko vs. fordelene systemet gir, og for min del er det en stund siden btrfs ble bra nok til at fordelene veier tyngre enn potensiell risiko i de fleste tilfeller!

 

Takk for svar, kan du beskrive litt om oppsettet du har og rutiner?

[endrebjo]

jeg er fremdeles noe tilbakeholden til ZFS, mye grunnet lesing om vansker med å utvide et Raid5/6 sett, hvor det kreves oppretting av nye vdev (og tilsvarende innkjøp av like mange hdd som eksisterende vdev).

Såvidt jeg vet er det ikke noe krav om at vdevs må være like store. Ei heller må de inneholde like mange disker. ZFS bedriver dynamisk striping mellom forskjellige vdevs, og behøver derfor ikke like vdevs.

Det du kanskje har hørt er "ZFS best practice" råd, som nevner at du får høyest ytelse med like vdevs, likt antall disker og blablabla. Men til en hjemmeserver ser jeg ikke på det som veldig kritisk. Selv om du mister 10-20% ytelse vil du sannsynligvis makse ytelsen på nettverket (GbE) uansett.

http://docs.oracle.com/cd/E19253-01/819-5461/6n7ht6qut/index.html

[AM2petterk]

 

Forøvrig har jeg god erfaring med ZFS under *BSD systemer med RAID, så hvis ZFSoL er kommet tilnærmet like langt som det har hos sine søsken så er iallefall det en mulighet dersom ikke btrfs er modent nok enda.

ZFSoL bruker nøyaktig samme kodebase (OpenZFS) som sine *BSD-søsken, og er derfor i prinsippet kliss likt. Det ligger et DKMS-lag mellom ZFS og Linux-kernelen. På CentOS 7 har jeg måttet reinstallere dette laget et par ganger i forbindelse med kerneloppdatering, av uvisst grunn. Men det er ikke verre enn å kjøre 'yum reinstall dkms zfs' når ZFS-poolen ikke oppdages.

Jeg har fortsatt med ZFS på CentOS siden jeg var godt vant med det fra FreeBSD. Og jeg har ikke noe problem med å anbefale det til andre. Men jeg er ikke i stand til å sammenlikne det med btrfs.

 

 

Høres bra ut.

 

Fungerer dette med ZFS sin innebygde kryptering også, eller må du gå via luks/dm-crypt?

[endrebjo]

Høres bra ut.

 

Fungerer dette med ZFS sin innebygde kryptering også, eller må du gå via luks/dm-crypt?

Oracle la til kryptering i ZFS pool version 30, mens OpenZFS forket kodebasen som var basert på ZFS pool version 28. Så OpenZFS har ikke tatt med seg krypteringen fra Oracle, og det ser heller ikke ut som at kryptering er lagt til som et feature flag i ettertid. Så jeg er ganske sikker på at ingen av OpenZFS-implementasjonene har noen native kryptering (verken FreeBSD, ZFSoL eller andre).

 

Jeg har ikke vurdert kryptering enda selv, siden alle ZFS-maskinene mine er stasjonære. Men jeg ser det er folk som skriver om ZFSoL og LUKS/dm-crypt rundt om kring.

[hernil]

 

Raid 5/6 fikk masse forbedringer i 3.19 og skal fungere bra, men det som altså mangler på den fronten er langtidstesting. Jeg kjørte selv et raid 1 i litt over ett år før jeg utviddet det til et raid 5 for et par måneder siden (med kjerne 4.0.2). Dette er en hjemme/medie/backupserver som ser veldig moderat bruk, men det har ikke vært noe problemer. Har også kjørt btrfs på hovedmaskinen fast i noen måneder nå og det fungerer også knirkefritt

 

For alt annet enn kritiske systemer med krav om oppetid med høy last ville jeg ikke hatt noe problem med å bruke btrfs. Det er alltid en avveining av risiko vs. fordelene systemet gir, og for min del er det en stund siden btrfs ble bra nok til at fordelene veier tyngre enn potensiell risiko i de fleste tilfeller!

 

Takk for svar, kan du beskrive litt om oppsettet du har og rutiner?

 

Er ikke så mye å si, men kan godt skrible litt. Er på ferie nå, men når muligheten byr seg

[kpolberg]

Jeg prøvde kryptering av blockdevice sammen med ZoL, men fikk så mange rare problemer at det ga jeg opp (CentOS 7). Men for meg virket det som jeg fikk problemer med mdadm og kryptering og, at jeg er ikke sikker, men fant ut at jeg ikke gadd å ta meg bryet med tanke på recovery senere osv.

[AM2petterk]

Jeg prøvde kryptering av blockdevice sammen med ZoL, men fikk så mange rare problemer at det ga jeg opp (CentOS 7). Men for meg virket det som jeg fikk problemer med mdadm og kryptering og, at jeg er ikke sikker, men fant ut at jeg ikke gadd å ta meg bryet med tanke på recovery senere osv.

 

Jeg antok at det var ZFS sin innebygde kryptering jeg benyttet meg av da jeg installerte FreeBSD 10 på en stasjonær PC for en stund siden, da installeren lot meg velge å "automatisk" sette opp ZFS med kryptering - men etter nærmere research så ser jeg jo at endrebjo hadde helt rett.

[siDDis]

Status på BTRFS er enda eksperimentell, det har dukket opp fleire kritiske bugs i det siste. Og Facebook begynte for ca eit år sida å teste BTRFS på nokre produksjonssystemer. Konklusjoner der til nå ettersom eg har høyrd er at det ikkje stabilt nok for full deployment enda(hovedutvikleren til BTRFS er ansatt av Facebook)

 

ZFS er nok noko betre på Linux, men det er nokre feil der og ved avansert bruk. Mitt råd er å bruke FreeBSD om du bare skal ha ein lagringsserver.