Bruk av ZFS på Hjemmeserver (Erfaringer?)

[norsemanGrey]

Er det noen her som bruker ZFS på hjemmeserveren?

Når jeg bygget meg hjemmeserver (Ubuntu Server) for et års tid siden satte jeg opp 4 x Seagate Exos 8TB disker i en ZFS "RAID10" konfigurasjon for data lagring. Grunnen til at jeg valgte å bruke ZFS var får å sikre data-integritet og få snapshot-funksjonaliteten. Det er også forholdsvis lette å sette opp og gjøre backup av. Når det er sagt er det MYE greier rundt ZFS og jeg føler det er voldsomt med teori man må sette seg inn i og få erfaring med for å gjøre ting riktig og få oversikt over ytelse og tilstand.

Jeg er nysgjerrig på hvordan andre her har konfigurert, bruker og monitorerer sitt ZFS oppsett og om dere har kommet bort i noen problemer utfordringer underveis.

[vidor]

Jeg vurderer selv å hoppe på ZFS-vogna. Mitt generelle inntrykk av ZFS er at det er relativt robust og det bruker også Copy-on-Write. Setter du det opp slik du har gjort med 4 like disker i Raid10 er det overkommerlig.

Har ikke testet noe overvåkning på det, bare FreeNAS som bruker ZFS, men dette begynner å bli utdatert.

Har du det rett på Ubuntu bør du vel følge med på syslog.

[norsemanGrey]

11 minutes ago, vidor said:

Har du det rett på Ubuntu bør du vel følge med på syslog.

Hva tenker du man bør se etter i sysloggen relatert til ZFS arrayet? 

[vidor]

8 minutes ago, norsemanGrey said:

Hva tenker du man bør se etter i sysloggen relatert til ZFS arrayet? 

Kommer jo an på hva som logges og om man kan justere dette på noen måte.

Tenker at en i alle fall bør logge warning og høyere slik at en får med seg disker med problemer.

 

[Backblast]

Jeg har kanskje gjort det litt enklere for meg ved å bruke Truenas som er litt mer turnkey og f eks har scrubbing påskrudd som default. Ellers kjører jeg smart-test av diskene en gang i måneden. Alarmer går til mail og Slack slik at jeg forhåpentligvis får det med meg innen det har gått for lang tid.

Hjemme kjører jeg på en en ca 10 år gammel HP ML110 server med to disker i mirror, dette er kun til private dokumenter og bilder så jeg trenger ikke så mye lagringsplass. Jeg har minipc stående hos foreldrene mine og kjører zfs replikasjon mot den daglig. Tidligere gikk dette direkte via SSH med port forwarding men jeg ble lei av all brute forcingen mot ssh og har lagt maskinene inn i et Zerotier VPN så jeg slipper å ha porter åpne.

Dette er en løsning jeg stoler på og som ikke trenger mye tilsyn men den mangler sikkert litt geek-factor i forhold til å kjøre zfs på Ubuntu.  😁

 

[minim]

Jeg landet på Snapraid i stede for ZFS for noen år siden. Husker ikke eksakt årsak nå i farten, men mener det var noe med fleksibiliteten og utnyttelsen av diskene når man utvidet arrayet. Jeg har 2 og 4TB disker i arrayet. Har hatt havari på en disk på to år og da kjørte jeg bare en sync med ny disk montert så var all data på plass igjen. Jeg stoler dog ikke 100% på dette så jeg kjører backup mot jottacloud hver natt på noen kataloger med "viktige" bilder/dokumenter.

[norsemanGrey]

19 minutes ago, Backblast said:

Jeg har kanskje gjort det litt enklere for meg ved å bruke Truenas som er litt mer turnkey og f eks har scrubbing påskrudd som default. Ellers kjører jeg smart-test av diskene en gang i måneden. Alarmer går til mail og Slack slik at jeg forhåpentligvis får det med meg innen det har gått for lang tid.

Hjemme kjører jeg på en en ca 10 år gammel HP ML110 server med to disker i mirror, dette er kun til private dokumenter og bilder så jeg trenger ikke så mye lagringsplass. Jeg har minipc stående hos foreldrene mine og kjører zfs replikasjon mot den daglig. Tidligere gikk dette direkte via SSH med port forwarding men jeg ble lei av all brute forcingen mot ssh og har lagt maskinene inn i et Zerotier VPN så jeg slipper å ha porter åpne.

Dette er en løsning jeg stoler på og som ikke trenger mye tilsyn men den mangler sikkert litt geek-factor i forhold til å kjøre zfs på Ubuntu.  😁

 

Både Scrub og Trim er på default på Ubuntu også så det er ikke noe problem. Og S.M.A.R.T. kjører hos meg flere ganger om dagen sammen med diverse ZFS metrics og blir skrapt opp til Prometheus og videre til Grafana. Innsamling av data er det minste problemet, men data er verdiløst uten kontekst og forståelse av hvordan man skal tolke den dataen.

Løsningen din for ZFS replikasjon virker spennende. Jeg har foreløpig kun replikasjon til en ekstern harddisk, men har en backup PC stående klar som jeg ønsker å få satt opp utenfor huset når tiden strekker til.

Bruker du PCen kun til lagring eller kjører du noen servicer på den for remote tilgang til filene dine o.l.?

 

[Backblast]

Jeg har hatt denne boksen kjørende med Truenas Core i årevis og kjører kun fildeling på den. Jeg forsøkte noen jails for lenge siden men det var knotete greier. Jeg har en Unraid server med en håndfull dockere og VM'er til Home assistant, Plex etc. Media ligger også på denne, det er ikke data som jeg er redd for å miste i motsetning til familiebildene som ligger på Truenas serveren. Unraid-boksen mottar også en kopi av innholdet fra Truenas-maskinen via rsync daglig side den har plenty med ledig plass. Belt and suspenders...

Nå som Truenas har kommet med en Linux variant så kunne jeg kanskje vurdert å konsolidere alt i en boks men jeg synes iofs at det er greit å holde kritiske data litt adskilt fra en media-serveren uansett. Men med disse strømprisene så lurer man jo litt...

ZFS send er gull og med nøkkel autentisering så er det egentlig ingen grunn til at det ikke kan gå rett over nettet uten noe vpn etter min mening. Men når Mikrotik kom med Zerotier støtte så måtte jeg teste det. Poolen på mottagende server kan være kryptert også så har du familie eller en kompis som kan hoste en boks for deg så er dette en god løsning som er enkel å sette opp med minimal risiko for at dataene kommer på avveie. 

Selv på den gamle HP-serveren min med 1Gbit nettverk så fungerer Truenas såpass bra at jeg ikke gidder å ha bilder liggende lokalt på PCen. Jeg kjører Observium overvåking av infrastrukturen hjemme men bruker ikke mye tid på å analysere eller tweake, det fungerer bra ut av boksen heldigvis.

[siDDis]

Jeg har en cronjob som sjekker zpool status

Scriptet ser sånn ut

#!/usr/bin/env sh

# Check zpool status
# Send an email if there is an error
STATUS=$( /sbin/zpool status -x )
if [ "${STATUS}" != "all pools are healthy" ]; then

  ZPOOL_STATUS=`/sbin/zpool status`
  /usr/sbin/ssmtp -oi -t <<____HERE
Subject: ZPOOL ERROR
From: [email protected]
To: [email protected]

$ZPOOL_STATUS
____HERE

fi

 

[Gjest Gjest slettet-ld9eg7s96q]

Har kjørt Omnios (en Illumos distro) i årevis nå og det har vært bunnsolid. Nativ ZFS støtte og god ytelse. Åpen kildekode og Unix system V med fri tilgang til GNU pakker av det du måtte trenge. Trenger jeg Linux til noe kan jeg bare fyre opp en sone (Solaris sin egen versjon av Jails) som emulerer det.

[TAC-2]

Jeg har brukt ZFS på diverse varianter av solaris, bsd og linux i ganske mange år nå. Nå bruker jeg Debian. Har i nærheten av 300 harddisker i ZFS RAIDZ2 (ikke alle i samme pool). Veldig stabilt sammenlignet med andre løsninger, selv om ingenting er 100.0% sikkert. Pass på SATA og SMART feilmeldinger samt statusen på poolen, helst med epostvarsel.