BSD/UnixZFS kontra sw-RAID/LVM/ext3

[rolfn]

Hei, har noen erfaring med ZFS/OpenSolaris og har sammenlignet med tilsvarende løsning for linux?

 

Jeg kjører idag ext3 oppå LVM oppå sw-raid-5 over 4 disker. Ifbm oppgradering av hw planlegger jeg et xen-miljø, og lurer på om jeg også skal skifte til OpenSolaris som filserver og ZFS virker jo veldig sexy. (Solaris som server klinger veldig godt i mine ører...).

 

 

Har noen erfaring med disse to løsningene?

 

Hva er fordeler og ulemper ved de to alternativene (zfs kontra lvm-på-raid)?

 

 

hilsen rolf rander

[rolfn]

Hehe, etter å ha sett demoene og lest gjennom presentasjonen er jeg ikke i tvil lenger.

 

Eneste problemet nå er at all kunnskap om partisjonering, volumer, inoder og forsking på ulike filsystemer plutselig er bortkastet...

 

Neste spørsmål bli: skal jeg fortsatt gå for Xen, eller skal jeg også hive ut dette til fordel for Solaris sin virtualisering?

 

rrn

[jonnor]

Du må være klar over at Solaris Containers ikke er "fullverdig" virtualisering på linje med Xen (hardwareassisert), KVM, ESX o.l. Så hvis du har behov for å kjøre fulle instanser av vilkårlige OS så er Containers uaktuelt.

For i praksis er man begrenset til å virtualisere Solaris og utvalgte Linux miljøer (RHEL/CentOS typisk, og kun 32bit). Men det fungerer sikkert fjell til applikasjonsvirtualisering i disse miljøene.

[rolfn]

Du må være klar over at Solaris Containers ikke er "fullverdig" virtualisering på linje med Xen (hardwareassisert), KVM, ESX o.l. Så hvis du har behov for å kjøre fulle instanser av vilkårlige OS så er Containers uaktuelt.

For i praksis er man begrenset til å virtualisere Solaris og utvalgte Linux miljøer (RHEL/CentOS typisk, og kun 32bit). Men det fungerer sikkert fjell til applikasjonsvirtualisering i disse miljøene.

 

Nettopp, da holder jeg meg til Xen.

[stigfjel]

Hva filserver angår, så er valget for meg ganske enkelt: Solaris er det operativsystemet som gjelder med tanke på lagring og backup. Bruker Solaris 10 med ZFS både privat og på jobben, og det er stabilt som bare det, samtidig som at det er lekende lett å sette opp. Så er det filserver du skal ha, vil jeg på det varmeste anbefale Solaris. Hvis serveren skal være i produksjon, ville jeg valgt Solaris 10 over OpenSolaris, siden det er Solaris 10 som regnes for å være den stabile varianten av Solaris.

[rolfn]

Dette er privat, og vel så mye for å lære litt om OpenSolaris som at det er et stabilt OS.

 

Oppsettet har forsåvidt gått greit, men jeg skulle altså konvertere linuz+sw-raid+lvm til solaris+zfs, og jeg har for mye data til at det er hensiktsmessig å ta backup og begynne helt på nytt, jeg trengte å flytte data innad på diskene. Dette krevde en del planlegging, og var en omstendelig prosess. I hovedsak gikk jeg frem slik:

• rydde slik at jeg brukte under 50% av tilgjengelig kapasitet
  
• redusere lvm og raid
  
• re-partisjonere hver disk, slik at jeg fikk en ledig og tom solaris-partisjon på hver av de (inkl reparering av raid mellom hver operasjon)
  
• opprette zfs med fuse i linux
  
• flytte over data
  
• installere solaris
  
• re-partisjonere hver disk, slik at solaris-partisjonen nå fikk all tilgjenelig plass på disken (inkl resilver av zfs mellom hver operasjon)
  

en del flere detaljer finnes her.

 

Det som gjør dette litt komplisert, er at jeg altså har tenkt å kjøre solaris som fil/db/ldap-server, mens jeg kjører linux og windows som klienter, og klientene skal kjøre som xen domU-instanser på samme hw som serveren. Mer om det i en annen tråd når jeg finner ut hvordan jeg skal få til dette...

 

 

rrn

[rolfn]

Hvis noen har fulgt med på denne tråden og venter på en oppdatering, dette er status:

• Planen var altså å kjøre OpenSolaris som Dom0 for å få zfs, og bruke denne som nfs-server, mens jeg ønsket å kjøre ubuntu for å få brukervennlighet og tilgang til den enorme mengden sw, samt kjøre mythtv som såvidt jeg har oversikt over ikke finnes på solaris. Planen var derfor at innlogging og mythbackend skulle kjøre på to separate DomU.
  
• Xen som fulgte med solaris var 3.1.4, uten dato for når en nyere versjon evt. vil være tilgjengelig
  
• PCI Passthrough virker ikke
  

På innloggingsmaskinen hadde jeg tenkt å bruke Xen PCI Passthrough for å gi den full tilgang til skjermkortet, mens jeg bruker tilsvarende konfigurasjon for å gi myth-maskinen tilgang til tv-kortet.

 

At jeg ikke kunne la en DomU bruke skjermkortet direkte kunne jeg kanskje leve med, og kjøre X11 under solaris med remote login mot linux-boksen. Men myth er det viktigste denne maskinen skal gjøre, så når den planen gikk i vasken var endelig stopp for oppsettet mitt.

 

Nå har jeg gått tilbake til linux og får tilgang til data-diskene med zfs-fuse. Dette ser ut til å virke bra så langt, jeg ser frem til å kjøre noen ytelsestester for å få innblikk i hvordan dette svinger under litt press.

 

(og så håper jeg en fremtidig bolig kan ha litt bedre plass til hw, slik at jeg kan ha tre fysiske maskiner til disse tre rollene, myth, filserver og login-boks...)

 

rrn

[NgZ]

Jeg er nysgjerrig på om du fikk foretatt en ytelsestest på ZFS fuse.

 

Jeg har datalagring ZFS nå, men må rett og slett komme meg tilbake til linux. Jeg blir gal av at ting ikke fungerer som jeg er vant til, eller ikke finnes, eller er tilbakestående.

 

Så lenge det ikke er TREGT, er det egentlig bra nok for meg. Det viktigste er at det er sikkert, så jeg ikke plutselig har massive datatap.

[tingo]

Jeg har datalagring ZFS nå, men må rett og slett komme meg tilbake til linux. Jeg blir gal av at ting ikke fungerer som jeg er vant til, eller ikke finnes, eller er tilbakestående.

"Alle" sier jo at zfs skal være så enkelt å bruke. Stemmer ikke det da?

Når det gjelder de to siste punktene, er det noe spesielt som mangler? Og hva er det som eventuelt er tilbakestående?

 

Jeg har ikke fått tid til å teste zfs selv ennå, så andres erfaringer er av stor verdi.

Endret 14. september 2009 av tingo

[Nizzen]

Jeg bruker nå ext4 på de fleste arrayene i nyeste ubuntu server. Hvor mye raskere det er en ntfs vet jeg ikkje, men mener på at jeg merker litt forskjell

[NgZ]

"Alle" sier jo at zfs skal være så enkelt å bruke. Stemmer ikke det da?

Når det gjelder de to siste punktene, er det noe spesielt som mangler? Og hva er det som eventuelt er tilbakestående?

ZFS er fantastisk enkelt. disker/partisjoner+Raid+LVM+partisjoner på toppen av det igjen er mildt sagt elendig i forhold, på det punktet.

 

Dessverre er Opensolaris ubrukelig hvis du skal ha muligheten til å kjøre en desktop på serveren også. Firefox er f.eks. utdatert, og inneholder kjente sikkerhetsproblemer. Transmission kræsjer dersom du bruker webinterfacet. Alternativer finnes ikke, for pakkeutvalget er mildt sagt elendig. Jeg slet med å kompilere en god del ting, blant annet klaget den på at ulike avhengigheter ikke fantes, selv om de var installert. Sannsynligvis fordi det var plassert andre steder og de ikke symlinker til "standardene", eller fordi programmer er dårlig skrevet. Det var uansett en kjedelig gjenganger.

 

(Open)solaris er sikker flott hvis du bare skal ha en filserver (eller andre serverbruksområder som sun har laget pakker til), men skal du kjøre torrent, vil ha mulighet til nxserver, eller vil ha et pakkeutvalg og mulighetwr til å installere ikke-inkluderte ting uten et helvete, er det feil valg. Det er i hvert fall min erfaring.

 

Googling rundt forskjellige problemstillinger viser at folk gjerne bruker binærpakker de laster ned fra bloggene til en eller annen for å få det de trenger, det er ikke helt min måte å gjøre ting på.

 

For tiden kjører jeg FreeBSD, men det er for annerledes i forhold til linux. Jeg kan egentlig ikke ta meg tid til å lære meg det jeg synes jeg bør kunne om systemet. Det er en god del ting der som gjøres på helt andre måter enn linux, og når jeg da trenger å fikse eller stille inn noe, blir det fort et slit.

 

I tillegg er visst ikke ZFS-ytelsen i 7.2 eller 7-STABLE så mye å skryte av, og det frister virkelig ikke kjøre 8-CURRENT, bla. av grunnene ovenfor.

Jeg bruker nå ext4 på de fleste arrayene i nyeste ubuntu server. Hvor mye raskere det er en ntfs vet jeg ikkje, men mener på at jeg merker litt forskjell

ext4 ville jeg unngått foreløpig til lagring. I tillegg er raid/LVM-løsning en steinalderløsning sammenliknet med zfs.

Lage et Raidz (raid-5 liknende, men uten silent data corruption-risikoen)i zfs:

zpool create lagring raidz c1t0 c1t1 c1t2

ferdig. INgen ventetid, kn taes i bruk umiddelbart.

i stedet for:

lage et raid 5 som må synces i mange timet

lage LVM opp raidet

formnatere LVM-et, enten i en eller flere partisjoner, med et filsystem.

 

For ikke å snakke om hvis man skulle ha behov for å krympe/øke størrelsen.

ZFS: En eller to kommandoer, null ventetid

raid5/lv/filsystem på toppen: evigheter.

[Nizzen]

*snip*

 

Kan jo fortelle at jeg bruker hardware kontroller på alle array untatt ett lite et

[NgZ]

Det er jo enda mindre fleksibelt.

[Nizzen]

Det er jo enda mindre fleksibelt.

 

Hvorfor det?

 

Kontrolleren støtter f. eks dette :

 

Online RAID level/stripe size migration

Online capacity expansion and RAID level migration simultaneously

Online volume set growth

 

Hva er det som er mindre fleksibelt?

[tingo]

ZFS er fantastisk enkelt. disker/partisjoner+Raid+LVM+partisjoner på toppen av det igjen er mildt sagt elendig i forhold, på det punktet.

 

Dessverre er Opensolaris ubrukelig

OK - det er OpenSolaris du plages med og ikke zfs. Da misforsto jeg deg. Fair enough.

 

For tiden kjører jeg FreeBSD, men det er for annerledes i forhold til linux. Jeg kan egentlig ikke ta meg tid til å lære meg det jeg synes jeg bør kunne om systemet. Det er en god del ting der som gjøres på helt andre måter enn linux, og når jeg da trenger å fikse eller stille inn noe, blir det fort et slit.

 

Hehe - jeg har motsatt utgangspunkt. Jeg begynte i sin tid med FreeBSD fordi Linux var alt for "fremmed" i forhold til de unix-systemene jeg haddet jobbet med tidligere. Første gangen jeg satte opp et FreeBSD system (dette var FreeBSD 3.x tiden) så følte jeg meg hjemme med en gang. Siden har jeg hatt FreeBSD som "main" os, og har klart meg gjennom alle de store versjonsendringene uten altfor mye trøbbel. Det jeg liker med FreeBSD er at alt er logisk plassert, jeg kan gjette meg til hvor konfig-filer osv. er hen. I linux derimot, så må jeg vite hvor ting er, noen ting er helt ulogisk plassert. En annen ting jeg liker med FreeBSD er dokumentasjonen - den er omfattende, fyldig og blir stadig bedre. I Linux er det litt mer tilfeldig om et program har en bra man-side eller ikke. IMHO, selvfølgelig.

 

Nå bruker jeg kun Linux på laptopen min (Xubuntu, på en gammel Acer som ikke vil kjøre FreeBSD ordentlig pga acpi-problemer), på andre enheter som per dags dato ikke kjører FreeBSD (som min Neo FreeRunner) og for testing.

 

I tillegg er visst ikke ZFS-ytelsen i 7.2 eller 7-STABLE så mye å skryte av, og det frister virkelig ikke kjøre 8-CURRENT, bla. av grunnene ovenfor.

Kanskje jeg skal se nærmere på zfs etter at FreeBSD 8.0 er sluppet, i FreeBSD 8 har de jo zfs v13, som skal være bedre, raskere, osv.

[tingo]

Hva er det som er mindre fleksibelt?

Hva gjør hvis kontrolleren ryker og du ikke har / får tak i en likedan kontroller?

Hvordan får du tak i dataene på diskee dine da?

Endret 15. september 2009 av tingo

[NgZ]

Tja.

-Antall disker. (Med zfs kunne du kjøpt en hvilken som helst kontroller som ga deg SATA-porter, du må kjøpe et nytt, (svin)dyrt kort. Og støtter det disker i samme raid spredd på ulike raid-kort? Hva hvis et raid-kort går dukken neste år, og det er vanskelig å få tak i et nytt.

-dersom du ikke har et svindyrt kort, må alt gjøres i software. mao driveravhengig. Kan være skummelt å være avhengig av.

-Selv om raid-kortet ditt støtter krymping og herjing, er det ikke "fort" gjort" å krympe/æke størrelsene på ext4-systemet oppå LM-en. ZFS? 1-2sek.

 

IMO er ZFS den desidert beste lagringsløsningen tilgjengelig, på høyde med lagringsløsninger som tidligere kostet titusener. Av dollar.

[Nizzen]

Hva er det som er mindre fleksibelt?

Hva gjør hvis kontrolleren ryker og du ikke har / får tak i en likedan kontroller?

Hvordan får du tak i dataene på diskee dine da?

 

Ingen problem å få tak i samme kontroller

[ATWindsor]

Tja.

-Antall disker. (Med zfs kunne du kjøpt en hvilken som helst kontroller som ga deg SATA-porter, du må kjøpe et nytt, (svin)dyrt kort. Og støtter det disker i samme raid spredd på ulike raid-kort? Hva hvis et raid-kort går dukken neste år, og det er vanskelig å få tak i et nytt.

-dersom du ikke har et svindyrt kort, må alt gjøres i software. mao driveravhengig. Kan være skummelt å være avhengig av.

-Selv om raid-kortet ditt støtter krymping og herjing, er det ikke "fort" gjort" å krympe/æke størrelsene på ext4-systemet oppå LM-en. ZFS? 1-2sek.

 

IMO er ZFS den desidert beste lagringsløsningen tilgjengelig, på høyde med lagringsløsninger som tidligere kostet titusener. Av dollar.

 

Personlig ser jeg ikke helt vitsen med å ha en hardware-kontroller om du ikke har en type som er avansert nok til å kunne confes direkte. "billig" hw-raid er ikke det jeg stoler mest på. Ellers får du gjerne ut info fra raid5 uten kontroller kort med programvare som r-tools, om alt skulle gå til helvete.

 

Personlig synes jeg hovedproblemet med en lvm-basert løsning er at man ikke har like god sikkerhet, hva skjer om et av volumene som LVM-saken er bygd opp av går fløyten? I prinsippet kan man miste all data.

 

Ellers er det en sannhet med modifikasjoner at man kan bruke hvlken som helst kontroller med solaris, driverstøtten er ikke all verdens. Jeg har litt samme erferinger som deg, zfs er gull, opensolaris er tungvint og stress å få til å funke på endel ting. ZFS er en mye sikrere og bedre løsning en hardware-kontroller på alle fronter, utenom evt hastighet.

 

AtW

[stigfjel]

Ellers er det en sannhet med modifikasjoner at man kan bruke hvlken som helst kontroller med solaris, driverstøtten er ikke all verdens. Jeg har litt samme erferinger som deg, zfs er gull, opensolaris er tungvint og stress å få til å funke på endel ting. ZFS er en mye sikrere og bedre løsning en hardware-kontroller på alle fronter, utenom evt hastighet.

 

AtW

Joda, driverstøtten har blitt bedre, særlig etter at Solaris 10 fikk inn støtte for AHCI. Det hjelper veldig, i det minste på SATA-kontrollere.