[Løst] windows filserver til linux

[Caddy]

Da benytta jeg meg nettopp av timessalget på komplett, 4 stk disker på 3tb hver. Så da vil jeg gå løs på et prosjekt jeg har hatt i huet ei stund, da nåværende filserver sårt trenger en oppgradering av hardware.

 

Kjører nå på en gammel windows xp maskin, software raid 5 på 4x750gb disker. Har hørt at software raid i linux kan flyttes fram og tilbake fra forskjellig hardware, og fremdeles beholde data på raidet? I såfall kan jeg bruke wmware til å sette opp en linux filserver av no slag, lage software raid 5, kopiere over alt fra de gamle diskene, klone operativsystemet fra wmware og over på en ny disk og alt skal fungere som det gjorde i wmware, på nytt hovedkort, cpu og minne?

 

Og hvilken distro burde jeg bruke til slikt? Skal kjøre litt bakgrunnsprosesser som folding programvare, TS server, Direct Connect klient og hva enn jeg måtte finne på.

 

Filsystem?

Remote desktop?

Lese disken fra windows maskinen?

Noe jeg må tenke på under installasjonen av <insertrandomdistrohere> ?

 

Jeg har lite erfaring med linux fra før av, kun satt opp en maskin eller 2 i wmware for å teste litt. Da ubuntu server. Tanken på å kunne flytte et raid fra hw til hw, var vel egentlig det som gjorde at jeg bestemte meg for linux. Gammel gamerhw=finfin filserverhw.

[weebl]

Kan se for meg at det kan bli litt kluss å overføre et OS i en VM til å kjøre direkte på hardware, det jeg ville ha gjort:

• Installer din valgte distro i en VM
  
• Sett opp et raid med zfs (Som er et kombinert filsystem og LVM (Logical Volume Manager))
  
• Overfør raidet fra windows sw raidet til zfs poolet.
  
• Avinstaller windows og installer samme distro som du brukte fra før av, etter som at du har vært borti alt i VM'en skal det være plankekjøring denne gangen.
  
• Installer og ZFS og monter poolet
  

Og hvilken distro burde jeg bruke til slikt? Skal kjøre litt bakgrunnsprosesser som folding programvare, TS server, Direct Connect klient og hva enn jeg måtte finne på.

 

Anbefaler ubuntu server, Enkel og grei distro med stor pakkebrønn så du finner sikkert det du trenger av programmer.

 

Filsystem?

 

ZFS, som nevnt tidilgere, veldig stødig og overraskende enkelt opplegg, heller ikke noe problem å flytte et pool fra en maskin til en annen.

 

Kan være litt knot å installere, spesielt om du har lite erfaring med bruk av linux fra før av men du får all hjelpen du trenger på irc kanalen til zfs on linux på #zfsonlinux@freenode

 

Kan forøvrig også nevne at ZFS er glad i ram, så du bør helst ha litt ram å rutte med, ram er ikke noen stor investering nå om dagen uansett

 

Remote desktop?

 

Såfremt du ikke finner et program som ikke har mulighet til å kjøre i terminalen så klarer du deg lenge med terminalen, terminalen kan virke avskrekkende i starten men det er virkelig alt du trenger på en server.

 

For å få opp terminalen på serveren din på en windows maskin bruker du putty, du må så klart slå på ssh serveren men det er snakk om et par tastetrykk for å få opp dette

 

Lese disken fra windows maskinen?

 

Sett opp en samba share så vil den komme opp som en vanlig nettverksdisk i windows.

 

Noe jeg må tenke på under installasjonen av <insertrandomdistrohere> ?

 

Egentlig ikke, vil anbefale deg å ha en egen disk til Operativsystemet da det er dumt, unødvendig og tungvindt å ha OS liggende på et raid i dette tilfellet.

[Caddy]

Type UI bør jeg kjøre egentlig? Ja føler jeg trenger det til DC++ .. Men de jeg har testa ut til nå på wmware (husker ikke hva de heter) har så sykt mye tileggsprogramvare som absolutt ikke trengs i en server og det er nesten tungvindt å avinstallere så mye pakker når man egentlig ikke vet om de trengs eller ikke..

[weebl]

Du kan f.eks kjøre openbox eller lxde, begge er veldig minimale pakker.

[Del]

Ville faktisk vurdert btrfs fremfor zfs hvis man kjører ubuntu. Riktignok er raid5-støtten i btrfs litt vel fersk, men en slik server skal jo gjerne stå noen år, så med god back-up løsning kan det være greit. Hvis du er konservativ er fortsatt mdadm en god løsning på linux.

[Simen1]

Del har skrevet en flott guide til server basert på Kubuntu/Ubuntu. Den har fungert glimrende som oppslagsverk når jeg har lurt på noe.

[stigfjel]

Testet å installere ZFS på CentOS 6. Faktisk ganske grei skuring...

[siDDis]

Del og BTRFS...

Bruk ZFS på eit system som støtter det 100% og ikkje halvvegs som Linux gjer. FreeBSD er eit utmerka alternativ og har svært god dokumentasjon. GEOM rammeverket til FreeBSD gjer det til ein av dei beste filserverløysningane.

 

Alle KDE GIT repositorane holdt for eit par dagar sidan å gå rett i dass pågrunn av EXT4(som er meir modent enn BTRFS) http://jefferai.org/...rfect-a-mirror/ og nå ser dei på ZFS.

[Del]

Zfs vil gå i graven med cddl (dessverre). For kde var det mange ting som feilet, å skifte filsystem er ikke nødvendig (ext4 har checksum i nyere inkarnasjon), git støtter sjekk direkte, og dette var ikke i bruk. Mulig zfs ville hjulpet, men det er jeg redd vi aldri får vite.

[siDDis]

Nei, ZFS er i full utvikling. Det er lagt fram nye framgangsmåter(feature flags) og det har kome nokre nye features i det siste som LZ4 compression og TRIM støtte. CDDL lisensen er det ingenting gale med. Det er jo GPL som lager begrensingane som stenger ute ZFS. Og at mykje ressurser blir brukt på å få det til å køyre på Linux seier jo sitt. Linux har ikkje noko liknande GEOM rammeverket ein gong, og det er BSD lisensiert.

 

EXT4 har checksumming av metadata, men det er ikkje checksumming av all data som ZFS, Hammer, WAFL og BTRFS gjer. ZFS er svært ømfintleg når den behandler data, ergo den kan garantere for at data er lik, uansett om den har vært i minnet, over nettverket osv. Det kalles end to end checksumming.

[stigfjel]

Zfs vil gå i graven med cddl (dessverre). For kde var det mange ting som feilet, å skifte filsystem er ikke nødvendig (ext4 har checksum i nyere inkarnasjon), git støtter sjekk direkte, og dette var ikke i bruk. Mulig zfs ville hjulpet, men det er jeg redd vi aldri får vite.

Noe man får med ZFS som man ikke får med EXT4 og andre tradisjonelle filsystemer (EXT4 er et tradisjonelt filsystem) er den ekstremt gode snapshot-funksjonaliteten som ZFS har. Med det kan man enkelt ta snapshot, OG, man kan sende snapshotet over SSH til en sekundær backup-server hvor man får en fullstendig replikering av hele filsystemet med metadata. Det er meget interessant for en lagrings/backupløsning for firmaer. Og som flere nevner, et ZFS-filsystem er alltid konsistent, det betyr at integriteten av filene alltid er i behold. Med ZFS kan man såre enkelt sette opp kvoter på filsystemer, og ved bruk av trendgrafing som f.eks. Munin får man lett vakre grafer som viser diskforbruk på hvert enkelt filsystem sett ift. kvoter. Med andre ord perfekt for et lagringssystem ment brukt i et firma. Dessuten, man kan også dele ut filsystemer med NFS/Samba med ZFS.

 

FreeBSD har et stort problem nå, nemlig at på grunn av sikkerhetsbristen før jul har prosjektet fjernet alle ferdigkompilerte pakker, da de ble ansett som kompromittert. Det betyr at det aller meste av pakker må installeres/oppdateres fra ports, noe som gjør det ganske upraktisk å effektivt kunne vedlikeholde en FreeBSD-server. En enkel patching kan fort ta flere timer. Hadde ikke Oracle ødelagt Solaris ville Solaris vært et utmerket alternativ for de som ønsker en filserver med produksjonsstøtte for ZFS. Jeg bygde en gang opp et lagrings/backup-system basert på nettopp Solaris 10, før Oracle kjøpte opp Sun. Den gang var Solaris 10 gratis, og man fikk patchet systemet. I tillegg til at selve Solaris 10 var gratis, var også sikkerhetsoppdateringene gratis. Og man kunne bruke Solaris 10 kommersielt.

 

Edit: Jeg har fortsatt min Solaris 10 filserver med alle mine data gående hjemme (har riktignok ikke patchet serveren på en stund). Serveren er nå 5 år, og fungerer fortsatt. Og selv om diskene lenge har vært tvilsomme mtp. kvalitet (det har hendt at noen av diskene har falt ut) har filsystemet ikke sviktet, så mine data er fortsatt intakte, på tross av dårlige harddisker. Når jeg får råd skal jeg skifte dem ut.

Endret 26. mars 2013 av stigfjel

[Caddy]

Uhh.. Som jeg sa, jeg har egentlig 0 greie på linux generelt. Og grunnen til at jeg er interresert i linux som filserver, er det at man kan flytte et software raid når man feks oppgraderer hardware, uten å miste data. (Noe man ikke kan med et WXP Software raid 5 oppsett...)

 

Tekniske ting kan jeg sette meg inn i greit nok, men muligens ikke kommandolinja i linunx, derav trenger jeg muligens et lettfattelig GUI. Evt en liten oversikt over programpakker jeg kunne trenge til en filserver, og hvordan installere dem og bruke dem. Google er aktivt brukt når det er noe jeg lurer på.

 

Installerte feks gparted her forleden, men det startet ikke opp i GUI`et..

Tror jeg heiv inn mdadm også, men der fikk jeg ikke no snarvei i "startmenyen" .. Så igjen, linux er uvandt..

 

Skal sjekke ut FreeBSD på wmware foresten.. Diskene har ankommet, men de ligger fint å venter i eska til jeg er sikker på hvilken distro jeg skal bruke..

 

Og jo mer dere diskuterer, jo mer blir jeg usikker på filsystem... Merkelig nok.. (Har dere kommet fram til noe? )

 

Serveren er en hjemmeserver, raid 5, lite backup, og en del småprogrammer i bakgrunnen som sagt. Filene skal leses av 1-2 w7 maskiner og kjøres via UMS/PMS til en PS3. Enten direkte fra server, eller via W7 maskinen.

 

Takker for all hjelp jeg kan få btw.

Endret 27. mars 2013 av Caddy

[Del]

GEOM rammeverket til FreeBSD gjer det til ein av dei beste filserverløysningane.

Hvis jeg har forstått riktig er GEOM bare et forsøk på å matche md i linux. I så måte må du unnskylde at jeg tar deg på å være inkonsekvent. GEOM er vel neppe det man kan kalle gjennomprøvd, spesielt for raid5 som vel er mest aktuelt for trådstarter. Du har altså ingen kvaler med å slenge ut GEOM som en super løsning, men btrfs derimot.. Synes kanskje du er litt på grensen til usaklig her.

Nei, ZFS er i full utvikling. Det er lagt fram nye framgangsmåter(feature flags) og det har kome nokre nye features i det siste som LZ4 compression og TRIM støtte. CDDL lisensen er det ingenting gale med. Det er jo GPL som lager begrensingane som stenger ute ZFS.

Denne typen uttalser får meg til å se rødt, men siden det er deg er det vel ikke ventet noe annet enn Theo de Raadt type uttalelser. Den mannen er ihvertfall konsekvent, og vil ikke ta i CDDL kode. Vi snakker her om BSD miljøet som gir oss ssh. Du derimot bør se hvilke dører du møter med slike utsagn, og hvis du ikke er blind vil du se deg selv i noen av de. Kanskje du kan dele med oss hva du mener om mixed source kampanjen Microsoft kjørte en tid tilbake også, sånn mens vi er i gang? Hva med den nye "vi trenger ingen lisens, public domain er flott" trenden, har du noe forhold til den? (som om public domain var et nytt uprøvd begrep *fnys*) Når det gjelder fremtiden til CDDL og Solaris, vil jeg tro ZFS blir den mest seiglivede delen, men jeg er ganske sikker på at vi begge vil være her å kunne konkludere på hvilken vei det gikk. Personlig mener jeg Sun burde valgt BSD eller GPL på hele Solaris hvis de mente alvor med åpen kode.

EXT4 har checksumming av metadata, men det er ikkje checksumming av all data som ZFS, Hammer, WAFL og BTRFS gjer.

Dette er korrekt, men det du ikke tar med her er at dette først kom på plass i 3.5 kjernen for linux, og er altså griseny funksjonalitet som KDE neppe hadde tatt i bruk for ext4. Det er også slik at metadata er det som belaster disken mest, så ved å ha checksum her ville man antagelig ha fanget opp problemet (som så ut til å være rimelig massiv korrupsjon som sannsynligvis først hadde gitt seg utslag på metadata). Når da i tillegg checksum funksjonaliteten som er innebygd i git ikke var i bruk vitner dette om dårlig håndverk. Mangelfull forutsigbarhet/dokumentasjon av git fortjener riktignok en ikke-triviell del av skylden.

ZFS er svært ømfintleg når den behandler data, ergo den kan garantere for at data er lik

Ingen kan garantere, nå må du få hodet ditt ut av fanboy-modus. Sikkerhet handler om sannsynligheter, det handler om å redusere risiko, ikke fjerne den. Ja, zfs er et godt stykke engineering på dette området, nei et system med zfs er ikke ufeilbarlig.

Noe man får med ZFS som man ikke får med EXT4 og andre tradisjonelle filsystemer (EXT4 er et tradisjonelt filsystem) er den ekstremt gode snapshot-funksjonaliteten som ZFS har.

Så vidt jeg vet er snapshot funksjonaliteten til btrfs allerede fullt på høyde med zfs. Endret 27. mars 2013 av Del

[Del]

Uhh.. Som jeg sa, jeg har egentlig 0 greie på linux generelt.

Da bruker du en distribusjon som er tilrettelagt for det du ønsker. Velger du linux, så er openmediavault et naturlig valg, velger du freebsd så er freenas et naturlig valg. Så kan du senere (hvis du er interessert nok) sette det opp selv på en vanlig linux distribusjon.

[obergeru]

Diskusjonen tar litt av i forhold til det trådstarter spør om.

FreeNAS er vel veien å gå.

[Del]

Hvorfor ikke openmediavault?

[siDDis]

Del,

 

Punkt 1:

GEOM rammeverket har meir til felles med FUSE enn med MDADM, du bør lese grundigare her, gjerne leke litt med det og. Det er faktisk ganske tøft.

 

Punkt 2: Dette er ein heilt anna diskusjon. Theo og OpenBSD har eit heilt anna fokus på ting enn FreeBSD, DragonFlyBSD og Linux.

 

Punkt 3:

Kanskje, men GIT har også innebygd checksumming av data som skulle i teorien fungere.

 

Punkt 4:

ZFS er ikkje bygd opp med sannsynlegheitar. I motsetning til andre implementasjonar så har den innebygd sjekking for feil over heile transaksjonen og alle former for datatransformasjoner. Om nokre år så vil sikkert også BTRFS vere på det nivået, men idag så er ZFS ein av dei få. Hammer og WAFL er to andre.

Risikoen for at ting går galt så lenge hardware fungerer 100% er 0%. Risikoen for at ting går galt med hardware som fungerer dårleg er også 0%, men den forutsetning at det finnes nok med replikater til å reparere skadene.

Men disse replikatene er f.eks ikkje tilstede om ein brukar vanlege SSD diskar som lyger om at data har blitt flusha og ein får eit plutseleg straumbrot. Men då har du problemar uansett kva slags filsystem.

[Del]

GEOM rammeverket har meir til felles med FUSE enn med MDADM, du bør lese grundigare her, gjerne leke litt med det og. Det er faktisk ganske tøft.

Kanskje du har noen pekere? For meg ser det ut som raid-løsning for å bøte på at BSD mangler md. Får du user space filsystem? Hva med volum management og snapshotting (aka LVM), er det inne?

ZFS er ikkje bygd opp med sannsynlegheitar.

Sorry siddis, men du mangler elementær forståelse av hva checksum er for noe.

The procedure that yields the checksum from the data is called a checksum function or checksum algorithm. A good checksum algorithm will yield a different result with high probability when the data is accidentally corrupted; if the checksums match, the data has the same high probability of being free of accidental errors.

ref. http://en.wikipedia.org/wiki/Checksum

 

Svært få ting i verden har sannsynlighet null. Innen RAS verden er begrepet nærmest meningsløst. Noen gang hørt om garantert 100% oppetid?

[siDDis]

GEOM er ein virtual disk volume manager. Det er ingen raid løysning, men det er lagd GEOM moduler som har implementert forskjellige raid løysninger. Det GEOM tilbyr, er eit rammeverk for å kunne utvikle disktransformasjoner med best mogleg ytelse og stabilitet og sikkerheit. I motsetning til FUSE som køyre i userland, så køyre GEOM i kernelen.

 

Eg trur det er du som ikkje heilt forstår kva ein checksum er, for det du referer til er checksum collision som er kjent med CRC/MD5, og det er derfor ordet "probability" er brukt i den konteksten. Men ingen har enda funne ein einaste kollisjon med SHA256 som er det ZFS bruker som default.

 

Dette kan også aukast til SHA512, SHA3(Keccak) for enda større sikkerheit, eller om man trenger ytelse i tillegg så er BLAKE2 også eit alternativ.

 

Dessuten når det blir brukt til å finne korrupt data så trenger man heller ikkje superhøg presisjon, fordi det skal framleis godt gjere å få korrupt data som genererer checksum kollisjon. Sannsynlegheita for det er lik som at du skal vinne i lotto kvar laurdag dei tusen neste åra.

[virtouz]

Hvorfor ikke openmediavault?

 

Jeg er helt enig , ganske så enkel software og ha med og gjøre.

Og støtte for det meste.