Backupserver for servere og arb.stasjoner

[petterg]

Har en liten maskinpark og trenger en backupløsning. Jeg har ingen erfaring med backupsystem som kan brukes på så stort system som det er snakk om her, så jeg sitter å "drømmer". Tenkte jeg kunne poste hva jeg har drømt meg fram til foreløpig, og håper noen har noen inspill om systemet.

Alle forslag om eksisterende software, og hva man eventuelt måtte lage selv mottas med takk.

 

 

 

Maskinparken består av:

1 Mac OS X fil server

2 i686 Gentoo diverse servere

 

2 Mac OS X arb.stasjoner

3 Mac OS 9 arb.stasjoner

4 i686 Windows 2k/xp arb.stasjoner

 

System krav:

Serverene står på 24/7, og det må de gjøre. Reboot er uakseptabelt for disse.

Arb.stasjonene skrus av når de ikke er i bruk. (De lager sinsykt mye varme!)

 

Backup skal lagres på hd'r. HD'ne skal lagres et annet sted (i tilfelle brann, innbrudd, meteor nedslag, osv). Det trengs dermed flere sett med disker.

Datamengdene er for store til at de kan sendes over shdsl linja.

Datamengdene kan i fremtiden bli for store til å gå på en hd - trenger fleksibilitet til å dele datamengden over flere disker.

Må også ha en system-restore mulighet for hver av serverene, slik at systemet raskt kan komme opp å kjøre igjen i tilfelle hd krasj el.

 

 

Det jeg tenker meg er:

En egen i686 gentoo boks som backupserver. Den kjører på scsi systemdisk, slik at det er plass til å benytte 4 ide disker for lagring. Det er 4 sett med opptil 4 harddisker. (Hvordan disse fysisk kobles til er ikke relevant for denne tråden.)

Når serveren så booter opp med et disksett koblet til sjekker den at diskene har riktig filsystem. Om de ikke har det (nye disker, eller settet utvidet med en disk) lages filsystemet.

Dersom et disksett nærmer seg fullt varsles admin på mail.

hda1 inneholder en .conf fil som forteller hvor mange disker det er i settet, og størrelsen på disse.

Disksettene byttes så om en gang pr. uke, slik at det blir en 4 ukers sirkulasjon.

 

En gang i døgnet overfører hver av de andre serverene sine oppdaterte filer til backupserveren. Dette skal kun være dokument filer, ikke system. (System skal ha en egen backuphd, og backes opp manuelt når det er gjort større endringer på systemet.) .conf fila på disksettet forteller hvilke data som er tilatt på disksettet. F.x. om datamengden er enorm, kan man ha et sett som f.x. kun mac serveren får lov å kopiere til, og et annet sett som kun gentoo serverene får bruke.

 

Alle arbeidsstasjonene har en zip fil på på en av serverene som er en backup av dokumenter. Hver enkelt arb.stasjon er ansvarlig for å oppdatere denne. Serveren er så ansvarlig for at denne zipfilen blir inkludert i neste sending til backupserveren.

 

For å slippe å overføre så store data hver gang det tas backup, hadde det vært en stor fordel om man bare overførte de filene som har vært endret (endret/lagt til/slettet) siden sist det ble tatt backup til dette disksettet. Samtidig skal data helst komprimeres. (Om en fil er slettet fra en server skal den også slettes fra backupdiskene. Om en fil skulle bli slettet ved et uhell, har man 3-4 uker på seg til å hente den fra backup.)

 

Ved systembackup skal det tas image av systemet slik at dersom systemet på en av serverene går ned, kan man sette system backup disk settet i backup serveren, boote den serveren som har gått ned på en cd, og hele systemet blir så lest tilbake fra backupen. En reboot, og alt skal være kjørbart. (Forutsatt at all hardware utover hd er det samme som da backupen ble tatt. Om det har kommet en ny hd skal den partisjoneres.)

 

For backupserveren skal systemet ligge på en restore-cd. (Systemet på denne maskina er ikke større enn at det får plass på en cd.)

 

-pg

[Jattajatta]

Sitter på jobber så har ikke tid til å skrive mye (og kan uansett veldig lite om Mac og backup-løsninger) men;

 

har du vurdert å bruke tape som backup-medium i steden for harddisk?

Husk at harddisker er mer utsatt for krasj som backupmedium ettersom de ikke er laget for å transporteres rundt/flyttes på.

 

Startkostnaden blir sannsynloghvis dyrere dog. Men kanskje blir det billigere i lengden?

Endret 12. april 2004 av Jattajatta

[jaskorpe]

Du må ha maskiner med 100% oppetid, og du har livsviktige data som du ikkje må miste. Eg trur du er best hjelpt om du ringer Sun eller IBM når kontora deira opnar i morgon. GNU/linux er bra, og vil nok absolutt klare noko slikt, men du kan nok ikkje forvente magi berre ved å knipse med fingrane. Det du vil få til vil nok kreve sin mann/dame. Men lykke til

[kattemat]

Nå har jeg aldri brukt gentoo - men er dette riktig distrovalg i denne situasjonen?

Har mere intrykk av at gentoo er en desktop-orientert distro med litt vel cutting edge versjoner av software til å kjøre på servere i et "kritisk" system...

[petterg]

Tok meg fri i går (første fridag siden mars), så oppfølging blir noe tregt.

 

Planen var at mac os 9 maskinene jobber mot os x serveren. Jeg kan ingenting om mac jeg heller, men regner med at det går greit.

OS X er jo en unix kloning, sterkt modifiesert sådan. Har rota litt rundt på den, og det virker som om det er samme opplegget, bare at filer har blitt flytta rundt, og til en viss grad endra navn. F.x /etc/apache2/httpd.conf heter /private/etc/httpd.conf. Så jeg tipper man kan bruke samme backup opplegg på den som på en linux maskin.

 

Når det gjelder valg av backupmedium så er det få medier som kan konkurere med harddisker når det gjelder størrelse pr fysisk enhet og hastighet. Nå har jeg ikke undersøkt hvor store taper man får tak i, men i første omgang er det snakk om 200GB med data som skal skrives hver natt, og det kommer helt sikkert til å kreve endel tapedrives for at man skal slippe å holde bytte tape i løpet av natta. Datamengden er ventet å øke raskt.

 

Disse dataene er ikke livsviktige, men det er voldsomt tidsbesparende å ha en bakcup isteden for å bruke noen uker på å gjenskape dataene. (Alle livsviktige data har jeg allerede et script som tar seg av.)

 

Valget av gentoo som distro er at den kan optimaliseres for nærsagt alle behov. Den største fordelen ligger i hvor enkel den er å oppdatere + at man har alle gjør alle optimaliserings instillinger på et sted, for deretter å få optimalisert kompileringen av kildekoden til alt man instalerer i forhold til de forhåndsdefinerte instillingene. Man slipper altså å "glemme" noe når man legger inn fremtidige programmer.

Ytelsen er fult på høyde med alt annet jeg har prøvd, og langt bedre enn f.x redhat. Drifts vedlikeholdet kunne vel knapt ha blitt mindre tidkrevende.

Er veldig fornøyd med gentoo etter knapt 2 mndr drift.

[kattemat]

Var ikke ytelse jeg tenkte på - men sikkerhet...

 

Men gentoo har vel ferdige løsninger for SELinux, grsec o.l.

[petterg]

Joda, det er løsning for både SELinux og grsec.

I tillegg er alle brukere av systemet til å stole på. Det som eventulet måtte komme av farer her vil komme utenfra. Største faren for tap av data her kommer nok fra inbruddstyver som tar med seg alle lagringsmedia.

Det jeg anser som den største "datatekninske" risikoen er overbelastning av mail-gatewayen. Hadde en periode med 36.000 spam mail pr. døgn som spamfilterene ikke detekterte som spam. Det var helt på grensen av hva gatewayen klarte å håndtere.

[CrasY]

heavy løsning. lager du avis eller.no? tipper villt her..

 

anyway, jeg tror at tar,nfs,crond(tab),cp,mkfsiso,cdrecord,smbd,nmbd,smbmount og et par shell script vil gjøre jobben for deg. du må være kreativ og jobbe endel for å snekre det sammen, men jeg er ikke i tvil om at det går. spørs hvor lang erfaring du har fra *nix miljøet.

 

spennende oppdrag

 

lykke til!

[petterg]

Har veldig lite erfaring med *nix. Men har da lært endel av å sette opp noen servere.

Hadde endel erfaring med .bat filer i msdos og java + php programering / scripting, så satser på at det skal la seg gjøre å lære bash scripting.

 

Serverene her lagrer reklame. Det er snakk om pdf filer i opptil 1gb store!

[fredster]

Hvis du ikke allerede har gjort det, så anbefaler jeg deg på det sterkeste å slå av en prat med gutta i Tallgrass AS.

 

 

Hentet dette fra sidene deres :

 

 

Demonstrasjons-, test- og kurssenter for datalagring

 

 

For at du skal kunne bli bedre kjent med våre lagringsløsninger, og med datalagring generelt, har vi bygget opp et Total Storage Solutions Center med lagringsservere, SAN og NAS løsninger, samt større taperoboter. Her får du hjelp av våre spesialister til å velge den løsningen som er best egnet for dine behov.

Du får også muligheten til å teste ut dine egne applikasjoner før du treffer ditt valg om nye investeringer. Du kan også bruke senteret til å teste ut dine egne beredskapsplaner i et realistisk miljø, uten å forstyrre ditt eget driftsmiljø.

 

 

Jeg kan personlig anbefale deg å kontakte de !

[petterg]

Implementasjonen er ikke ferdig enda, men planene ligger klare. Har kommet fram til en løsning som har kapasitet på 1.6TB i døgnet, og kostnadene kommer på en brøkdel av hva andre firma tar. Implementasjons tiden er også beregnet til å være det samme som leveringstiden for de andre.

Det blir en egenutviklet metode som i stor grad benytter rsync.

[kyrsjo]

Har ett litt mindre behov jeg da...

 

Har to servere, en fil/login-server og en tynnklientserver. Nå har det seg slik at tynnklientserveren har et par ganger diskplassen til filserveren, så jeg tenkte å backe opp hjemmeområder/slapd-database til tynnklientserveren. Men hvordan bør det gjøres? Tenkte å mekke dato.tar.bz-filer, og de kan gjerne lages på tynnklientserveren (_mye_ kraftigere). Men hvordan setter man helst opp noe slikt? NFS delt ut fra serveren? Sikret vha. ip-addresse?

[petterg]

Kyrsjo:

Rsync sikkret med ip-adresse sikkring.

En kurrant guide for akkurat dette:

http://www.devshed.com/c/a/Administration/...ion-With-Rsync/