pakkeprogram

[petterg]

Trenger et pakkeprogram som oppdatere (slette / endre / legge til) filer i den pakkede fila uten å lese hele.

 

Grunnen til dette er at den pakkede fila skal ligge på en nfs-server. Det blir mye netverkstrafikk (og tar mye temp plass) om hele fila skal lastes over til klienten for å oppdateres for så å sendes tilbake til server.

 

Skulle gjerne brukt tar med -j eller -z parameter (pipe bzip2 eller gzip) men da kan ikke inholdet oppdateres.

Tar uten -j eller -z er jo overhode ingen kompresjon.

 

Det viktigst her er at den pakkede fila kan oppdateres raskt. Hvor mye kompresjon man får er mindre viktig, men det er en fordel om man gjør bedre enn 0%.

 

Kan gjøre dette?

[Ptomania]

Vet ikke om det er relevant, men kan det være mulig å bruke et versjoneringssystem som cvs?

 

Har ikke oversikt over noen pakkesystemer som klarer det du spør om.

 

Ptomania

[kattemat]

Dette bør jo gjøres på serversiden. Du har en applikasjon som tar imot data fra klienter og legger denne dataen til i arkivet ditt. Bør ikke være noe problem å lage f.eks. en HTTP front-end for noe slikt i f.eks. perl eller php hvor f.eks. zip/unzip ligger under. Vanlige zip versjoner klare fint å legge til og fjerne filer i arkivet.

 

Men dette blir jo en windows løsning da jeg går ut i fra at serveren din er en windows boks

[petterg]

Det er linux system jeg er på jakt etter. Derav plasering av tråden i forumet: "Programvare -> Linux / Unix"

[petterg]

Vet ikke om det er relevant, men kan det være mulig å bruke et versjoneringssystem som cvs?

 

Har ikke oversikt over noen pakkesystemer som klarer det du spør om.

 

Ptomania

Jeg har liten kjenskap til "versjoneringssystem som cvs". Kan du si hvordan du tenker deg at det kan brukes?

 

Det jeg har, som virker mest fornuftig til nå er å bruke bzip2 på hver enkelt fil, før den sendes til server. En slik måte vil gi sinsykt mange små filer. Mulig det hadde latt seg gjøre å grupere de minste i noen tar filer?

[kattemat]

Det er linux system jeg er på jakt etter. Derav plasering av tråden i forumet: "Programvare -> Linux / Unix"

Sorry - jeg leste feil. Trodde det stod NTFS ikke NFS

 

Men løsningen blir fortsatt den samme.

[petterg]

Jeg skal bruke dette i et backup system som tar backup av en serverpark hver natt. Det skal lagres på harddisk sett av opptil 4 disker, opptill 300GB hver. Worst case senario er altså at det skal overføres opptil 1.2TB i løpet av natta! Derfor er det viktig at data bare går en vei. Om de pakkede filene først skal sendes fra backup server til de andre serverene blir dette altså dobbelt så mye dataoverføring.

(I først omgang er det bare 2-300 GB. Men det blir øker fort når man slutter med cd/dvd brenning.)

Backup serveren vil ikke ha kapasitet til å styre hva som skjer med filene. Den har mer enn nok med å ta i mot over nett, skrive til disk, lage recovery records og levere index filer til de andre serverene. Hver av serverene må kjøre et bash script (tidsstyrt av cron) som oppdaterer de pakkede filene på backupserveren via NFS eller eventuellt andre share systemer.

 

Så, det jeg trenger er altså en eller annen form for pakkeprogram som takler oppdatering av pakkede filer over nfs (eller annen hensiktsmessig share) uten å måtte lese hele fila.

[Torbjørn]

hva med å titte på softwaren som brukes av tape stasjoner om det finnes tilgjengelig?

 

tar har for eksempel opsjonen:

       -u, --update
             only append files that are newer than copy in archive

Endret 20. april 2004 av Torbjørn

[xeon]

hva for noen filer er det egentlig snakk om her?

[Torbjørn]

man trenger vel ikke kaste stein før glasshuset er skutt, og så videre..

 

men fra spøk til side; tar har en bønsj med optioner og muligheter, klarer du ikke pusle sammen en kommando som duger?

[Ganske]

Eg ville ha sett på rsync-baserte backupsystem. Rsync overfører alt første gongen, og berre det som er endra sidan sist dei påfølgjande gongane. Komprimert og/eller kryptert overføring skal òg gå greitt.

[petterg]

Det som tar plass er for det meste .psd, .eps og .pdf filer. Alle filer som er komprimerte fra før skal selvsagt ikke komprimeres på nytt, de skal bare sendes over. Men så ligger det vanvittig mange små filer innimellom, som ofte er ren tekst. Disse bør samles og komprimeres i en stor fil.

 

Rsync kan være en god idee. Må undersøke litt om det.

[petterg]

Rsync er nesten helt perfekt.

Det som mangler for å få den helt perfekt er samling av små filer (<10KB) i litt større grupper (solid archive), slik at de ikke tar så mye diskplass, og muligheten til å spesifisere hvilke filtyper den ikke skal kaste bort resursser på å komprimere.