Arkivering og flytting av mye data

[kekepower]

Hei folkens.

 

Jeg har fått i oppgave å finne ut hvordan vi kan flytte 33TB med data fra en plass til en annen så kjapt som mulig.

Holder på å teste komprimering nå og qpress er den som er kjappest til nå, men ikke like bra komprimering.

Tanken er å kjøre komprimering og så kopiere dette over nettverket på direkten gjennom scp til SERVER B.

 

Høres dette ut som en plan?

Har dere andre/bedre forslag?

 

Til informasjon:

qpress komprimerte en 25GB fil til 20GB på 2 minutter 58 sekunder. (minimal komp)

pbzip2 gjorde jobben på 54 minutter 21 sekunder. (maksimal komp 25GB til 17GB)

7zip ser ut til å være den tregeste, men kan ha best komp av alle.

[kpolberg]

Hva gir rsync med kompresjon påslått?

[kekepower]

Hei.

 

Jeg har ikke testet rsync, men vil vel tro at vi ikke kommer til å spare noe spess tid.

 

Til info:

7zip med maks kompresjon brukte 109 minutter 5 sekunder på 25GB til 16GB.

[Sokkalf™]

scp kan gi litt mye overhead, og dermed bli litt tregt. Får selv ~30-40MB/sec med scp.

 

Hvis det samme er tilfelle for deg, er det kanskje mer effektivt å mounte opp den ene serveren med NFS, og overføre på den måten. Enten med rsync eller vanlig cp.

[Jann - Ove]

Dropp komprimering, og om mulig også kryptering, og sats på rå nettverkshastighet.

 

Sats på 2xgbit nettverk med trunking, og nå en hastighet på 225MB/s reelt. Da tar det 40timer å overføre 33TB fra en server til en annen.

 

Om harddiskarrayene tåler det, så er 10gbit nettverk et reelt alternativ - om avstandene er små nok, og prisen ikke er for stor.