Fil speiling mellom 2 linux noder

[Joachim Sandvik]

Jobber hos et selskap som har ca 20TB med bilder som de skal ha over på 2 stk linux/nas bokser. Planen er at de skal ha 20tb på hver boks og kjøre en speiling mellom boksene som står på 2 lokasjoner. Det er ca 5 million filer, så det som er viktig er at scan etter nye filer ikke går for tregt. Ser for oss en speiling hver time.

 

Har i utgangspunktet tenkt å prøve Rsync, men har lest litt ang dårlig performance når det blir mye filer.

 

Noen som har noen tips til produkt å prøve?

[xcomiii]

Med så store datamengder, tror jeg det er bedre å få en lagringsleverandør på banen, f.eks EMC eller Proact i Norge å få de til å sette dette opp. Med mindre du har lyst å bruke mange dager/uker på å få det til å virke selv.

[siDDis]

Rsync kan bli litt for treigt ja

 

Om du ikkje trenger Linux så sjå heller på FreeBSD med ZFS og HAST, eventuelt Geom Gate.

Skal du bruke Linux så ville eg sett nærmare på GlusterFS, Hadoop. DragonFlyBSD har også HammerFS som også kan replikere.

 

Nå veit eg ikkje om du trenger master-master replikering. Det er iallefall mykje meir avansert.

[Lindsay]

Rsync og 20TB vil fordre att en har nettverk og utstyr og veldig god planlegging.

Vil tro du hadde klart det greit med 3 NAS der du hadde tatt hovedsyncingen i helgene og beholdt syncing hver time. Ellers enig i forrige innlegg i denne tråden