Filsystem med Dedup?

[arnizzz]

Noen kurrante filsystem som hat deduplication som funker i linux? Må funke på Block-nivå og ikke filnivå.

[Varj]

Det finnes flere (google), men det er en del fallgruver. Hva skal det brukes til?

[arnizzz]

Lagring av backups. ZFS-fuse har visstnok dedup, så vurderer å gå for det.

[Varj]

Dedup i ZFS er vel fortsatt på beta-stadiet, men trolig den løsningen jeg ville gått for ved noe hjemmelaget selv.

Rett og slett fordi bitråte er så ekstremt mye mer skadelig enn vanlig, når data ligger lagret deduplisert.

[worseisworser]

Litt kjipt å gå for ZFS om det viser seg at den forblir i userspace, eller?

 

BTRFS får dedup etterhvert hører jeg.

[AlecTBM]

kan noen fortelle meg hva dedup er, og hva hensikten er? Prøvde å søke litt på wikipedia

[Varj]

Ja, om ZFS forblir i FUSE på linux, er det ganske håpløst. Så får vi bare krysse fingrene og håpe på at forrige ukes nyhet om at det jobbes med kernel-modul stemmer.

 

Dedup kan veldig grovt ses på som filsystem-wide komprimering, slik at unike blokker bare lagres en gang, og nye instanser erstattes av pekere. Hele hemmeligheten ligger i algoritmen som deler opp filene i chunks og tillegger de flere hash-verdier, gjerne med variabel chunk størrelse.

 

Det er på vei til å bli veldig populært i business-backup, da det sparer vanvittig med plass, da f.eks full backup av noen hundre servere gjerne har mye til felles.

 

Ulempen er relativt treg hastighet ved restore, da det nødvendigvis blir en veldig random read last.

[AlecTBM]

Aah, kult