RAID for dummies og viderekommende

[Rudde]

Da har jeg fått opp 10x 3TB arrayet mitt igjen (uten data ofc) 5 disker byttet, gått over til ZFS (igjen) håper jeg kan få noen hands up før diskene faktisk er fucked ved å se om de ikke samsvarer med checksummen.

[Jahn Ove]

 

Hva er best av Intel DC P3500 400GB (evt p3700) og feks. 3-4 Samsung SSD 840 EVO 250GB i raid 0 via Z97 hovedkort?

 

Intel p3700/p3600 er klart best Jeg har Intel p3700 og velger dette til OS any day over raid på hovedkort. Selv har jeg også Samsung 850pro i raid-0. Det som kommer nærmest p3700 er 850pro i raid-0.

 

Valget ditt blir da enten 3-4 stk 850pro eller p3600/p3700. Det finnes bare fordeler med Intel p3700/3600 Accesstime til intel p3700 er VELDIG lav, noe som gjør at alt blir særdeles responsivt nesten uansett hva man har av load på den.

 

Takker for svar

[Chavalito]

Noen som kan anbefale et RAID kontroller kort for en Linux NAS/server??? Tenker liit på et Areca 1214-4I, men alle forslag mottas og vurderes.

Har ikke helt bestemt meg for Linux versjon enda, men mulig Ubuntu server 14.04 eller CentOs 7. Den skal kjøre som Samba server for backup etc.

[Nizzen]

Noen som kan anbefale et RAID kontroller kort for en Linux NAS/server??? Tenker liit på et Areca 1214-4I, men alle forslag mottas og vurderes.

Har ikke helt bestemt meg for Linux versjon enda, men mulig Ubuntu server 14.04 eller CentOs 7. Den skal kjøre som Samba server for backup etc.

 

Finnes det noe annet enn Areca da?

[Chavalito]

 

Noen som kan anbefale et RAID kontroller kort for en Linux NAS/server??? Tenker liit på et Areca 1214-4I, men alle forslag mottas og vurderes.

Har ikke helt bestemt meg for Linux versjon enda, men mulig Ubuntu server 14.04 eller CentOs 7. Den skal kjøre som Samba server for backup etc.

 

Finnes det noe annet enn Areca da?

 

Nizzen, alle vet jo at du er Areca fanboy, men når det er sagt, vil 1214-4I funke okay med 4 stk HGST 3 TB disker?

[Nizzen]

Jepp, men ville ikkje kjøpt noe annet enn minst 8 porter. Skal du kvitte deg med den en gang så er 4 porter nesten verdiløs. Finnes jo ikkje oppgraderingsmuligheter a net enn expander.

[kpolberg]

For min egen del går jeg for ZFS on Linux og LSI kort i IT modus. Ytelsen er mer en god nok. Pluss man får "checksumming" av alle data, slik at man unngår "silent corruption".

[weebl]

Kpolberg, helt enig, trygg lagring krever mer enn et raidkort.

[Nizzen]

For min egen del går jeg for ZFS on Linux og LSI kort i IT modus. Ytelsen er mer en god nok. Pluss man får "checksumming" av alle data, slik at man unngår "silent corruption".

 

Hvordan er det med "silent corruption /bitråte" nå for tiden tro? Vet det var lett at det kunne skje for en del år siden, men nå virker det som om det er mye mindre snakk om det. Noe pga er vel at de fleste nyere OS har mere egensjekking av filer, og at hardware generelt er modnet. Det skulle egentlig bare mangle

Endret 28. oktober 2014 av Nizzen

[kpolberg]

Bitrot er egentlig mye større tema nå enn før. Uten å ha lest meg opp på windows så tviler jeg vel på at de har fått inn sjekksumming i NTFS? Eneste filsystemene jeg kommer på i farten er egentlig btrfs og zfs. Forventer vel egentlig og at leverandører typ netapp o.l også har dette på sine filsystem.

 

EDIT: sjekket litt kjapt. Ser ut til at Windows har fått sjekksumming i ReFS. Men har aldri prøvd filsystemet selv.

Endret 28. oktober 2014 av kpolberg

[Nizzen]

Bitrot er egentlig mye større tema nå enn før. Uten å ha lest meg opp på windows så tviler jeg vel på at de har fått inn sjekksumming i NTFS? Eneste filsystemene jeg kommer på i farten er egentlig btrfs og zfs. Forventer vel egentlig og at leverandører typ netapp o.l også har dette på sine filsystem.

 

EDIT: sjekket litt kjapt. Ser ut til at Windows har fått sjekksumming i ReFS. Men har aldri prøvd filsystemet selv.

 

Om bitrot er et tema, betyr ikkje at det skjer titt og ofte. Her er det nok mye synsing ute å går. Har selv en server med ZFS, men kan ikkje si at jeg har hatt noe problem med windows server og bitrot noen gang. Ikkje lett å finne ut av, men ikkje fått noen korrupte filer enda, av de jeg har sjekket. Man kan jo si at bitrot og slikt er et problem, for å få god samvittighet for å dille med ZFS

 

Er sikker på at det er 10 000 ganger mere sansynlig at en bruker sletter filer eller føkker opp andre ting, enn at det kommer bitråte i ny og ne. Brukerfeil er den største trusselen i dataverden, og den blir ikkje mindre med årene for å si det slik

Endret 28. oktober 2014 av Nizzen

[kpolberg]

The main problem is that hard disk capacities have increased substantially, but their error rates remain unchanged. The data corruption rate has always been roughly constant in time, meaning that modern disks are not much safer than old disks. In old disks the probability of data corruption was very small because they stored tiny amounts of data. In modern disks the probability is much larger because they store much more data, whilst not being safer. That way, silent data corruption has not been a serious concern while storage devices remained relatively small and slow. Hence, the users of small disks very rarely faced silent corruption, so the data corruption was not considered a problem that required a solution. But in modern times and with the advent of larger drives and very fast RAID setups, users are capable of transferring 10^16 bits in a reasonably short time, thus easily reaching the data corruption thresholds.

Kilde: http://en.wikipedia.org/wiki/Data_corruption

Endret 28. oktober 2014 av kpolberg

[Nizzen]

 

The main problem is that hard disk capacities have increased substantially, but their error rates remain unchanged. The data corruption rate has always been roughly constant in time, meaning that modern disks are not much safer than old disks. In old disks the probability of data corruption was very small because they stored tiny amounts of data. In modern disks the probability is much larger because they store much more data, whilst not being safer. That way, silent data corruption has not been a serious concern while storage devices remained relatively small and slow. Hence, the users of small disks very rarely faced silent corruption, so the data corruption was not considered a problem that required a solution. But in modern times and with the advent of larger drives and very fast RAID setups, users are capable of transferring 10^16 bits in a reasonably short time, thus easily reaching the data corruption thresholds.

Kilde: http://en.wikipedia.org/wiki/Data_corruption

 

 

Akkurat det svaret jeg ville ha!

Gratulerer, du gjorde akkurat forumet bedre

 

Dog er ikkje helt sikker på at det er et problem for vanlige brukere uansett

[kpolberg]

Problemet her er jo at det er snakk om silent corruption. De aller fleste brukere vil nok ikke merke dette i det store og det hele. Fordi det treffer relativt sjelden enda. Feilraten er som nevnt i wikipedia artikkelen ikke endret, noe som vil bety at ettersom bilder / video filer osv blir større, jo større sannsynlighet er det for at du vil oppleve bitrot. I de aller fleste tilfeller vil ikke dette utgjør noe stort problem, mens i andre tilfeller vil du kunne oppleve at bildet på video filen plutselig blir grønn frem til den treffer neste referanse bilde osv. Eller at bilde laster halveis og resten fremstår som grått.

 

Jeg har ihvertfall opplevd dette endel ganger. Har jeg mistet noe særlig? Nei, egentlig ikke. Men jeg ønsker heller ikke å ta sjansen

[Nizzen]

Problemet her er jo at det er snakk om silent corruption. De aller fleste brukere vil nok ikke merke dette i det store og det hele. Fordi det treffer relativt sjelden enda. Feilraten er som nevnt i wikipedia artikkelen ikke endret, noe som vil bety at ettersom bilder / video filer osv blir større, jo større sannsynlighet er det for at du vil oppleve bitrot. I de aller fleste tilfeller vil ikke dette utgjør noe stort problem, mens i andre tilfeller vil du kunne oppleve at bildet på video filen plutselig blir grønn frem til den treffer neste referanse bilde osv. Eller at bilde laster halveis og resten fremstår som grått.

 

Jeg har ihvertfall opplevd dette endel ganger. Har jeg mistet noe særlig? Nei, egentlig ikke. Men jeg ønsker heller ikke å ta sjansen

 

Derfor har jeg også det aller helligste flere plasser og på ZFS Jeg skal dog ikkje skryte på meg at jeg klarte å sette det opp selv, det var det en her på forumet som hjalp meg med

[ATWindsor]

Problemet her er jo at det er snakk om silent corruption. De aller fleste brukere vil nok ikke merke dette i det store og det hele. Fordi det treffer relativt sjelden enda. Feilraten er som nevnt i wikipedia artikkelen ikke endret, noe som vil bety at ettersom bilder / video filer osv blir større, jo større sannsynlighet er det for at du vil oppleve bitrot. I de aller fleste tilfeller vil ikke dette utgjør noe stort problem, mens i andre tilfeller vil du kunne oppleve at bildet på video filen plutselig blir grønn frem til den treffer neste referanse bilde osv. Eller at bilde laster halveis og resten fremstår som grått.

 

Jeg har ihvertfall opplevd dette endel ganger. Har jeg mistet noe særlig? Nei, egentlig ikke. Men jeg ønsker heller ikke å ta sjansen

 

Min erfaring er at feilraten som oppgis overvurderer faktisk rate, bitrot oppdages i raid-array om man jevnlig sjekker arrayet, men virker ikke som det skjer særlig ofte, jeg har opplevd det en gang, og kjører 30-40 disker og har gjort det i mange år.

 

Når det er sagt, så er ZFS et fint filsystem, ahdde hatt det på backup-serveren min selv, om ikke nas4free nektet å samarbeide.

 

AtW

[kpolberg]

Jeg skal ikke fremstå som verdensmester, har selv vært klar over problemstillingen over lengre tid, men latt være og gjøre noe med det. Alt blir jo egentlig en balanse av forskjellige faktorer.

[ectoplasma]

Hallo, dummy her. Har nettopp bestilt ny pc og demontert den forrige for å kunne installere den ene harddisken. Har bestilt 3TB som skal holde i massevis for mitt bruk, men har masse bilder osv fra gamlepcen som jeg aldri fikk redda før den døde.

 

Det virka som om gamlepcen slutta å funke på grunn av hardwareslitasje, men som nevnt er jeg dummy og aner egentlig ikke hva som gikk feil. Men det kom opp meldinger om at den mangla essensielle drivere, og da jeg først fikk meg inn på den i noen titalls minutter fikk jeg redda det meste fra D-disken, men ingen av filene fra C-disken dukka opp, og jeg måtte kjøre med W7-cd hver gang jeg starta opp. Har sett nøye på kablene tilhørende begge harddiskene nå, og fant ingen feil der, så håper på at det var en annen maskinvarefeil som gjorde at jeg ikke fikk adgang.

 

Så det jeg lurer på er om det er "safe" å bare koble til det som var C-disken i nye pcen for å redde det som er på den (sett at den i det hele tatt funker selvfølgelig)? Siden den har OS installert på seg og var primærharddisk tidligere, vil den fucke opp noen ting? Eller om det så skulle være et virus som gjorde at forrige pcen kapitulerte, kan det bli overført bare ved å koble til harddisken og føre filene over til en ekstern harddisk? På forhånd takk til hvem enn som gidder å svare!

[siDDis]

Bitfeil skjer enda....tingen er jo sjølvsagt som andre seier..silent disk corruption. Ofte legger du rett og slett ikkje merke til det.

 

Uansett så er den enklaste måten å fremprovosere checksum errors fleire unclean shutdowns.

Men ZFS leverer så mykje meir. Level 2 cache (f.eks med SSD), compression der du også uansett vil få langt betre performance med LZ4, blokk basert replikering og mykje mykje meir.

 

Har ein database her som er på 400GB uncompressed, men som tar bare 70GB med gzip-6. Spørringane er også langt meir effektive når eg skal kverne større datamengder :-)

[sdf123]

Er det ikke enklere i disse dager å bare speile alt online(for dem som bruker raid til backup)? Det finnes jo så mange forskjellige tjenester som lar deg lagre uendelig med data for ~500kr i året?