Verifisere Raid oppsett

[Illus]

God aften godtfolk.

 

Da er jeg altså blitt medlem av "The Fellowship of the Raid" .. på godt og vondt.. *knock wood"

 

Hardware:

 

* Areca ARC-1882i-8

* Battery Backup

* 4 x WD RED 4T

 

Satt opp RAID 6 med følgende parametre (Quick Volume/Raid Setup):

 

* Raid 6

* Use 64bit LBA

* Selected Capasity: 8000.0GB

* Select Strip Size: 64K

* Raid Set Mode: 16 volumes

* Write Protection: Disabled

* Create Vol/Raid Set: Yes

* Initialization Mode: Foreground

 

Tok 12:18:25 å initialisere Raid'et

 

I Windows 8.1 er Volumet initialisert som GPT, men ikke enda allokert. Er vel like greit å allokere det som et stort volum ? Eller er det noe best practice her ?

 

Ønsker også innspill på om jeg har satt Raid'et feil opp eller noe

 

Takker!

Endret 31. januar 2014 av Illus

[avo]

RAID 6 på 4x 4TB konsumentdisker høres litt sært ut.

 

Ja, RAID 6 er "sikkert", men en rebuild med to døde disker tar så lang tid, at du kommer til å drepe en til og miste alt.

Har du først to av 4 disker døde har du fått disker fra en dårlig batch, ellers har diskene jobbet under feil forhold (temp, vibrasjoner etc)

 

Med mindre du har veldig spesielle krav til sikkerhet ville jeg heller brukt RAID 5, eller 10 med 4 slike disker.

[Illus]

Raidet skal utvides fortløpende ved behov.

[avo]

tja, flere for store disker i et RAID 6 gjør det ikke så veldig mye bedre.

Utfordringen ligger i at disker har blitt veldig mye større, men ikke mye raskere de siste årene.

Det gjør at de største diskene ikke er egnet i RAID, og da spesielt ikke i RAID 6 / RAID 60.

Sikkerheten selve raidet gir minker i takt med størrelsen på diskene pga fare for flere døde disker under rebuild.

Siden RAID 6 bruker vinter og vår på rebuild, er komboen av 4TB konsumentdisker og RAID 6 ikke helt god.

Det er for all del bedre enn å ikke ha RAID, men det yter dårligere enn RAID 5, og det er godt mulig sikkerheten er akkurat like bra eller dårlig som ved RAID 5, og du mister mer plass.

Når du bygger på med flere disker vil bare en rebuild ta enda lengre tid om det trengs, og en expand, om kontrolleren din støtter dette kommer også til å bli en tidkrevende affære med (en liten) risiko for total RAID kollaps.

[Illus]

Takk for innspill.

 

Raid'et skal brukes til backup og vil derfor ikke ha behov for så fryktelig mye ytelse. Det vil bli skrevet en god del til den, og potensielt litt uttak i ny og ne Men det som er viktigst i oppsettet er kapasitet og tålelig med sikkerhet. Ser for meg at det i løpet av et års tid vil være 7x4TB disker med anvendbar kapasitet på 16TB (pluss en disk stand-by til hot-swap)..

 

Vil anta at det som kan skje i et raid er at en disk ryker. Og murphys lov sier at en disk til ryker under rebuild. Raid 6 vil derfor håndtere de scenarioer jeg ser for meg.

 

Serveren er også utstyrt med UPS slik at det ikke skal bli unødvendig slitasje/failure på hardware pga. strømbrudd. Diskene er laget for 24/7 bruk og spinner med 5400 omdreininger for å minimere vibrasjoner og varme. Dette er ikke konsumerdisker, men NAS disker.

 

Det er ikke kritiske data som ligger i Raid'et da enkeltpersonene som bruker serveren selv er ansvarlig for å ha flere backupløsninger, men serveren er bygget med tanke på å være så sikker som mulig innenfor rimelighetens grenser.

 

Men jeg er for all del ikke noe ekspert på dette og lærer noe nytt hver dag. Så dersom et annet raidoppsett passer bedre til skissert bruk så koster det ikke noe å bytte. Blir verre når Raid'et er fullt

Endret 31. januar 2014 av Illus

[Nizzen]

RAID 6 på 4x 4TB konsumentdisker høres litt sært ut.

 

Ja, RAID 6 er "sikkert", men en rebuild med to døde disker tar så lang tid, at du kommer til å drepe en til og miste alt.

Har du først to av 4 disker døde har du fått disker fra en dårlig batch, ellers har diskene jobbet under feil forhold (temp, vibrasjoner etc)

 

Med mindre du har veldig spesielle krav til sikkerhet ville jeg heller brukt RAID 5, eller 10 med 4 slike disker.

 

Du mener nok omvent. Raid 5 er usikkert, hvis en disk tar kvelden under rebuild. Er jo en grunn for at raid6 er best

 

Det vet jeg alt om

[Nizzen]

tja, flere for store disker i et RAID 6 gjør det ikke så veldig mye bedre.

Utfordringen ligger i at disker har blitt veldig mye større, men ikke mye raskere de siste årene.

Det gjør at de største diskene ikke er egnet i RAID, og da spesielt ikke i RAID 6 / RAID 60.

Sikkerheten selve raidet gir minker i takt med størrelsen på diskene pga fare for flere døde disker under rebuild.

Siden RAID 6 bruker vinter og vår på rebuild, er komboen av 4TB konsumentdisker og RAID 6 ikke helt god.

Det er for all del bedre enn å ikke ha RAID, men det yter dårligere enn RAID 5, og det er godt mulig sikkerheten er akkurat like bra eller dårlig som ved RAID 5, og du mister mer plass.

Når du bygger på med flere disker vil bare en rebuild ta enda lengre tid om det trengs, og en expand, om kontrolleren din støtter dette kommer også til å bli en tidkrevende affære med (en liten) risiko for total RAID kollaps.

 

Rebuild går ikkje så treigt på en Areca 1882 kontroller. Du tenker sikkert på gamle drittkontrollere

 

Det største raidet jeg har satt opp var 16x 3TB hitachi 7200rpm disker i raid-6. Funker fjell den dag i dag. Har også hatt oppe 24 x 2TB, men det ble for mange disker i ett array etter min smak. 8 stk i raid-6 er det beste synes jeg.

 

 

Endret 1. februar 2014 av Nizzen

[Snabel@]

Perosnlig kjører jeg alle raidene mine i 50.... har altid klart og rebuilde etter en disk krasj

 

 

Snabelen

[Illus]

Takker folkens!

 

Da tror jeg at jeg holder en knapp på Raid 6 som planlagt. Oppsettet ditt ser sykt ut Nizzen Jeg håper og tror det ikke ligger på bordet der den dag i dag, Og den vifta var bare konge.. hihi.

[ATWindsor]

RAID 6 på 4x 4TB konsumentdisker høres litt sært ut.

 

Ja, RAID 6 er "sikkert", men en rebuild med to døde disker tar så lang tid, at du kommer til å drepe en til og miste alt.

Har du først to av 4 disker døde har du fått disker fra en dårlig batch, ellers har diskene jobbet under feil forhold (temp, vibrasjoner etc)

 

Med mindre du har veldig spesielle krav til sikkerhet ville jeg heller brukt RAID 5, eller 10 med 4 slike disker.

 

Jeg er uenig i dine vurderinger, jeg har ca 50-60 disker i diverse RAID, har aldri opplevd at en disk til dør under en rebuild, at disker dør er ganske sjeldent. Som normal konsument er bøygen stort sett å få tak i en ny disk uansett, jeg bestiller bare fra nettbutikker og kjører degraded ett par dager, mens jeg kopierer ut eventuelle data som jeg ikke har tatt backup av enda. Rebuild tar forøvrig ikke så ekstremt lang tid.

 

Om man har ups kan man sette på write-back-cache også, som ytterligere forkorter ned rebuild-tiden.

 

AtW

[Illus]

En ting til. Hva er beste volumparametre for så store partisjoner ? NTF sier seg selv siden jeg kjører windows, men er litt usikker på allocation unit size.

[Illus]

Her er en benchmark av min ocz vector 128 (os disk) og raidet:

 

 

 

 

[avo]

 

RAID 6 på 4x 4TB konsumentdisker høres litt sært ut.

 

Ja, RAID 6 er "sikkert", men en rebuild med to døde disker tar så lang tid, at du kommer til å drepe en til og miste alt.

Har du først to av 4 disker døde har du fått disker fra en dårlig batch, ellers har diskene jobbet under feil forhold (temp, vibrasjoner etc)

 

Med mindre du har veldig spesielle krav til sikkerhet ville jeg heller brukt RAID 5, eller 10 med 4 slike disker.

 

Jeg er uenig i dine vurderinger, jeg har ca 50-60 disker i diverse RAID, har aldri opplevd at en disk til dør under en rebuild, at disker dør er ganske sjeldent. Som normal konsument er bøygen stort sett å få tak i en ny disk uansett, jeg bestiller bare fra nettbutikker og kjører degraded ett par dager, mens jeg kopierer ut eventuelle data som jeg ikke har tatt backup av enda. Rebuild tar forøvrig ikke så ekstremt lang tid.

 

Om man har ups kan man sette på write-back-cache også, som ytterligere forkorter ned rebuild-tiden.

 

AtW

 

Flott med litt uenighet - dette er jo et diskusjonsforum.

 

Jeg er nok litt paranoid på sikkerhet, men det skyldes at jeg har opplevd å miste data når RAID har død.

Har selv også en del disker i RAID - husker ikke totalantallet, men totalt er det en drøy Petabyte, mest i RAID 50 på 1TB disker.

Har også systemer med 2 og 4 TB disker, noe på SAS, noe på enterprise SATA, noen konsument, og en god del AV disker, som vel ligger i samme klasse på NAS diskene.

 

Det finnes etterhvert mange diskusjoner rundt dette på nett, og ikke alle er enige i meg, men stort sett er det enighet om at for større løsninger er tradisjonelt RAID snart historie.

Det er ikke uten grunn at Amazon, Google og andre store aktører for lengst har dropper tradisjonelt RAID og flyttet over på andre løsninger som Hadoop og S3, eller litt simplere varianter som ZFS, Gluster etc.

 

Det er ingen tvil om at RAID 6 gir en sikkerhet, mitt spørsmål her er om sikkerheten blir større enn ved RAID 5. Min erfaring med konsumentdisker er at de fungerer fint, noen timer i strekk, men ved full load vil de fleste slike diskene falle markert i ytelse etter et sted mellom 4 og 40 timer. Ofte faller de ned til en komisk dårlig ytelse, helt til de får en real pause noen timer.

En rebuild av et RAID 6 med 4-8 4TB enterprisedisker som IKKE har dette problemet vil fort ta opp mot en uke, og om et fall i ytelsen som nevnt over slår inn under en rebuild, vil det ikke ta dager, men uker med rebuild av to døde disker.

En rebuild med bare en død disk går betydelig fortere. Og en rebuild med en død disk i RAID 5 enda fortere.

Derfor tror jeg et slik oppsett med slike disker sannsynligvis er like trygt med RAID 5.

Alternativt om du skal ha 6 disker eller mer - RAID 50, med to RAID 5 grupper a 3 disker hver.

Er du paranoid nok, RAID 51, men da mister du mye plass.

[Nizzen]

Det tar ikkje en uke å rebuilde et array med 4-8 disker i raid-6 med Areca 1882.

 

Kjør raid-6 eller raid-6

Endret 1. februar 2014 av Nizzen

[avo]

Det tar ikkje en uke å rebuilde et array med 4-8 disker i raid-6 med Areca 1882.

 

Kjør raid-6 eller raid-6

Fyll opp raidet, og napp ut en disk, vent til noen timer, napp ut en til, så får du fasiten.

Med null belastning bør det gå litt raskere enn en uke, men med litt trafikk...

 

Jeg kan ikke garantere at det tar en uke, men mine drøyt 20 års erfaring med RAID systemer tilsier at jeg kan ha farlig rett.

 

Les litt om emnet - det er ganske spennende.

Nettet er fult av disse diskusjonene,

http://forums.storagereview.com/index.php/topic/34094-is-raid-56-dead-due-to-large-drive-capacities/.

 

Samme hva du gjør eller ikke, husk i alle fall på en ting - RAID er ingen erstatning for backup.

[ATWindsor]

 

Det tar ikkje en uke å rebuilde et array med 4-8 disker i raid-6 med Areca 1882.

 

Kjør raid-6 eller raid-6

Fyll opp raidet, og napp ut en disk, vent til noen timer, napp ut en til, så får du fasiten.

Med null belastning bør det gå litt raskere enn en uke, men med litt trafikk...

 

Jeg kan ikke garantere at det tar en uke, men mine drøyt 20 års erfaring med RAID systemer tilsier at jeg kan ha farlig rett.

 

Les litt om emnet - det er ganske spennende.

Nettet er fult av disse diskusjonene,

http://forums.storagereview.com/index.php/topic/34094-is-raid-56-dead-due-to-large-drive-capacities/.

 

Samme hva du gjør eller ikke, husk i alle fall på en ting - RAID er ingen erstatning for backup.

 

 

Nå har jeg riktignok aldri rebuildet ett array med to feilede disker i raid6, men min erfaring er at med ett godt kontrollerkort, så tar det ca write-speeden til disken med en disk som skal rebuildes, hvorfor skal det ta noe lengre tid med to disker? man skal lese fra resten og regne paritet/data for de to andre, det e rikke CPU-begrenset i utgangspunktet, og diskene kan skrive fullt. (med en god kontroller), derfor tipper jeg det tar omlag det samme som med en tapt disk, dvs kanskje ca 12-16 timer.

 

Mulig du har 20 års erfaring, men dine estimater for rebuild-tid virker til å være langt utenfor blinken.

 

Her er min siste rebuid 4* 750 GB raid 5, med en eldgammel controller 2012-04-28 21:01:54 01_WD750 Complete Rebuild 003:04:21, dvs 3 timer.

 

Og hvem er det som kjører trafikk inn mot ett array som rebuildes? Neppe hjemmebrukere ihvertfall.

 

AtW

[Nizzen]

 

Det tar ikkje en uke å rebuilde et array med 4-8 disker i raid-6 med Areca 1882.

 

Kjør raid-6 eller raid-6

Fyll opp raidet, og napp ut en disk, vent til noen timer, napp ut en til, så får du fasiten.

Med null belastning bør det gå litt raskere enn en uke, men med litt trafikk...

 

Jeg kan ikke garantere at det tar en uke, men mine drøyt 20 års erfaring med RAID systemer tilsier at jeg kan ha farlig rett.

 

Les litt om emnet - det er ganske spennende.

Nettet er fult av disse diskusjonene,

http://forums.storagereview.com/index.php/topic/34094-is-raid-56-dead-due-to-large-drive-capacities/.

 

Samme hva du gjør eller ikke, husk i alle fall på en ting - RAID er ingen erstatning for backup.

 

 

Med 20 års erfaring har du kanskje hatt mange treige raidkontrollere. Hvor mange Areca har du hatt?

[Illus]

Spennende diskusjon

 

Har i alle min år skydd raid som pesten da software/hk-raid er dømt til å mislykkes. Nå prøver jeg igjen, dum som jeg er men det er jo litt moro å leke litt med ilden. Hverdagen er kjedelig uten! Så får tiden vise om dette var et fornuftig valg *knock wood*

[avo]

Rebuild av RAID 6 med to døde disker tar betydelig lenger tid enn RAID 5 med en død disk,siden prosesseringen av data og partiet er langt mer kompleks en en simpel xor som trengs for å fastslå hva som mangler i et RAID 5.

I tillegg skal det skrives til to disker samtidig.

Dette er ingen krise om diskene ikke er for store, men 4TB pr disk er i ytterkant av hva som er fornuftig i en slik konfigurasjon.

Prøv å google RAID 5 Vs 6 rebuild, så finner du mye morro.

 

Areca har jeg bare testet et par ganger, men aldri satt i drift.

Mener å huske ytelsen var omtrent som tilsvarende modeller fra LSI, men uten mulighet for cachecade (?)

http://community.spiceworks.com/topic/290343-raid-6-s-dirty-little-secret

[ATWindsor]

Rebuild av RAID 6 med to døde disker tar betydelig lenger tid enn RAID 5 med en død disk,siden prosesseringen av data og partiet er langt mer kompleks en en simpel xor som trengs for å fastslå hva som mangler i et RAID 5.

I tillegg skal det skrives til to disker samtidig.

Dette er ingen krise om diskene ikke er for store, men 4TB pr disk er i ytterkant av hva som er fornuftig i en slik konfigurasjon.

Prøv å google RAID 5 Vs 6 rebuild, så finner du mye morro.

 

Areca har jeg bare testet et par ganger, men aldri satt i drift.

Mener å huske ytelsen var omtrent som tilsvarende modeller fra LSI, men uten mulighet for cachecade (?)

http://community.spiceworks.com/topic/290343-raid-6-s-dirty-little-secret

 

Processeringen er mer kompleks, men ikke mer kompleks enn at CPUen (ihvertfall i teorien) har mer enn nok kapasitet til å ikke være flaskehalsen.

 

Det skal skrive til to disker ja, derfor kan man regne med at det går så fort som å fylle en disk?

 

AtW