SoftRaid på 3,7 TB borte.... Ikke uvanlig?

[TBJ]

Dette er på en måte en oppfølgingstråd av https://www.diskusjon.no/index.php?showtopic=1252227&st=0 der jeg fortalte om mine problemer med å kjøre et stort raidoppsett med et eldre raidkort og Win2003.

Raid kontrollerkortet: http://vb.net/products/PROMISE/FastTrakTX4300ds.pdf

Jeg kjører 2x2TB WD Black Edition i raid0.

 

Som jeg fortalte i den forrige tråden, fikk jeg alt til å fungerer perfekt.

Men så skjedde det som IKKE MÅ SKJE:

 

I går gav maskina beskjed om følgende (og jeg siterer Event loggen):

Windows was unable to save all the data for the file N:\Opptak fra kamera\20100310.iso. The data has been lost. This error may be caused by a failure of your computer hardware or network connection. Please try to save this file elsewhere.

 

Neste feilmelding:

The description for Event ID 50 from source Ntfs cannot be found. Either the component that raises this event is not installed on your local computer or the installation is corrupted. You can install or repair the component on the local computer.

 

If the event originated on another computer, the display information had to be saved with the event.

 

The following information was included with the event:

 

N:\Opptak fra kamera\20100310.iso

 

the message resource is present but the message is not found in the string/message table

 

og neste etter der igjen:

The file system structure on the disk is corrupt and unusable. Please run the chkdsk utility on the volume N:.

 

fulgt opp av mange slike:

Application popup: Windows - Corrupt File : The file or directory N:\Opptak fra kamera is corrupt and unreadable. Please run the Chkdsk utility.

 

 

Da jeg bootet maskina, var hele volumet borte.

Sjekket WebPAM (softwvare oppsettet av raiden) og der fant den volumet. Den rapporterte at begge diskene var der (begge på 2TB), men at den tilsammen var ca. 2,1TB?? (husker ikke helt).

Jeg fant ingen måte å få den tilbake til 4TB på, så tilslutt slettet jeg hele raidoppsettet og begynte på nytt.

 

(Ingen krise. Jeg har nok av backup'er, men dette skal ikke skje.)

 

Hvorfor skjedde dette?

Jeg kjører diskkontroll nå på alle harddisken (hver for seg) for å sikre meg at det ikke er de som er feilen.

 

Jeg fikk faktisk en advarsel fra en på IT på jobben at jeg ikke burde bruke software raid pga. ustabilitet. Men så ustabilt trodde jeg ikke at den var.

I utgangspunktet støtter raidkortet hardware raid, men pga. størrelsen på disken måtte jeg bruke software'n til Promise for å bygge raiden (mer om det i den første tråden).

 

Noen som vet hvorfor dette skjedde?

(nå tar jeg utgangspunktet i at alle harddiskene er 100% friske, men det tar tid å kontrollere de. Ca. 20 timer pr. harddisk.)

Er det noen måte jeg kunne ha hindret dette?

Er det noen måte jeg kunne ha bygget opp raidoppsettet og fått tilbake innholdet?

Er virkelig software basert raid så ustabilt, eller kan det komme av at jeg kjører så store partisjoner på et gammelt raidkort og Win 2003 (som heller ikke er så nytt)?

Kan det være lurere å installere Win7 på serveren i stedet? (Win7 støtter jo større partisjoner uten problem, etter hva jeg hører).[/color]

 

 

Mange spørsmål, men jeg er desperat etter hjelp.

Det tar mange dager å få kopiert tilbake det som ble borte og jeg vil helst slippe dette i fremtiden.

Endret 18. august 2010 av TBJ

[vidarkri]

Raid 0 er jo i utgangspunktet livsfarlig å kjøre om det er software eller hardware basert så det er jo den første blemma du har gjort.

Hvis et Raid 0 tryner så er sjansen for å få tilbake datane rimelig begrenset spesielt hvis det er snakk om filsystemfeil.

Hvis man kjører Raid 0 så MÅ man alltid ha en god backup rutine.

 

Jeg anbefaler deg å vurdere Raid 1 som er mye sikrere. Det er kostbart men da slipper du slike situasjoner.

Raid 5 er også en sikker løsning og betraktelig mye billigere enn Raid 1 hvis du regner mb/kr, ulempen er at kontrollerne ofte er kostbare men man får som sagt bedre utnyttelse av diskene enn med Raid 1. Ved diskfeil på Raid 0/Raid 5 så er det veldig enkelt å bare erstatte den disken som har feilet og la kontrolleren bygge opp datane på nytt automatisk.

Endret 18. august 2010 av vidarkri

[TBJ]

Alt annet enn raid0 er uaktuellt.

Jeg har nok av sikkerhet andre steder.

Denne serveren er bygget for å gi fart i et stor nettverk (15-20 mennesker kjører samtidig).

 

Så spørsmålet er vel egentlig om raid0 er så risikabelt som jeg har opplevd nå. En krasj en gang i blandt (med ett års tid mellom) kan jeg overleve.

Kan man gjøre noen grep her?

Hvorfor er raidoppsettet mitt så sårbart?

Er det normalt, eller kommer det av stor partisjon / eldre raidkort / Win2003?

Vil Win7 hjelpe?

osv.

 

 

Jeg har kjørt raid0 i snart 5 år med mindre harddisker (og derfor fått kjørt de som hardware raid). Har kun opplevd én krasj. Bad sector på en av de åtte harddiskene.

 

Er software raid generelt mindre sikkert enn hardware raid og hvorfor?

Endret 18. august 2010 av TBJ

[vidarkri]

Raid 0 er er risikabelt fordi filsystemet spenner over flere fysiske disker uten å lagre paritetsinformasjon, hvis en disk feiler så er hele volumet borte.

Alle andre Raid nivåer lagrer paritetsinformasjon slik at data kan bygges opp fra denne informasjonen hvis noe feiler.

 

Disker er sårbare enheter som er utsatt for mange feil både fysiske og digitale feil, det er derfor generelt lite anbefalt å benytte Raid 0 hvis man ikke tar backup seriøst. Har man gode backup rutiner så er jo problemet betraktelig redusert.

 

Software Raid er utsatt for flere feil da det henger sammen med resten av operativsystemet og kan derfor feile hvis andre deler av os'et feiler, et hardware basert raid vil ikke være utsatt for slike ting. I et hardware Raid så vil selve kontrolleren borge for høyere sikkerhet og man sitter igjen med diskene som den værste feilkilden.

 

Som du selv sier så kan man ha flaks å kjøre et Raid 0 over lengre tid uten feil, men min erfaring med disker generelt tilsier at dette tilhører unntakene.

[formann]

Selv om du brukte et Windows-program til å konfigurere arrayet betyr det ikke at det er et software RAID. Programvaren komuniserer med BIOS på RAID-kortet og lagrer den samme informasjonen som man ville gjort ved oppsett via BIOS. På det TX-kortet er det faktisk ikke noe prosessor, så det ville ikke blitt et skikkelig hardware-RAID uansett

Se bare for deg enterpriseløsninger, der man er helt avhengig av å kunne rekonfigurere diskoppsett uten å restarte maskinen, så alt gjøres i Windows/NIX.

 

 

At disker blir kastet ut av et array skjer ganske ofte med en del kontrollere. At mange produsenter nå fjerner muligheten til å slå på TLER på mainstream diskene, gjør saken enda værre.

 

Det er ikke godt å si hva som har skjedd hos deg. Det kan ha vært en bad sector som resulterte i en time out, dårlig kontakt, spenningsfall, fysisk feil på disken osv.

 

Hadde du slått på TLER?

 

Om du hadde slått av maskinen så fort du oppdaget feilen, kunne du laget et image av diskene og mountet de i R-Studio. Da ville du fått tilgang til alt, men iso-filen du nevnte hadde nok vært korrupt.

 

R-studio gjør det samme som de fleste andre recoveryprogram, men kan også lage virituelle raid av disker eller image-filer.

Det er ikke så lenge siden dette geniale programmet hjalp meg å redde 99.9% av all data på et 2TB RAID5 array etter at det ICHxR-skrapet til Intel kastet ut 2 av diskene.

 

 

Når det gjelder din bruk av RAID0 så tror jeg du burde revurdere. Om det er 15-20stk som skal jobbe mot arrayet, så burde du kjøre RAID10 eller 4-5stk disker i RAID5/6. Med datakraften vi har i prosessorer i dag vil selv et billig kort som feks RocketRAID 2680 klare opp mot 1000 IOPS, 300MB/s les og 290MB/s skriv med kun 4 disker i RAID5.

 

Med så mange brukere ville jeg faktisk satset på en 8P Areca med 6stk 1+TB RAID Edition i RAID5/6 med hotspare.

 

 

Hva slags båndbredde er det egentlig mellom server og switch?

[Nizzen]

Det du trenger er et skikkelig hardware raidkort med cache! Kontrolleren er "smart" så mye brukte filer og nylig brukte filer vil hele tiden ligge i cachen (rammen) på kontrolleren. Da går det raskt

 

 

 

 

Kjører man raid-50 eller 60, så får man også veldig gode hastigheter! Raid 50 er liksom hastigheten til raid-0 + sikkerheten av raid-5

 

 

 

 

Hvis det er en bedrift du har siden du har 15-20 clienter som henter info fra serveren samtidig, så er det særdeles rart at du ikkje har en server med skikkelig kvalitet og hastighet. Ja da tenker jeg på Hardware raidkontroller med cache og kanskje sasdisker eller ssd i raid 

 

 

 

 

Både

 

Adaptec og Areca støtter 2 tb harddisker også, så det er ikkje noe problem iallefall. Men raid 5 og med 3-5 disker vil du få hastigheter som er gode nok til ditt behov. Cachen hjelper mye i et miljø der det er mange brukere. 

 

 

 

 

Jeg kan jo fortelle at jeg får 800 MB/s lesehastighet med raid-5 og ca 700 MB/s lesehastighet med raid-6. Dette er med Areca 1680ix med 2gb cache. Nå har jeg den nye Areca 1880 kontrolleren på vei, og den vil nok klare minst det dobbelte.

 

 

 

 

Men penger er liksom tingen her. Hva har du råd til i forhold til hvor viktig det er for deg å ha et system som ikkje "stjeler" filene dine om en harddisk skulle ryke.

 

 

 

 

 

[siDDis]

Alt han skulle ha hatt er ZFS med set copies = 2

[Nizzen]

Alt han skulle ha hatt er ZFS med set copies = 2

Du med det software raidet ditt 

 

 

 

 

 

Raid 1 og eller 5,6, 50, 60 eller raidZ for den saks skyld hadde reddet han...

 

 

[siDDis]

Jepp, rein raid0 er bare for dumme benchmarks

[TBJ]

Det er ikke godt å si hva som har skjedd hos deg. Det kan ha vært en bad sector som resulterte i en time out, dårlig kontakt, spenningsfall, fysisk feil på disken osv.

 

Hadde du slått på TLER?

Usikker. Hva er det og hvor slår man på den?

Har kjørt raid0 i 5 år uten problemer til nå (med mindre HD'er), så derfor tenkte jeg at problemet nå har med software raiden å gjøre.

 

 

Hva slags båndbredde er det egentlig mellom server og switch?

 

Ok, jeg skal forklare meg mer.

 

Vi er en gjeng på 20-30 mennesker som møtes på privat LAN noen ganger i året.

Maskin: "Eldre" maskin med Win2003 Server og FastTrak® TX4300 raidkontrollerkort

OS: Win 2003Server

Nettverkskort: 3Com Gigabit Server NIC, 3C996B-T

HD: 4x400GB WD Caviar R2 harddisker i raid0.

Raid0 pga. vil ha fart. Ingen krise med datakrasj, men aldri ønskelig. Backup har vi et annet sted.

 

Maskinen er koblet opp til samme switchen (D-Link DGS-1224T) de fleste er koblet til.

Vi var rimelig fornøyd med farten på maskinen (kanskje vi er uvitende og at den ikke var så imponterende i det hele tatt??)

Nå er det på tide å oppgradere i og med at harddiskene begynner å bli slitt, samt behov for mer lagringsplass.

 

Vi har ikke lyst (eller muligheten) til å bruke så alt for mye penger på dette.

 

Mulig jeg har gjort en dum avgjørelse nå ved å kjøpe inn 2x4TB (WD Caviar Black pga. raid edition var så dyre...)

Tanken var å bruke vårt eksisterende utstyr og koble de opp i raid0 (som tidligere), så kjøpe inn to nye harddisker etter hvert som behovet (og pengene) er til stede.

Så kom problemet med at raidkortet ikke støttet hardware raid med så store partisjoner (tydeligvis var det ikke noe skikkelig hardware oppsett før heller, leser jeg nå).

 

 

Hva anbefaler dere meg å gjøre?

 

Tanken slå meg at jeg bør returnere diskene og heller kjøpe 4 x 1TB og bedre raidkort (og ha muligheten til å bygge på med flere harddisker senere).

Siden dere alle mener at raid0 er sjansespill, så kan jeg være tilbøyelig å prøve noe sikrere (raid5?), men vil helst ikke ofre så mye plass på sikkerheten.

Hva synes dere? Evt. hvilket raidkort bør da kjøpes?

 

(bør jeg vurdere FreeNAS i stedet for Win2003?)

 

Må få skyte inn her at jeg har (dessverre for) liten peiling på raid og tekniske løsninger rundt det.

[Varj]

Det du trenger er et skikkelig hardware raidkort med cache! Kontrolleren er "smart" så mye brukte filer og nylig brukte filer vil hele tiden ligge i cachen (rammen) på kontrolleren. Da går det raskt

Cache på kontrolleren er kjempeflott, men du har misforstått litt hvorfor.

Du snakker om read-cache, men den biten håndterer uansett OS'et ditt, gitt at du har en del ledig minne.

Fordelen med kontroller-cache ligger i prefetch og write cache.

Om du f.eks ber om block 20, vil kontrolleren også lese kanskje 21,22 og 23, da den gjetter at du vil trenge de også, slik at de ligger klare i cache dersom du spør etter de.

Samt write-cache, som lar deg skrive svært raskt i burst, selv om ikke diskene henger med i svingene.

 

Kjører man raid-50 eller 60, så får man også veldig gode hastigheter! Raid 50 er liksom hastigheten til raid-0 + sikkerheten av raid-5

Nei, det blir for enkelt, da dette avhenger av hva slags type last det er snakk om.

Raid50 er stort sett brukt om man får for mange antall spindler til at man vil bruke de i en singel raid5-gruppe, både pga redundans og backend-io ved små writes.

Raid50 er strengt tatt ikke noe raskere enn raid5, gitt samme antall spindler.

Og raid50 er fortsatt mye tregere enn f.eks raid0 (eller mer sammenlignbart, raid10) på små random writes, selv om gode kontrollere maskerer dette en del.

[siDDis]

FreeNAS 8.1 med ZFS er ein mykje betre investering enn Windows og hardware raid.

ZFS er neste generasjons filsystem som passer ekstra godt på dataen din. Det betyr ikkje at du vil stripe fire harddisker men at du vil kjøre raid 10 eller raid5.

 

Har du moderne CPU(quad core 3ghz+) og minst 4GB ram så kan du rekne med skriveytelse mellom 200-300MB/s og leseytelse mellom 500-1000MB/s

 

Då kan du også kjøyre med compression som sparer diskplass og auker IO ytelsen 10-40%.

 

ZFS er bygget med tanke på at det ikkje skal kræsje ved straumbrudd, dårlege sektorer osv. Dyre hardware raid kontrollere har ingen særleg fordel når det kjem til datasikkerheit når ein bruker ZFS.

[TBJ]

FreeNAS 8.1 med ZFS er ein mykje betre investering enn Windows og hardware raid.

ZFS er neste generasjons filsystem som passer ekstra godt på dataen din. Det betyr ikkje at du vil stripe fire harddisker men at du vil kjøre raid 10 eller raid5.

Men jeg er fremdeles like avhengig av raidkort.

Med den løsningen du nevner her, kan jeg kanskje beholde raidkortet jeg allerede har og heller bytte ut 2x2TB med 4x1TB i raid5 (evt. 4x1,5TB)?

 

 

Har du moderne CPU(quad core 3ghz+) og minst 4GB ram så kan du rekne med skriveytelse mellom 200-300MB/s og leseytelse mellom 500-1000MB/s

 

Då kan du også kjøyre med compression som sparer diskplass og auker IO ytelsen 10-40%.

Om maskina ikke har fullt den kraften i dag tar det ikke lang tid før jeg finner en ny maskin som har det, så jeg skal ikke la det være en begrensning.

[olebakk]

Jeg kjører en OpenSolaris boks med 18TB disk i "software" raid (ZFS med 2x 7 disker). Dere som mener dere trenger hardware raid er hjernevasket

 

Bruker to sånne som koster under 1000-lappen pr stk. og støtter 8 disker pr kort.

 

http://www.amazon.com/gp/product/B000X4QDMW/ref=oss_product

[Magnus Lie]

 

Ok, jeg skal forklare meg mer.

 

Vi er en gjeng på 20-30 mennesker som møtes på privat LAN noen ganger i året.

Maskin: "Eldre" maskin med Win2003 Server og FastTrak® TX4300 raidkontrollerkort

OS: Win 2003Server

Nettverkskort: 3Com Gigabit Server NIC, 3C996B-T

HD: 4x400GB WD Caviar R2 harddisker i raid0.

Raid0 pga. vil ha fart. Ingen krise med datakrasj, men aldri ønskelig. Backup har vi et annet sted.

 

Så lenge maskinen din er begrenset på gbit nettverk, så spiller det jo ingen rolle hvor mye read/write raidet ditt klarer å dytte unna.

I følge testen av WD Black 2TB gjort her på hardware.no, så får disken 113MB/sec read og write. Det betyr at 1 disk alene vil i praksis nesten maxe ut ditt gbit nettverk.

[Varj]

Så lenge maskinen din er begrenset på gbit nettverk, så spiller det jo ingen rolle hvor mye read/write raidet ditt klarer å dytte unna.

I følge testen av WD Black 2TB gjort her på hardware.no, så får disken 113MB/sec read og write. Det betyr at 1 disk alene vil i praksis nesten maxe ut ditt gbit nettverk.

 

selv om gigabitflaskehalsen selvsagt er et poeng, blir det veldig forenklet å kun snakke om ren single sekvensiell last.

man makser lett harddisker lenge før gigabit om det foregår mye random les/skriv.

[TBJ]

selv om gigabitflaskehalsen selvsagt er et poeng, blir det veldig forenklet å kun snakke om ren single sekvensiell last.

man makser lett harddisker lenge før gigabit om det foregår mye random les/skriv.

Jeg vil tro at standard (snitt) belastning er ... 8 samtidige brukere laster ned 1GB fil hver. Vil da gigabitflaskehalsen slå inn før harddisk begrensningen?

I mitt tenkte eksempel så er harddiskene satt opp i 3 x 2TB raid5 og jeg sørger alltid for at harddiskene er defragmentert i forkant.

[Varj]

selv om gigabitflaskehalsen selvsagt er et poeng, blir det veldig forenklet å kun snakke om ren single sekvensiell last.

man makser lett harddisker lenge før gigabit om det foregår mye random les/skriv.

Jeg vil tro at standard (snitt) belastning er ... 8 samtidige brukere laster ned 1GB fil hver. Vil da gigabitflaskehalsen slå inn før harddisk begrensningen?

I mitt tenkte eksempel så er harddiskene satt opp i 3 x 2TB raid5 og jeg sørger alltid for at harddiskene er defragmentert i forkant.

 

om mange brukere laster ned 1GB fil hver, så er det fortsatt sekvensiell last, bare ikke single strøm.

med random snakker vi langt mindre bolker, helt nede i f.eks 4kB.

alle relativt nye harddisker er raske og fine om de slipper å søke, men ved konstant søk blir overføringshastigheten ekstremt elendig.

[siDDis]

Har du 4 sata porter på hovudkortet så er det langt meir å foretrekke ein eit raid kort.

[TBJ]

Takk for alle gode innspillene så langt.

Fått mye å tenke på.

 

Har du 4 sata porter på hovudkortet så er det langt meir å foretrekke ein eit raid kort.

Mener du raid innebygget i hovedkortet (software raid)?

 

 

Jeg har vel nesten bestemt meg for å beholde 2 x 2TB, og satse på raid5.

Skulle ha vært morro og vite hvor mange samtidige brukere (som laster ned 1GB fil) som må til, før det er harddiskhastigheten som er flaskehalsen istedet for giganettverket som flaskehals.

Noen som tørr å ha en mening om dette?

 

 

Problemet da er at jeg må kjøpe nytt raidkort (og selvfølgelig en ny 2TB disk).

Raidkortet mitt (FastTrak TX4300) søttter ikke raid 5.

Hvilket kort anbefales det da å kjøpe (med tanke på at den skal brukes med FreeNAS)?

(bør ikke være for dyrt)).

 

Ellers er det like greit å kjøre raid 5 i hovedkortet? Har et ASUS A8N-SLI Deluxe hovedkort.

 

 

Det ser mer og mer ut som at jeg satser på 3 x 2TB i raid 5 på hovedkortet med FreeNAS.

For meg så ser det ut som det er det beste kompromisset mellom fart og penger.