Lagringsstrategi for store mengder data?

[marsboer]

Da er det på tide å gruble litt over fremtidens lagringsstrategi her.

I dag står RAID-kontrolleren og kverner gjennom en OCE-prosess (Online Capacity Expansion) fra 6x1.5TB til 8x1.5TB i RAID5. Denne prosessen har holdt på i over 3 døgn, og kommer vel til å ta ca 10 dager. Dette er helt normalt.

 

Dette har imidlertid fått meg til å begynne å tenke. Hva med den dagen jeg ønsker å bytte ut mine 1.5TB med f.eks 3TB disker. Da må jeg ta én og én disk til jeg har tatt alle 8, pluss at jeg må ta den siste prosessen som utvider RAIDet fra 8x1.5TB til 8x3TB. Det vil da si 9 laaaaaaaaange prosesser, som nok kommer til å ta flere måneder å fullføre totalt. Alternativet, som er mye kjappere, er å ha nok mellomlagringsplass et annet sted, men dette koster jo svinmye.

Dette er med andre ord ikke en akseptabel løsning i lengden og jeg må begynne å tenke på en annen løsning.

Kort sagt dreier det seg om å minimere sjansen for en "katastrofal" feil som tar med seg alle data, samtidig som det må være raskt og praktisk å utvide kapasiteten i alle retninger. Dvs flere disker og bytte ut disker med større disker når den tid kommer.

 

Det optimale til mitt bruk er følgende:

 

1. Alle disker kan være av ulik størrelse

2. Alle diskene fremstår som en enkelt lagringspool

3. Ingen avhengighetsforhold mellom diskene. Feiler én disk skal tjenesten fortsette helt upåvirket, selv om dataene på den disken som feiler må ansees som tapt. Jeg har backup av alt unntatt blu-ray, og det går kun omlag 50 blu-ray på 2TB, så dette er et overkommelig tap siden rippejobben ikke blir uendelig stor.

 

 

Per i dag har jeg kun funnet en eneste løsning som nærmer seg en løsning på dette problemet, og det er WHS sin disk extender (redundans-biten er ikke interessant i denne problemstillingen). Denne er heller ikke perfekt, men valget som er tatt er forståelig. Kort sagt sprer WHS filer utover diskene i mer eller mindre tilfeldig rekkefølge. Det vil si at dersom du mister en disk, så kan du miste f.eks 2 av 20 filer i en mappe, og dette kan gjelde alle mapper. Med andre ord ser jeg for meg at systemet kommer i en relativt grisete posisjon om man skulle miste en disk uten redunans (WHS-brukere må gjerne korrigere meg om jeg tar feil)

 

Ideelt sett hadde jeg foretrukket et system hvor dataene som går tapt er klart avgrenset i forhold til folderstrukturen, slik at de dataene man sitter igjen med kan anses som komplette.

 

Linux har flere løsninger på dette problemet. LVM kan brukes til å danne et stort volum med mange disker. Problemet er at filsystemet går ad dundas om en disk i volumet feiler. Med andre ord ingen god løsning.

Det samme gjelder span i kontrollere. Går en disk tapt ryker hele volumet, selv om dataene på de andre diskene egentlig ligger der.

 

Med andre ord må nok dette skje i selve filsystemet dersom man skal tåle at et disk i volumet blir borte. To slike multidiskklare filsystemer er det nye BTRFS (Linux) og ZFS. Problemet her så vidt min begrensede kunnskap kan se, er at BTRFS alltid striper dataene over alle volum i poolen, selv om volumene kan være av ulik størrelse og man kan utvide som man vil. Striping er sterkt i strid med punkt 3 på listen min, selv om det gir meget mening fra et ytelsesmessig standpunkt.

ZFS er jeg mer usikker på, men jeg har ikke sett at den støtter pooling/span i den form jeg ønsker. ZFS har også problemer med å utvide antallet disker så vidt jeg har sett (RAID-Z).

 

Slik det ser ut nå, virker det faktisk som om den eneste løsningen er å ha kun enkeltdisker, uten å samle dem i en pool, samle dem rent SAMBA-delingsmessig ved hjelp av symbolske linker, slik at de fremstår som samme lagringsområdet, og deretter håndtere det at disker blir fulle på egenhånd (grøss), med manuell indeling av data per disk (dobbeltgrøss).

 

Nå er ikke dette et voldsomt problem, siden det som faktisk genererer majoriteten av dataene er blu-ray ripper og der kan man jo ta en form for alfabetisk inndeling. Dette er likevel ikke så smooth jeg ønsker, men det er den eneste løsningen jeg kan se som gir meg den fleksibiliteten jeg trenger for fremtidig kapasitetsutvidelse uten å måtte mellomlagre enorme mengder data for hver gang, og uten å risikere å miste et helt RAID med ALLE diskers data dersom noe feiler i uke på uke med rebuilding og dertil reduksjon av redundans.

 

Hva mener dere? Har dere tips til noen gode løsninger?

[NikkaYoichi]

Hva med å sette opp midlertidig speiling frem til data er replikert?

[marsboer]

Hva med å sette opp midlertidig speiling frem til data er replikert?

 

Dette fordrer, som jeg nevnte i den innledende posten, at du har datakapasitet til dette. Da hadde jeg uansett foretrukket en full uavhengig kopi.

 

Dette er imidlertid ikke aktuelt. Jeg har over 16TB med datalagring, som jeg rett og slett ikke har råd til å duplisere fullt ut. Og det blir langt mer i fremtiden.

 

Jeg tror symbolske linker og manuell håndtering blir veien å gå dessverre. I hvertfall så lenge jeg ikke får duplisert alle dataene. Hadde jeg kunnet gjøre det hadde ikke problemstillingen min vært relevant siden jeg da hadde opprettet RAIDet på nytt hver gang, noe som tar mye mindre tid.

Endret 12. april 2010 av marsboer

[NikkaYoichi]

Altså, er ikke problemet at du skal bytte ut diskene i et raid? For å få til dette så må du da ha lagringsplass i form av diskene du skal sette inn i raidet. Så før du bytter ut diskene, så setter du de til speiling, slik at dataoverføringen skjer sømløst. Når speilingen er klar, bytter du diskene. Vips, problem solved?

[marsboer]

Altså, er ikke problemet at du skal bytte ut diskene i et raid? For å få til dette så må du da ha lagringsplass i form av diskene du skal sette inn i raidet. Så før du bytter ut diskene, så setter du de til speiling, slik at dataoverføringen skjer sømløst. Når speilingen er klar, bytter du diskene. Vips, problem solved?

 

Problem:

1 stk 8-porters kontroller med 8 disker. Dvs ikke tilsvarende antall porter ledig.

 

Løsning:

Ha en ekstra tilsvarende 8-porters kontroller som jeg putter inn i en annen maskin og kun bruker til mellomlagringsformål.

Dette svir hardt i sjela, siden jeg har en Adaptec 5805-kontroller.

Jeg kunne også hatt uendelig med expander tilkoblinger på samme kontroller, f.eks med et Supermicro chassis med 36-porter. Dette hadde også løst problemet.

 

Jeg burde gått for et slikt chassis når jeg bygde meg server, men jeg gjorde det dessverre ikke.

[NikkaYoichi]

Jeg skjønner, litt dårlig planlegging tidligere medfører problematikk nå, det er ikke så uvanlig. Et SAN ville løst problemet, men som du sier, det koster litt. ^^ Lykke til!

[cruzader]

Da er det på tide å gruble litt over fremtidens lagringsstrategi her.

I dag står RAID-kontrolleren og kverner gjennom en OCE-prosess (Online Capacity Expansion) fra 6x1.5TB til 8x1.5TB i RAID5. Denne prosessen har holdt på i over 3 døgn, og kommer vel til å ta ca 10 dager. Dette er helt normalt.

HÆ? når ble 10dager utvidelse normalt?

[Agrophel]

Areca ARC-1680X 620$

2X HP SAS EXPANDER 400$

 

Ca 8000-9000KR med moms/porto for plass til 48 disker. Sleger du med Norco kasser for ca 350$ per stykke.

 

folk med Areca kontroler sier fra 6-9 timer oppbygging av raid 6 med 8x 2 TB disker.

[marsboer]

Jeg snakker ikke om rebuild eller oppretting av det første RAIDet. Dette tar mye mye kortere tid. Jeg snakker om OCE. Det vil si utvide et eksisterende RAID mens det står oppe uten å miste data. Adaptec-kortene er ikke av de raskeste til dette. 10 dager er normalt for min type utvidelse med disse kortene. Jeg så en på et annet forum som brukte 30 dager på å utvide et eksisterende RAID5 på 8 disker til RAID6 på 16 disker.

 

Det er viktig å ikke blande disse to tingene sammen. En rebuild fra scratch eller gjenoppretting etter en feilet disk tar vesentlig kortere tid. Adaptec selv sier at 10 dager ikke er unormalt i det hele tatt ved OCE av store RAID (fra 9TB til 12TB i mitt tilfelle)

 

Uansett så blir nok den billigste og beste (jeg får backup også av filmene mine) løsningen, og dermed løsningen jeg går for, å kjøpe en 5-6 2TB/3TB disker til backupserveren min (offsite) slik at denne får plass til å lagre alle mine data. Dermed kan jeg i praksis splitte opp RAIDet og bygge det opp på nytt hver gang, noe som tar mye kortere tid og uten fare for å miste data. Da kan jeg også kjøre en litt annen løsning med f.eks 8 disker i RAID5 og 3 disker i RAID0 siden jeg ikke blir avhengig av særlig redundans, men ønsker å ha størst mulig volum med variable diskstørrelser.

Endret 12. april 2010 av marsboer

[marsboer]

Areca ARC-1680X 620$

2X HP SAS EXPANDER 400$

 

Ca 8000-9000KR med moms/porto for plass til 48 disker. Sleger du med Norco kasser for ca 350$ per stykke.

 

folk med Areca kontroler sier fra 6-9 timer oppbygging av raid 6 med 8x 2 TB disker.

 

SAS-expanderen der er dessverre ikke kompatibel med mitt kort uten å bruke gammel firmware, samt at jeg ikke har nok PCI-e slotter siden kortet av en eller annen grunn er PCI-e x4.

 

Med andre ord må jeg da bytte hovedkort, RAID-kontroller, Expander og chassis (for å få plass til en haug ekstra disker) og da lukter vi med en gang på Supermicr chassis med min nåværende kontroller og innmat, noe som jeg annser som den totalt sett beste løsningen med færrest kompromisser her hjemme, men som ikke gir meg backup slik som den billigere løsningen som inkluderer å bygge opp backupserveren med nok diskplass til å håndtere alle mine data.

Endret 12. april 2010 av marsboer

[Agrophel]

Er vel nesten like greit kjøpe nytt HK og RAID kort selge gamel stuffet, Altid noen folk trenger noen mindre porter. Skaffe HK med mange pce-E slotter. Siden alt anna Pci-E er useless.

 

Supermicro X8SIA-F, CPU Intel Pentium® G6950 kan brukest der eller bedre.

 

 

Du kan jo bruke gamle kassaer uten problem, siden bruker SAS SFF-8088 to SFF-8088 melleom kassene, Kan skruv av 1 "kassa" om ikke trenger data der.

 

Ja eller supermicro rack kassa. Men lyden av den kassa er syk.

 

 

Jeg lurer på kjøpe AMD Dual socet HK for G34 cpu. Koster ca 2000kr for 8 cores. G34 socket kommer støtte Bulldozer cpu til AMD

 

Har fin cpu power starte med World Community Grid, Men se om jeg er gal våkner kjøper dette

Endret 12. april 2010 av Agrophel

[cruzader]

Jeg snakker ikke om rebuild eller oppretting av det første RAIDet. Dette tar mye mye kortere tid. Jeg snakker om OCE. Det vil si utvide et eksisterende RAID mens det står oppe uten å miste data. Adaptec-kortene er ikke av de raskeste til dette. 10 dager er normalt for min type utvidelse med disse kortene. Jeg så en på et annet forum som brukte 30 dager på å utvide et eksisterende RAID5 på 8 disker til RAID6 på 16 disker.

når jeg gikk fra 6 til 8 diskers raid5 på mitt eldgamle 3ware 9500s-12 tok det nesten 2døgn uten nedetid på raidet.

 

16disker tar nok rimelig lang tid ja, men tror ikke jeg hadde tatt sjansen på 16disker i raid6 akkurat, står rimelig åpent til ganske lenge dør en disk eller 2 da.

Endret 13. april 2010 av cruzader

[Varj]

tipper du ønsker å lese mer om ZFS.

 

http://blogs.sun.com/relling/entry/zfs_copies_and_data_protection

 

du kan sette antall kopier av hver fil på filsystemnivå, uavhengig av hva som ligger under.