Filserver med 10Tb+ lagring

[andylove]

Tja, de diskene vi i dag kjøper over nettbutikkene er ikke akkurat 1. sortering. Skal man kjøpe 1. sorteringsdisker, slike som står i filservere f.eks levert av Hitachi, så koster en 500GB litt mer enn 1200,-

 

Til gjengjeld har du helt andre garantier på diskene og du får support om noe skulle skje.

 

Til trådstarter:

Lykke til mann! Dette må vi få vite mer om

[peiper]

Vel, håper på mange gode forslag og kommentarer fremover.

 

Taleg

7858337[/snapback]

 

Et siste forslag fra meg, før jeg tar helg.

 

1 GCube kabinett

1 HK som [http://www.komplett.no/k/ki.asp?sku=330555&view=detailed]ASUS[/url]

1 CPU som BILLIG P4

512MB ram Like billig

1 disk til systemet

1 Dugelig powersupply

16 Solide disker

1 prima kontroller

 

Du har nå 7TB med raid 6. Et HK med plass til 2 PCI-X kontrollere til. Ved neste utbygging, er det bare å kjøpe et kabinett med power og 16 nye disker. Skalerbart, og du kan bruke de diskene som gir mest lagringsplass pr krone. 1TB diskene vil ikke bli billig på svært svært lenge.

[Ar`Kritz]

Jeg ville aldri ha kjørt så mange disker i ett array. 6-8 disker per RAID5-array, og to skikkelige 12-16 ports kontrollere...

[JuBi]

Hmmm. Er ikke det litt drøyt å bruke over 55000kr på en filserver, til backup av DVD filmer?

[peiper]

Hmmm. Er ikke det litt drøyt å bruke over 55000kr på en filserver, til backup av DVD filmer? 

7858858[/snapback]

 

 

Hey, er man dataholiker, så er det best å ta den helt ut

[Theo343]

Folk bruker penger på sin interesse, det gjelder alle typer interesser. Du ber ikke en hengiven sportsfisker om å kjøpe den billigste stanga. Eller en audiofil om å kjøpe et plastrack?

 

Topic:

Skal du kjøre et array over flere kontrollere så må du ha kontrollere som linker og støtter dette. Det ville jeg ikke giddet å forsøke en gang. Da burde du heller se på SAN løsninger

 

Et alternativ er å kjøre software raid, det er helt uavhengig av hvordan diskene er tilkoblet. På den måten får du lett koblet opp 32 disker i et array. Men jeg ville ikke koblet så mange disker i ett array uansett, vel da måtte det vært et R51 eller R61 array.

 

16 disker i Raid6 er risikabelt nok, da har du dobbel striping og 2 disker kan ryke uten at du mister arrayet. Så jeg ville maksimalt begitt meg på å bygge 2 stk 16disk arrays med HW Raid6. Med 1TB disker gir det deg 14TB i hvert array og totalt 28TB.

 

Det burde holde en stund selv for den ivrigste. En annen mulighet du kan se for deg er å koble til eksterne diskkabinetter, såkalte DAS enheter, via eSATA som du kjører evt. software raid på. En enkel og god måte å tilføre lagringsplass uten å bygge flere servere.

Endret 2. februar 2007 av Theo343

[taleg]

Du har helt rett, noen bruker penger på bil andre på musikk og lyd.. jeg på Film og data. (sier jeg som i går kjøpte meg bil)

 

Det med å bruke to 16 diskers raid 6 oppsett er nok den løsningen jeg har sett for meg også. Jeg skal uansett dele raidet opp i noen partisjoner (hvis jeg ikke tar helt feil).

 

Tanken min er å fordele hele raid(ene) på 4 partisjoner. Vil gjløre dette for å ha egen partisjoner til forskjellige typer data, liker å ha det sånn, men det er ikke et must hvis noen har en bedre ide !

Kan man lage hver partisjon som egne raid på kontrollerne ? og hvordan blir det da å legge til disker i et eksisterende array uten tap av data. ?

 

1 på ca 1-2 Tb til backup av andre maskiner (på kontroller 1)

2 på ca 4 Tb (på kontroller 1)

3 på ca 6 Tb (på kontroller 1) (med mulighet for å utvide plassen)

4 på resten (på kontroller 2) (det er her jeg vil trenge muligheten til å utvide med mer plass primært)

 

Ser at det er nevn at det kanskje ikke lønner seg å ha opp til 16 disker i et raid, men er det et reelt potensielt problem ? Og kan du bygge flere raid på en kontroller ?

(Er litt grønn på de mer avanserte raid løsningene )

 

Planen er å starte med en 4-6 disker og så legge på etterhvert, spm er hvor lett er det å gjøre det uten å miste data på raidet ?

 

Begynner å ha fått en del bra input nå så tankene mine begynner å få litt mere kjøtt på beina, men det er ennå lang frem til en endelig løsning så fortsett å kom med innspill.. Trenger sikkert litt hjelp når jeg kommer så langt med Raid oppsettet også

 

Vel nå er et uansett Natta for meg. Er sikkert tilbake i løpet av helga med innspill, spm og gjenerellle tanker om dette "prosjektet".

 

Taleg

[CrZy_T]

Planen er å starte med en 4-6 disker og så legge på etterhvert, spm er hvor lett er det å gjøre det uten å miste data på raidet ?

7860346[/snapback]

Det største problemer her blir å finne tilsvarende disker å fylle på RAID'et ditt. Gå inn f.eks på komplett nå og se hvor mange disker som ble lansert for 1 år siden som fortsatt er et godt kjøpt... En annet problem vil også kunne være å huske hvilke disker som ble kjøpt når og har hvilken garantistatus osv

 

Jeg driver akkurat nå og bygger opp mitt system og jeg endte opp med 8x 500GB-disker nå i RAID5 på en 16-portskontroller. Når de 8 diskene er fulle så kjøper jeg 8 nye (da får jeg sikkert 1-2TB-disker til samme pris som jeg betaler for 500GB nå). Etter det blir det ny kontroller og når denne er full tipper jeg at garantien på de første 8 diskene er utgått og de ender på skroten.

[taleg]

Vet det med diskene, skal derfor uansett ikke gjøre dette før 1 Tb disker er kommet i salg, Da regner jeg med at jeg kan kjøpe en 6-10 500 Gb disker bare for å ha en start., men det kan også hende jeg rett og slett finner det lønnsomt å vente til 1TB disker koster rundt 2000,-

 

Som nevnt er dette en langtidsplan

 

Har tenkt litt på oppsettet og så langt så ser det ut til at Lianli Cube er det baste valget når det gjelder kabinett.

 

Det neste på lista er vel å finne "rett" raid kontroller, for utfra det finne et hovedkort med nok pci(-x) porter.

 

Det som jeg vet om systemet er at jeg er ikke alenebruker av det. Det bør ha 1 Gb nettverk (skal bytte alle switcher til det i samme slengen)

Og siden jeg antar at innen jeg begynner på dette prosjektet så har 2 kjerne cpuer eller 4-kjerners cpu blitt så billige at jeg like godt kan bruke det, systemet SKAL ha 2 Gb med ram eller mer (kommer ann på prisen når jeg begynner å bygge), en Dvd-brenner (liker Nec sine :-). Det er vel tankene mine om resten av hardware i systemet. Det gjelder her å finne delene som har størst driftsikkerhet, det gjelder forsåvidt alle komponentene som skal inn i boksen.

 

Starten på byggingen skjer tidligst i slutten av 2007, pga økonomi. Regner med at innen den tid så er jeg ferdig med jobb bytte og har noen tusen hver mnd å bruke på dette. (Håper jeg da)

 

Sånn som jeg ser det så er det helt klart diskene som er den dyreste slutt komponenten. Har en plan som kanskje kan gi meg noen mellom stadier.

kjøpe 2 Raid 6 kontrollere med en gang. Lage et raid på kontroller 1 med f.eks 500 Gb disker. Når 1 Tb disker har sunket i pris. Bygge et nytt raid med de på kontroller 2. Flytte over data, lage et nytt raid på kontroller 1 av 1 Tb disker.

Alternativet er å vente til 1Tb disker koster under 2000,-

 

Uansett så planlegger jeg å bruke forumet som en slags test arena, jeg vil derfor og håper på at dere alle kan komme med innspill, kommentarer, kritikk og ideer.

 

Tusen takk for mange gode ideer så langt.

 

Taleg

[Ueland]

Er ikke vits å bruke store summer på RAID-kontrollere. Det greieste er å kjøpe inn vanlige SATA-kontrollere (f.eks) (og mange), fordele diskene over flest mulig av de. For så å sette opp RAIDene i OSet, mener nå jeg da

 

Men det du nevnte med å ikke måtte konstruere RAIDet på nytt ved endring er umulig. Ved alle endringer, og ved plutselige restarter av systemet vil og skal RAIDet bygges på nytt.

 

Det er ikke forskjell på de billigste RAID-kontrollerene og software-RAID, for oppgaven blir da uansett delegert til CPUen som da må bruke CPU-tid på konstruksjon av RAIDet (type 5-10% CPU-kraft)

 

Og kommer du opp i type 2TB på et RAID5-sett kan jeg love deg at rekonstruksjonen tar lang tid. Mitt 1TB-sett tar type 3 timer, så er det bare å regne.

 

Selv foretrekker jeg Linux Software RAID, men litt om Windows sitt finnes her:

http://www.hwb.no/guide/lagring/raid5_med_...ws_server/26289

Endret 3. februar 2007 av Ueland

[Theo343]

Du kan fint ha flere raid arrays som det heter, pr kontroller. Eks. kan du kjøpe 16 ports kontrollere og ha 2-3 arrays(Logiske disker/partisjoner) på dette.

 

Du kan også kjøre forskjellige raid nivåer på de forskjellige arrayene. Så her har du mange muligheter. Det typiske er eks. å bruke 2 disker å kjøre i Raid1 for OS. Men dette kan du gjøre på hovedkortet, så beholder du 16p kontrollerne til data.

 

16 disker i et raid6 array, og med så stor og tett dataoverflate som 500GB til 1TB disker har utgjør en viss risiko ja. Selv med Raid6 som altså kan miste 2 disker pr. array.

 

Samt at du må tenke på at en kontroller kan ryke. Finn ut om du eks. kan tenke deg 2stk 16ports kontrollere eller eks. 4stk 8ports kontrollere. SKal du ha gode kontrollere så kommer disse typisk med PCIe 8x, og da er det nok lettest å velge 2stk 16port kontrollere for å finne hovedkort med nok 16x og 8x PCIe slots.

 

Når du har valgt kontrollere kan du tenke på type disker, Raid nivå og hvor mange arrays. Dette henger sammen.

 

Noen anbefalninger.

- lag 2 eller 3 arrays per 16. port(hw eller sw), dette gjør at du minimerer risikoen for at et array skal gå tapt.

- Raid5 er best med 3 eller 5 disker, for å kunne oppnå alignment. Samt at over 5 disker begynner risikoen å øke. Raid5 gjør at 1 diskkapasitet blir borte. Så kommer du ut med en konfigurasjon som sier 3 eller 5 disker, velg Raid5 som raidnivå for det arrayet.

- Ved å bruke ulikt antall disker for Raid5 har du mulighet for å oppnå såkalt alignment som sørger for bedre skriveytelse. Men her er det flere ting å tenke på som man kan gå mer innpå

- Med en gang du overstiger 5 disker, velger du Raid6 som raidnivå. Du kan også vurdere Raid 6 på alt over 3 disker om du bruker 1TB disker. Her går det bort 2 diskkapasiteter pr. array(logisk disk/partisjon).

- Raid6 er også best for likt antall disker hvis du ønsker å oppnå såkalt alignment.

- Forsøk å finne en god balanse mellom hvilke "partisjoner" du oppretter på Raidkontrollernivå (arrays/logiske disker), og evt. hvilke partisjoner du oppretter i OS.

- Du har høyere sikkerhet hvis du har flere arrays, men flere disker går også bort til raidnivå pr array.

- Du har også muligheten for å kjøpe ekstra disker med en gang og koble på arrayet som såkalt "hot-spare" disker. Disse ligger innaktive og tar over med en gang for disker som ryker i et array.

- Hvis du er smart burde du også kjøpe ekstra disker du har i hylla som såkalte "cold-spare" disker, så du slipper å vente på bytte av disk om noe går galt. Tenk langsiktig.

- Skal du ha et array som kun skal lagre store DVD filer, kjør høy stripe size på arrayet(eks. 64k) og tilsvarende høy allocation unit size på eks. NTFS partisjonen(stripe size dividert på antall datadisker i arrayet)

 

Konklusjon.

- På alle arrays med likt antall disker(6, 8) og store disker, velg Raid6.

- Unngå arrays på 4 disker, men må du ha det velg da Raid5.

- På arrays med 3 eller 5 disker, velg Raid5

- Bruk hotspare disker for arrays som er ekstra store for å øke sikkerheten med ennå 1 disk.

- Kjøp et par ekstra disker når du har råd som du har som cold-spare.

- Forsøk å holde deg til samme merke og modell på diskene innenfor hvert array!

 

 

 

 

EDIT:

Som Ueland sier er det veldig aktuellt i dag å gå for Software raids siden man i dag har meget gode CPU'er som tygger unna dette som ingenting på dedikerte filservere.

 

Da må du fokusere på hovedkort som har flest mulig SATA porter. Minst 8, slik at du sparer penger på ekstra kontrollere. Deretter kan det være vanskelig å finne ekstra SATA kontrollere som har mer enn 6-8porter, siden de da ofte blir solgt som Raid kontrollere.

 

Jeg har selv et Software Raid5 array kjørende på min filserver, fungerer helt ypperlig. Men som sagt er linux mye bedre enn w2k3 på funksjonalitet og ytelse.

 

EDIT:

Ønsker du best mulig leseytelse samt god skrive ytelse og god sikkerhet. Velg Raid 0+1. Men dette gjør at halvparten av diskene går til speiling. Derimot har du god ytelse samt god sikkerhet.

 

0+1 er Raid0 speilet. Raid0 er kjent for ekstremt god ytelse, men selv med dette speilet er risikoen er høy.

 

Du kan øke leseytelsen(selv om den er god på raid5) og sikkerheten på Raid5 ved å kjøre Raid51. Da speiler du et Raid5 array.

Endret 3. februar 2007 av Theo343

[taleg]

Oi, det var svar på mange av de tingene jeg lurer på Theo343. takker og bukker.

 

Vurderer både raid 6 og raid 0+1. Er litt opptatt av og ikke miste data, men vil også ha mest mulig plass utnyttelse.. Hva er best her når man snakker om raid med 8 disker (det er det jeg regner med å kjøre, 16 ports raid kontrollere med 2 raid på hver kontroller, eller ?)

 

Lenge siden jeg har vært innom her, pga jobb, har rett og slett ikke hatt tid til å sette meg ned. Men i dag, siden jeg pr nu ikke har noe bedre å gjøre, skulle ønske jeg hadde det har jeg litt tid.

 

Skal fikse litt på hardware her i huset og bla se om jeg ikke får tid til å få liv i serveren igjen... den skal emigreres fra en 80 Gb disk som synger på siste verset til en ny 250 disk.. håper det går greit.. skal klone hele skiten med Ghost.

 

Vel tilbake til filservern, hvordan den endelige layouten på partisjoner og raid kommer til å se ut vet jeg ikke helt, men tror jeg skal kjøre raid 0+1 på hovedkortet for å deale med Os ol. Når det kommer til selve data lagringen er det litt mere difust.

Vet at jeg trenger en partisjon på 1-2 Tb til backup av de andre maskinene. en på 1-3 Tb til data, en til på det samme til serier, en på 1-2 Tb til musikk (Planlegger å rippe hele musikk samlingen min) og en som er så stor som mulig til dvd og film.

 

Om dette er fordelt på hvert sitt raid eller noen partisjoner over det samme raidet vet jeg ikke enda, må teste litt før jeg tar noen bestemmelser der, men kom gjerne med innspill, for jeg aner ikke hva som lønner seg.

 

Taleg

 

EDIT: noen typos og litt om partisjoner

Endret 10. februar 2007 av taleg

[Gjest Slettet-QqZexW9o]

Vel noe som kanskje kan være noe for deg er Solaris.

Større muligheter og mer "brukervennlig" skal du virkelig lete lenge etter.

 

Les mer om det her http://www.sun.com/software/solaris/zfs_learning_center.jsp

[EggMan88]

Hva med dette:

 

Lian Li Modular Cube | 2195,-

5 Slike | 1975,-

En slik vis du får bruk for 2 psu'er | 149,-

20 Slike | 27000,-

 

Totalt for det snakker vi en ca 32.000,-

 

Og så feks 2stk 500W Mist.

[VikinGz]

Istede for Raid 1 vill jeg anbefale Flere RAID 5 Eller RAID 6

Da vill du øke lagringen en del mer Skaff bra smart kontroller

Endret 11. februar 2007 av VikinGz

[VikinGz]

Hva med dette:

 

Lian Li Modular Cube | 2195,-

5 Slike | 1975,-

En slik vis du får bruk for 2 psu'er | 149,-

20 Slike | 27000,-

 

Totalt for det snakker vi en ca 32.000,-

 

Og så feks 2stk 500W Mist.

7917411[/snapback]

Du glemte raid kontroller for alle de diskene!

[meitemark]

Ser at det er forslag om å bruke 2 eller flere psu i et system, og det er noe som bør frarådes strekt, ettersom spenningsforksjeller kan medføre at stort sett hele maskinen ryker med (når det blir spenningsforskjell mellom psu1 og psu2 sitt nullpunkt dør hardware som fluer i ddt.)

 

Personlig ville jeg hatt et større system basert på Fibre Channel. Saftig dyrt, men det hindrer meg ikke i å ønske det.

[Gjest Slettet-Pqy3rC]

Jeg bruker Chieftec SNT3141, Promise SuperTrak EX16350 kort og Raid5.

Veldig modulært og greit. Sata kortene kan seriekobles.

 

Legger opp nye Raid sett ved behov stort sett ved å alltid ha slotter nok (6) ledige til et nytt sett. Oppgradering skjer slik:

1. Legger opp nytt sett med større disker (utviklingen har til nå forsynt meg med stadig større disker) enn et gammelt.

2. Legger over data fra gamle settet (f.eks 250G til 500G)

3. Så selges diskene i det gamle settet.

 

Siden diskene er i HotSwap rammer er dette gjort greit. Tar dog bortimot et døgn å builde et nytt raid men kortet gjør dette i bakrunnen (IOP333 Cpu) så maskinen går uten å ta notis. Jeg får en SMS når den er klar...

Endret 11. februar 2007 av Slettet-Pqy3rC

[taleg]

Har alt bestemt meg for å gå for Lianli cuben. og jeg er redd det rett og slett ikke er kraft nok å få i en psu, men hvis noen vet om en som holder til vanlig hardware og ca 30 disker (til slutt) så kom med det.

 

Må jeg kjøre to psu så må jeg. vil da kjøre hardware og en del av diskene på den ene og resten av diskene på den andre, det burde vel luke ut eventuelle spennings forkjelle prob..

 

Når det gjelder Raid så er det jo nettopp pga sikkerheten jeg i hele tatt vurderer Raid 0+1, men jeg tror nok jeg kommer til å ende på raid 5 eller 6 (kommer litt ann på størrelsen av raidet.) Vil helst ha høy sikkerhet (en eller to disker kan bli borte uten tap av data) og samtidig ha mest mulig lagringsplass..

 

Tiltman: det er den samme raid kontroleren jeg har tittet litt på også, ser ut til at den har det jeg trenger. ender vel med at jeg kjører flere raid 6 på de store partisjonene og noen raid 5 på de mindre. Systemmet ditt er også litt i den retningen jeg har tenkt meg. fint å høre fra noen med hands-on erfaring av det samme utstyret..

 

Taleg

[Theo343]

Ser at det er forslag om å bruke 2 eller flere psu i et system, og det er noe som bør frarådes strekt, ettersom spenningsforksjeller kan medføre at stort sett hele maskinen ryker med (når det blir spenningsforskjell mellom psu1 og psu2 sitt nullpunkt dør hardware som fluer i ddt.)

 

Personlig ville jeg hatt et større system basert på Fibre Channel. Saftig dyrt, men det hindrer meg ikke i å ønske det.

7917693[/snapback]

Enig i dette med PSU sammenkobling, det virker ikke som en bunnsolid løsning. Dog har man servere med flere PSU'er som kjører samtidig. Hvordan de gjør det her er jeg ikke helt sikker på.

 

Hvordan er det å kjøre en egen PSU for harddiskene? Vil den gi strøm uten kobling til HK?

 

tiltman:

Hva slags ledd benytter du for å få en sms?

Endret 11. februar 2007 av Theo343