Bygge hjemmeserver Raid5 - Trenger tips

[madammim]

Hei.

 

Jeg kjører i dag et oppsett med software Raid0 på en Windows-maskin og 100% backup på eksterne disker. Dette har fungert greit i 2 år, men nå er diskene fulle og jeg ønsker å utvide kapasiteten en del. I tillegg har maskina mistet alle andre bruksområder på bekostning av laptopper, så den går og durer 24/7 kun for serverfunksjonen. En mulighet er å kjøpe større disker og fortsatt bruke Raid0, men jeg ønsker en egen server som bråker litt mindre og bruker mindre strøm, samt litt mere sikkerhet (fortsatt 100% backup).

 

Tanken går i retning av et mini-ITX kort og eventuellt en dedikert Raid-kontroller. Jeg vil da kunne bruke maskina til litt flere ting enn en ren NAS, i tillegg tror jeg det kan bli billigere.

 

Jeg ønsker 5 disker i Raid0. Dersom jeg skal gjøre dette veldig billig så kan jeg bruke software Raid, men da er man vel over på Linux? Vil noe slikt bli ei brukbar løsning for hjemmebruk? Har da sett på http://www.asus.com/...#specifications som har 6 SATA men ikke noe HW-Raid.

 

Mulighet 2 er et dedikert kontrollerkort, fortsatt på et billig mini-ITX kort, men disse kontrollerkortene koster fort en del... Jeg finner et 8P SAS PCI-X kort til ca. 900,- Er dette noe som kan brukes på SATA og er PCI-X det samme som PCI-E?

 

Så har man jo ebay. Der er det jo en del brukte kort som selges billig, feks http://www.ebay.com/...=item4ab7242a05

og http://www.ebay.com/...3D1005%26rk%3D1

 

Noen gode tips om what to do?

Endret 16. mai 2012 av madammim

[process]

For hjemmebruk ville jeg bare kjøpt et normal hovedkort men en haug SATA porter og sette opp software RAID. Software RAID kan settes opp på både windows og linux.

 

Billige RAID kort er ofte det som ofte kalles FakeRaid. Dette er av typen du finner innebygget på noen hovedkort. Disse har ingen dedikert RAID chip og skal du først kjøpe en RAID kontroller ville jeg lagt mer penger i det og kjøpt noe ordentlig. Med FakeRaid bruker du CPU til operasjoner mot disken, det samme som med software RAID. Har du ikke begrenset med CPU ville jeg gått for et software RAID, med mindre du har ubegrenset med penger Dette er fullstendig akseptabelt for hjemmebruk og også for noe profesjonell bruk, men større skala lagringsløsninger kan kreve hardwareløsninger.

 

PCI-X (extended) og PCI-E (ekspress) er ikke det samme, portene er annerledes og de fungerer på forskjellig vis. PCI-E kan passe i en tilstrekkelig stor PCI-X port men ikke omvendt (eller var det andre veien?)

Endret 18. mai 2012 av process

[ThaBear]

Vist du vil ha en grei kontroller og ikkje trenger mer enn 8 porter så kan eg anbefale dell perc 5/i, Dette kortet koster rundt 1000kr sist eg sjekket, mulig det er billigere nå. Dette er da en HW raid kontroller. Men det er eit minus, denne er ment får å bruke i HP servere, og er da ikkje bare å sette inn i maskinen. Trenger en enkel pin mod (litt blank neglelakk på 2 "pinner" på pci-e sporet)

Driver er ikkje helt lett å finne da hp ikkje har den beste nettiden akuratt, men overkommelig.

 

Kjører sjølv med dette kortet nå i ca 2-3 år og det fungerer fint enda.. Mulig eg kommer til å selge dette kortet da eg trenger flere porter, du kan ta kontakt via pm vist du er intresert.

[NoBo]

Off topic:

Vist du vil ha en grei kontroller og ikkje trenger mer enn 8 porter så kan eg anbefale dell perc 5/i, Dette kortet koster rundt 1000kr sist eg sjekket, mulig det er billigere nå. Dette er da en HW raid kontroller. Men det er eit minus, denne er ment får å bruke i HP servere

 

HP (dvs. Compaq) har kjørt med SMART Array som navn på sine RAID-kontrollere siden 1993. ThaBear, regner med at du mente å skrive "bruke i DELL servere" siden du anbefaler Dell PERC?

 

 

On topic;

TS, hvis du skal kjøre HW RAID, pass på at du bruker disker som er RAID-enablet. Tenker da primært på SATA-disker, SAS-disker (som er ment for servere/arbeidsstasjoner) har ikke dette problemet i samme grad.

 

Kort fortalt, alle disker i dag har innebygget logikk for å oppdage og flytte data vekk fra suspekte blokker. På vanlige SATA-disker er det definert i diskens logikk at feilretting skal kunne ta (hvis jeg husker rett) inntil to minutter. Disken vil i dette tidsvinduet ikke svare på forepsørsler fra diskkontroller & OS. En hardware RAID-kontroller forventer å ta seg av denne typen feildeteksjon og -retting, disken(e) skal bare utføre ordre og svare innen maks. ~8-20 sekunder, avhengig av produsent. Hvis en disk ikke svarer innen dette tidsvinduet, regnes den som faulty og kastes ut av RAID-settet. Disker som er RAID-enablet vil med andre ord overlate logikken til RAID-kontrolleren.

 

Etter hva jeg kan se etter en kjapp Googling så kan dette problemet oppstå også med Intel sin 'RAID'-kontroller på hovedkort...

 

 

Sakset fra Wikipedia:

In computing, error recovery control (ERC) (Western Digital: time-limited error recovery (TLER), Samsung/Hitachi: command completion time limit (CCTL)) is a feature of hard disks which allow a system administrator to configure the amount of time a drive's firmware is allowed to spend recovering from a read or write error. Limiting the recovery time allows for improved error handling in a RAID environment. In some cases, there is a conflict as to whether error handling should be undertaken by the hard drive or by the RAID controller, which leads to drives being marked as unusable and significant performance degradation, when this could otherwise have been avoided.

 

==> TLER og CCTL er enablet på Enterprise versjonene av diskene til f. eks. WD. På noen eldre versjoner av standarddiskene kunne man enable denne funksjonaliteten, på de nyere diskene er muligheten fjernet.

[ThaBear]

Haha, ser nå att det var mykje kluss i min forje post..

Er helt rett att det er eit Dell kort, og det er "ment" får dell servere også. Vart litt mykje med denne tråden og min egen ang raidkontrollere

[madammim]

Tusen takk for mange gode og informative svar.

 

Ser jeg har skrevet litt feil i åpningsposten:

 

Jeg ønsker 5 disker i Raid0. Dersom jeg skal gjøre dette veldig billig så kan jeg bruke software Raid, men da er man vel over på Linux? Vil noe slikt bli ei brukbar løsning for hjemmebruk? Har da sett på http://www.asus.com/...#specifications som har 6 SATA men ikke noe HW-Raid.

 

Det skal være 5 disker i Raid5. Det er derfor jeg kom med spørsmålet om det kun kan gjøres på Linux, da jeg mener å ha lest at software Raid5 ikke støttes lengre av MS. Er det noen som har erfaring med å sette opp et slikt SW Raid5 oppsett på Linux? Noe en vanlig dødlig med litt erfaring fra Linux kan hive seg ut på? For meg er pris et viktig tema, så et SW Raid-oppsett virker fornuftig (forutsatt at det ikke blir for vanskelig og/eller ustabilt).

 

Det Dell-kortet som diskuteres lengre oppe her virker fornuftig priset. Finnes det Linux-drivere til det kortet (Usikker på valg av OS, men kribler litt på å knote med Linux, av erfaring meget lærerikt )?

[process]

Det skal ikke være så vanskelig å sette opp et RAID5 i Linux, men jeg må innrømme at jeg aldri har gjort det. Har kun satt opp RAID0, da mine lagringsbehov ikke er så store. Det finnes mange online guider og man bør holde tunga rett i munnen når man melder in disker og kjører kommandoene, men det har aldri bydd på noen store problemer for meg.

 

Lettest er det nok med like disker, som settes opp helt identisk.

 

Jeg har aldri opplevd noe vesentlig ustabilitet på noe SW RAID0. Hadde dog en maskin hvor den ene disken tok kvelden og det endte med at maskinen krasjet, selv om den burde ha holdt seg oppe.

Datasenteret byttet disk og RAIDet ble bygget opp igjen uten problemer eller datatap. På en hjemmeserver er det vel akseptabelt med litt nedetid dersom en disk først ryker?

 

Ser jo et av poengene dine i førstepost som har blitt forbigått, nemlig støy. Du får neppe noen stillere opplevelse av 5 disker i RAID kontra 2.

 

Prismessig er det en no-brainer for meg med SW RAID, spesielt på en (hjemme)server. Dersom du ikke har planer om å kjøre noe som er veldig CPU intensivt ville jeg definitivt gått for det, men det er klart at et hardware kort ville vært et morsomt leketøy for meg i en økonomisk god måned

[ThaBear]

Å sette opp en server med linux er nok ikkje dumt, er lærerikt også

 

Ang raid, da ville eg nok laget raidet i kontrolleren på HK, da har man eit fake raid, og ikkje soft raid..

Satte selv opp en server med ubuntu-server, kun kommandolinje.. det var litt mer arbeid enn eg hadde reknet med, men det fungerte helt utmerket da eg var ferdig med å ordne opp med deling av mapper, samt brukere, passord ol.

 

Men det med å sette opp diskene synest eg var noe dritt, satt kvar dag å jobbet med problemet i ca 2 uker..(noen timer kvar dag*). til slutt klarte eg å stille google det "rette spørsmålet"

Men er nok sikkert noen som kan hjelpe vist du står fast, og det er nok mye lettere vist du setter raidet opp via HK'et og ikkje i os.

 

En del av fordelene med eit HW raid kort: Mindre tid å bygge opp igjen når en disk dør i raid. (går ikkje i raid 0) samt du bruker ikkje maskinens egne resurser like mye som du ellers ville ha gjort på disk oppgaver. Samt det er kjappere i div tilfeller. Tiden brukt på å utvide med flere disker blir også redusert, men varierer fra kort til kort.

 

Men vist du ikkje skal ha mer enn 5 disker i raid 5, så er det ikkje verdt å kjøpe en kontroller mener eg, eit hk med 6-8 sata porter vil da duge.

 

sjølv har eg os på seperat disk, og raidet til lagring. men har backup av system disk etter det vart ferdig konfigurert på raidet.

[process]

Først og fremst så skrev jeg feil i mitt siste innlegg, det er naturligvis RAID1 jeg mente, som bør fremgå av konteksten

 

TheBear skriver at han ville brukt fakeraid istedenfor softraid, jeg vil gjerne utdype ovenfor trådstarter, evt. andre

 

Et typisk HK RAID eller et fakeraid har ingen RAID chip. Dette betyr at skriving til diskene behandles av vertssystemet, som med et softwareraid. Det er ingen endring i hastighet på operasjoner mot diskene. Med et RAID1 system som eksempel, må vertssystemet på fake- eller softwareraid skrive to ganger, en til hver disk. På hardwareraid sier vertsystemet bare fra til RAID kontrolleren, som håndterer skrivingen til begge disker.

 

Hovedforskjellen mellom fakeraid og softwareraid ligger i at informasjonen om arrayet ligger i hardware (på HK eller fakeraid controller) og dør denne er denne voluminformasjonen tapt. På software RAID ligger dette lagret på disk.

 

Du er også avhengig av drivere til fakeraid'et, noe som kan være av ymse kvalitet på linux og være vanskelig å sette opp. Mdadm er et velprøvd og fungerende system med guider som i større grad er uavhengig av drivere eller hardware. Det er også en fordel at du ved en kjerneoppgradering ikke risikerer å miste støtte for driverene dine og må gjøre ekstra jobb for å sette det opp igjen.

 

Jeg har også vært borti et fakeraid kort som krevde at bygging og oppsett av RAID partisjoner måtte skje i deres firmware, altså før OS har startet opp. Dette medførte lang nedetid for andre tjenester på maskinen som ikke var avhengig av RAID'et.

 

Selv ser jeg ingen store fordeler med fakeraid og anser mye av det som marketing hype. Kanskje er det litt lettere å sette opp med velfungerende windowsdrivere, men det er ingenting som gjør at jeg ville valgt det over et softwareraid. Kanskje noen har innspill?

 

Ett hardwareraid kort med en RAID chip er en klar fordel rent teknisk, men det koster penger. For hjemmebruk er ofte et softwareraid tilstrekkelig, spesielt hvis det er en server som ikke bruker CPU til noe spesielt, med en håndfull brukere og hvor penger er et element. Det finnes en del andre hardwareoppgraderinger jeg ville gjort først.

 

Det er klart at å sette opp et linuxsystem til slik bruk kan være en del jobb hvis du ikke har vært borti det før, så du må være villig til å sette av litt fritid til drift. Ta en ting av gangen og raffiner din google-fu så løser det seg til slutt. Dessuten er det kjempegøy

Endret 22. mai 2012 av process

[Bolson]

Software-raid (uansett om det er raid 0, raid 1, raid 5, raid 6, raid 10) i Linux er kurant å sette opp. Det er også enkelt å administrere. Man kan også slå sammen raid ved hjelp av LVM til en stor disk om man har mange raid.

 

Mesteparten av oppsettet gjør man ved installering og de finnes mengder av gode beskrivelser på fremgangsmåte.

 

Personlig kjører jeg raid 1 + raid 5. To mindre disker i raid 1 som håndter OS (Ubuntu) og noe data. Resten er 4 stk 2 TB disker i raid 5.

 

Har kjørt raid i ulike situasjoner siden 2004 (bare softwareraid) og alle problemer har latt seg løse kurant.

[RulleRimfrost]

Kjører også fakeraid. Raid1 for OS (win2003) og raid5 (3 wd green disker) for lagring, på et vanlig intel ich9 eller 10 hovedkort med 8 sata-porter. Vil absolutt påstå at det finnes fordeler. Man kan f eks flytte raidet mellom forskjellige intel hovedkort (som et softraid) og man kan installere OS (som på et hw-raid). Dessuten var det lett når jeg kjøpte en ekstra lagringsdisk og bare endre fra raid1 til raid5 uten flytting eller tap av data. Programvaren for overvåkning av raidet i OS er dessuten stilig (men noe mangelfull)

[ThaBear]

Det eg ville fram til var att å opprette raidet i bios er lettere enn å opprette det i linux etter min erfaring.

Men så hadde eg kun kommando linje også..

 

Eg trodde virkelig at SB var en raid chip som hondterte raidet, men brukte resurser fra minne og cpu..

bruker man marvel kontrolleren på hk'et er det jo elendig ytelse fra raidet.

ex: SB750 / 850 og ich9 / 10

[Moosehead]

Har prøvd forskjellige varianter av sw-raid og fakeraid og er ikke i tvil om at du burde velge sw-raid på Linux dersom du virkelig har behov for dette.

 

Men jeg ville kanskje heller vurdert noe helt annet. Da jeg skulle sette opp serveren min på nytt for en tid tilbake oppdaget jeg FlexRAID (http://www.flexraid.com/2011/09/02/what-is-flexraid/). Det er et slags software raid, men bruker vanlige partisjoner. Du får ikke RAID 5, men RAID 4 eller 6 som gir samme eller bedre beskyttelse. Har kun testet det i Windows, og der funker det utmerket.

[siDDis]

Dell Perc 5i støtter ikkje større disker enn 2TB. Det er også ein dyr kontroller. Eg anbefaler heller IBM BR10 som er ein mykje billegare variant. Skal du ha støtte for større disker så er det IBM M1015 som gjelder.

 

Og vil du ha noko som er lett å setja opp så prøv FreeBSD med ZFS. Det fungerer som juling og du slipper ventetid med å bygge raidet.

[ThaBear]

ZFS fungerer utmerket, brukte det før eg kjøpte dell perc'n, men eg brukte solaris 10 på den tiden, zfs var nettopp kommet til BSD da, så var ikkje heilt stabilt eller kva det var.. Alt fungerte utmerket, helt til eg flyttet serveren.. satte i minnepinnen med os og error.. har vert uheldig med det der.

 

Hugser ikkje kva en kaller "raid 5" i zfs da, men er jo vesentlige forbedringer over raid 5.

Synest ikkje en dell 5i kontroller er dyr akuratt, du kan samanlikne med mangen andre 8 port's kontrollere.. til prisen så mener eg den er veldig bra.. men att den ikkje støtter over 2TB disker er jo en katastrofe egentlig.. vet ikkje om dette kan ha komt med FW oppdatering.

[process]

Vil absolutt påstå at det finnes fordeler. Man kan f eks flytte raidet mellom forskjellige intel hovedkort (som et softraid) og man kan installere OS (som på et hw-raid). Dessuten var det lett når jeg kjøpte en ekstra lagringsdisk og bare endre fra raid1 til raid5 uten flytting eller tap av data

 

OS kan installeres på softwareraid, dette gjøres under installasjon av Debian/Ubuntu. Mulig andre distribusjoner gjør dette også. Hvis du bruker fakeraid trenger du muligens å hente og installere driver manuelt under installasjonen hvis denne ikke ligger i pakkerepositoriet (dersom det i det hele tatt eksisterer en).

 

Du kan også migrere fra RAID1 til RAID5 på softwareraid, men det er nok meget mulig litt mer tasting og neglebiting enn med gode fakeraid drivere, en liten fordel her ja

 

Eg trodde virkelig at SB var en raid chip som hondterte raidet, men brukte resurser fra minne og cpu..

bruker man marvel kontrolleren på hk'et er det jo elendig ytelse fra raidet.

ex: SB750 / 850 og ich9 / 10

 

Jeg har ikke sett på noen spesifike kort her. Nevner dette bare fordi at trådstarter skal kunne differensiere mellom de ulike RAID løsningene og at vedkommende, i mine øyne, ikke trenger å kjøpe et hovedkort eller annen adapter med fakeraid.

 

Det er naturligvis ulike preferanser og som med det det meste, fordeler og ulemper

Endret 22. mai 2012 av process

[ThaBear]

@ process

Er enig med deg i dette.

 

OT:

Har sett større løsninger som kjører med softraid, da ZFS, vet ikkje kor lang tid det vil ta å bygge opp eit raid igjen etter en disk dør i denne løsningen.

 

Det eg ser på som største minuset med zfs er jo att man ikkje kan utvide ein pool som det kalles med flere disker, man kan bare lage ny pool og sette de sammen som "en partisjon" slik eg forstod det.

Men å utvide med 6 disker eller noko om gangen er jo ikkje så gale det heller egentlig.

 

http://blog.backblaze.com/2011/07/20/petabytes-on-a-budget-v2-0revealing-more-secrets/

Vert å se, soft raid er ikkje kun for hjemme bruk

 

Korleis er det med linux å disker for tiden? henter de enda id fra sata porten på hk? hugser eg fikk en del feilmeldinger da satte i en ny disk da eg brukte ubuntu server, vart rot med disk namn etc.

[siDDis]

Resilver til med ZFS er ca antall TB *4 timer, tar du svært mange snapshots og sletter dei så kan du gange det med antall TB 8 timer.

 

BTRFS til Linux har nå fått Raid 5 og det kjem troleg til neste versjon av Linux. Ergo kanskje til Ubuntu 12.10

[madammim]

Takk for mange gode svar

 

Jeg planlegger å bruke 3TB disker, så en 2TB begrensning er absolutt en festbrems.

 

Nedetid er ikke noe stort problem. Er jo til hjemme/famile-bruk, så ikke de store kravene.

 

Har lekt meg litt med Linux; Ubuntu og Ubuntu server. Min erfaring så langt er at man finner en løsning på alt, bare man tar tiden til hjelp og er flink til å søke.