Raid nivå, hva er "nødvendig"?

[chma]

Bygger maskin til videoredigering(Pinnacle(eller Avid om du vil)Liquid)..

OS/Software disker er 2stk WD Raptor Raid 0

Bygger enten med Intel eller amd dualcore og plenty med ram, samt ett kraftig skjermkort som brukes i rendring av feks. overganger. Media/render diskene som det er snakk om her vil bli koblet på en sikkelig hardware kontroller, ikke onboard raid.

 

Spørsmålet er hva er nødvendig av raid nivå? Skal ha raid pga. tidligere erfaringer med disker som tok kvelden.

 

Var først sikker på at jeg skulle gå for Raid 5, men etter litt lesing ble jeg usikker da det ikke er nivået med raskest skriving, men rask lesing og relativt bra utnyttelse av diskene(plass pr disk..) teller i favør Raid 5. Alternativet jeg har sett på er Raid 10, dyrere og mister mer plass, men du får med riktig kontroller noen relativt hissige ytelser ved lesing og skriving.

 

Derfor, noen som har erfaring med om Raid 5 raskt "nok" til at dette ikke blir noen "flaskehals" til videoredigering...?

[roac]

Bygger maskin til videoredigering(Pinnacle(eller Avid om du vil)Liquid)..

OS/Software disker er 2stk WD Raptor Raid 0

 

Spørsmålet er hva er nødvendig av raid nivå? Skal ha raid pga. tidligere erfaringer med disker som tok kvelden.

 

Var først sikker på at jeg skulle gå for Raid 5, men etter litt lesing ble jeg usikker da det ikke er nivået med raskest skriving, men rask lesing og relativt bra utnyttelse av diskene(plass pr disk..) teller i favør Raid 5. Alternativet jeg har sett på er Raid 10, dyrere og mister mer plass, men du får med riktig kontroller noen relativt hissige ytelser ved lesing og skriving.

 

Derfor, noen som har erfaring med om Raid 5 raskt "nok" til at dette ikke blir noen "flaskehals" til videoredigering...?

5182747[/snapback]

Forutsatt nokså sekvensiell jobbing, og stor blokkstørrelse både på filsystem og raidsett vil RAID 5 kunne duge. Men, de som jeg kjenner til som jobber med videoredigering velger som regel å bruke RAID 0 - striping, med den begrunnelse at dataene bare er midlertidig på disken uansett, så dersom en disk skulle feile så kan de hente dataene inn fra kilden (hva nå det måtte være) på nytt. Den ytelsesmessige fordelen med RAID 0 bør dog være soleklar.

 

Det jeg stiller meg litt undrende til er å bruke to raptordisker i raid 0. Hadde du sagt raid 1 så hadde saken vært en annen.

[Gjest Slettet-t8fn5F]

For sikkerthet og farta kan dere kjøre RAID (0+1). Kerver jo 4 disker da, emn dobling av sikkerhet og fart er jo noe å ta med seg.

Tror ikke skjermkortene tar seg av rendring og overganger. Allefall ikke disse spillkortene med supre 3D. Ville brukt Intel sine prosesorer der da de generelt er bedre på tallknusing enn Amd, men er usikker nå etter X2 kom...

[roac]

For sikkerthet og farta kan dere kjøre RAID (0+1). Kerver jo 4 disker da, emn dobling av sikkerhet og fart er jo noe å ta med seg.

5183834[/snapback]

Ser ingen fordel med raid 0+1 (01). Det har dårligere feiltoleranse enn raid 1+0 (10), og det er stort sett bare billige kontroller som har raid 01 (da det blir færre volum å forholde seg til for kontrolleren).

[Gjest Slettet-t8fn5F]

For sikkerthet og farta kan dere kjøre RAID (0+1). Kerver jo 4 disker da, emn dobling av sikkerhet og fart er jo noe å ta med seg.

5183834[/snapback]

Ser ingen fordel med raid 0+1 (01). Det har dårligere feiltoleranse enn raid 1+0 (10), og det er stort sett bare billige kontroller som har raid 01 (da det blir færre volum å forholde seg til for kontrolleren).

5183859[/snapback]

He he. Går ann å kjøre 0+1 på dyre kontrollere også, men du har selvfølgelig rett i at det er større sikkerhet med 1+0 en 0+1. Farta skulle være den samme.

Til trådstarter så hvis det er en kontoller med mye minne, er det bare å gå for Raid 5. Skriving til paritetsdisken blir ikke så hemmet når det er mye minne på kontrolleren. Tror ikke selve skrive ytelsen er så dårlig, det er vel den paritets biten som skal skrives uten selv jobben.

[_BOFH_]

Spørsmålet er vel heller hvor stor hastighet du trenger.

 

Finn ut av dette først og så skal det nok gå an å finne på en løsning som er sikrere enn raid 0 men fortsatt rask nok.

 

Har et raid 5 (SATA/300) her hjemme med kun tre disker som skriver mellom 90 og 110MB/sek (litt avhengig av hvor på disken dataene havner...) Med en disk til vil jeg gjette på at den klarer ca 50MB/sek mer i skriv...

 

 

Har bestilt en ny Raid kontroller (også SATA/300) som angivelig skal klare 384MB/sek skriv i Raid 5 (Den skal ha 12 disker i Raid5)

[roac]

Sudan2k: Skriving av paritetsblokken er ikke problemet med raid 5. Problemet til raid 5 er at skriving av en enkelgblokk består av to leseoperasjoner i tillegg til de to skriveoperasjoenene, og begge de to leseoperasjonene må være ferdige før skrivingen kan påbegynnes. For sekvensiell skriving kan dog dette elimineres av kontrolleren, fordi hele striper skrives.

 

_BOFH_: Hva slags skriveoperasjoner måler du ytelsen på? raid 5 yter bra på sekvenseill skriving, men ikke random (se begrunnelse over).

 

chma: Som sagt i første post: raid 5 vil sannsynligvis duge til videoredigering grunnet (såvidt jeg har forstått det) en stor grad av sekvensiell skriving.

[_BOFH_]

_BOFH_: Hva slags skriveoperasjoner måler du ytelsen på? raid 5 yter bra på sekvenseill skriving, men ikke random (se begrunnelse over).

5183973[/snapback]

 

Dette er sekvensiell skriv ja... skulle gjerne hatt slik ytelse på random skriv, men men. For videoredigering antok jeg at sekvensiell skriv var mest aktuelt.

 

Fra SiSoft Sandra Light:

Benchmark Breakdown

Buffered Read : 524 MB/s

Sequential Read : 123 MB/s

Random Read : 55 MB/s

Buffered Write : 124 MB/s

Sequential Write : 95 MB/s

Random Write : 50 MB/s

Average Access Time : 10 ms (estimated)

 

Så random write ligger på 50MB/sek. Det er jo ikke ille det heller da

[chma]

Tror ikke skjermkortene tar seg av rendring og overganger. Allefall ikke disse spillkortene med supre 3D. Ville brukt Intel sine prosesorer der da de generelt er bedre på tallknusing enn Amd, men er usikker nå etter X2 kom...

Joda, Pinnacle LE utnytter gpu til rendering, økonomisk er det typiske kraftige spillkort som skal gi mye ytelse for penga, men systemer levert fiks ferdig for video pleier å bli levert med feks. quadro(eller hva workstation serien til nvida heter).

Oftopic, men er og litt usikker på intel/amd, begge er bra nok som cpu, problemet er brikkesettene til amd som aldri har vært like stabile/bra som intel sine om vi skal tro folk som har holdt på lenge med video. Kanskje og litt av grunnen til at Avid kun har intel baserte systemer under lista over godkjente arbeidstasjoner..

 

Ang. raptordisk, skulle egentlig brukt en i en annen maskin men det ble ikke noe av så sitter med 2stk. Om det er noe å hente annet enn på papiret(finnes en del tester som angivelig mener at det skal gå kjapt...veldig kjapt..) er en annen sak.

 

Har fått forslaget om raid 0 som media/render. Men selv om ikke prosjektfiler osv går tapt så er det nok jobb å logge allt på nytt osv.

Er mest for sikkerheten jeg skal ha raid, sata disker idag skriver kjapt nok i seg selv, men søvnløse netter hvor du lurer på om de hundrevis av timer arbeid/hobby er forsvunnet eller kommet levende over på ny disk har jeg ikke lyst til oppleve igjen...

 

Har ikke fått noen klare svar fra folk som har drevet med video en stund heller, noe som kanskje tyder på at gevinsten ved å gå for raid 10 ikke er så fryktelig stor.

[OnetroM]

Hvis du først har to Raptordisker ville jeg kjørt de i raid0 og brukt de til rendering/arbeidsdisker. I tillegg hadde jeg kjørt et par disker til lagring, gjerne raid5 hvis du trenger mye lagringsplass.

 

Hvis du enda ikke sover om natta blir du nødt til å kjøpe en backupløsning. Hobbyer kan fort blir dyre..

[chma]

Skal forhøre meg litt mer med levrandører av software(liker å være 200% sikker...ligger jo mer research bak maskinen jeg bygger enn det tar å bygge/teste/ferdigstille... )

 

Men det er ett eller annet med det der....enkelte hobbyer som sklir ut litt...blir fort dyrt og tidkrevende(noe famile, venner osv fort merker veldig godt...).

[Buzz76]

Hva om du har et Raid1 med 2 disker som system disk/sikker lagring og i tillegg 2 disker i Raid0 for temp lagring/arbeidsdisk? Så overfører du ferdige filer til en Raid1 partisjon med det samme du er ferdig med dem.

 

I tillegg ville jeg hatt en backupløsning... tape eller dvd... alt etter hva lomeboken tillater. Kan ikke stole på et Raid oppsett uansett.

 

Og til ham som skulle ha 12 disker i Raid5... du er klar over at det fremdeles bare tillates at 1 disk ryker? 12 disker høres ut som høy risisko for meg...

Endret 22. november 2005 av Buzz76

[roac]

Og til ham som skulle ha 12 disker i Raid5... du er klar over at det fremdeles bare tillates at 1 disk ryker? 12 disker høres ut som høy risisko for meg...

5191652[/snapback]

Istemmes. Med så mange disker hadde jeg sannsynligvis kjørt med 10 eller 11 disker i raid 5, og en eller to disker som hot-spare.

[_BOFH_]

Og til ham som skulle ha 12 disker i Raid5... du er klar over at det fremdeles bare tillates at 1 disk ryker? 12 disker høres ut som høy risisko for meg...

5191652[/snapback]

Istemmes. Med så mange disker hadde jeg sannsynligvis kjørt med 10 eller 11 disker i raid 5, og en eller to disker som hot-spare.

5192635[/snapback]

Er enig i dette. Tok nok en litt rask forklaring tidligere - kommer helt sikkert til å kjøre raid 50 i en eller annen konfigurasjon. Det skal være 16 disker i kabinettet. (16x250GB disker m 16MB cache og NCQ)

 

En mulig konfig er:

2 stk i Raid 1 til OS

2 stk i Raid 1 til SWAP ++

12 stk i Raid 50 (Enten 3 Raid 5 med 4 disker i hver stripet, eller 2 raid 5 med 6 disker i hver stripet).

 

Raid 50 har mye høyere ytelse med mange disker da man slipper å lese fra alle diskene hver gang man skal gjøre en skriv (lesingen er nødvendig for å regne ut paritetsbiten)

 

Dersom jeg går for 3 stk Raid5 med 4 diskeer i hver stripet synes jeg ikke risikoen er så veldig stor - dersom en av diskene ryker drar jeg bare ut en av diskene fra Swap mirroret og erstatter den som røk. Så er det bare til å bestille en ny disk til SWAP mirroret

 

Dersom enda en disk skulle ryke før den nye disken ankommer kan jeg alltids flytte SWAP til OS mirroret...

 

Tror dette blir greit jeg

 

(BTW - kommer til å kjøre CentOS 4.1 64 bit ed. på den)

[roac]

En mulig konfig er:

2 stk i Raid 1 til OS

2 stk i Raid 1 til SWAP ++

12 stk i Raid 50 (Enten 3 Raid 5 med 4 disker i hver stripet, eller 2 raid 5 med 6 disker i hver stripet).

Til swap (ukritiske data) hadde jeg ikke brukt Raid 1, men snarere Raid 0. Det er ingen krise om dataene går tapt.

 

Raid 50 har mye høyere ytelse med mange disker da man slipper å lese fra alle diskene hver gang man skal gjøre en skriv (lesingen er nødvendig for å regne ut paritetsbiten)

Bare gamle og/eller dårlige kontrollere jobber på den måten. Det er to måter å finne pariteten på, det du beskriver er den tunvinne. Den lettvinne, og som alle gode konrollere bruker (når det er mer enn fire disker) er å lese den gamle datablokken og den gamle paritetsblokken før skriveoperasjonen begynner. Ved å ta xor på disse to har man funnet paritet fra alle datablokkene unntatt den man skriver til, men med færre IO.

 

Det som er problemet med mange disker i raid 5 er gjennoppbygging av en disk, det medfører noe sykt mye IO-operasjoner.

[_BOFH_]

Raid 50 har mye høyere ytelse med mange disker da man slipper å lese fra alle diskene hver gang man skal gjøre en skriv (lesingen er nødvendig for å regne ut paritetsbiten)

Bare gamle og/eller dårlige kontrollere jobber på den måten. Det er to måter å finne pariteten på, det du beskriver er den tunvinne. Den lettvinne, og som alle gode konrollere bruker (når det er mer enn fire disker) er å lese den gamle datablokken og den gamle paritetsblokken før skriveoperasjonen begynner. Ved å ta xor på disse to har man funnet paritet fra alle datablokkene unntatt den man skriver til, men med færre IO.

 

Det som er problemet med mange disker i raid 5 er gjennoppbygging av en disk, det medfører noe sykt mye IO-operasjoner.

5197857[/snapback]

 

Dette med metoden for å regne ut ny paritet har du jo helt rett i - det burde jeg ha tenkt på! Grunnen til at jeg bare antok at det var sånn er fordi det i 3ware manualene står at Raid50 er foretrukket dersom du vil ha høyere ytelse. Da antok jeg (for) raskt at dette var grunnen. Kan hende at de kun mener rebuild av arrayet. Eller kan det være at selve XORingen går raskere dersom f.eks et raid5 består av kun 4 disker. I så fall burde de ha dyttet inn en kraftigere CPU! De fleste Benchmarker jeg har sett gir i allefall Raid50 en klar edge over Raid5 i performance, i tillegg vil impacten av speed på arrayet ditt være mindre siden de andre Raid5 arrayene jo ikke blir berørt av dette og kjører i full speed...

 

Grunnen til at jeg lurte på å kjøre SAWP på et mirror var rett og slett kun for å kunne ha muligheten til å dra ut den ene og erstatte en eventuell ødelagt disk i Raid 50 arrayet. Ville jo tro at les fra et Raid 1 vil være høyere enn fra en single disk. Raid0 er litt uaktuelt for meg siden jeg trenger å kunne trekke ut den ene disken i fart. (Er 16 Hot-swap SATA på kabinettet )

 

Vel vel - dette ble jo rimelig OT i forhold til trådstarterens tema, beklager dette!