Kontor: Backup-PC for større mengder data

[Decline]

Hei,

 

På kontoret hvor jeg jobber trenger vi å sette opp en backup-PC hvor det lagres råfiler etter videoproduksjon. Vi må da i første omgang ha kapasitet til 10 terrabyte data (i RAID), for så å kunne bygge ut kapasiteten ganske raskt. Jeg er vel over gjennomsnittlig datakyndig, men akkurat dette har jeg lite erfaring med, så skulle gjerne hatt noen tips til hva vi trenger her, og hva det vil koste.

 

PCen i seg selv trenger antakeligvis ikke være særlig rask, da dette først og fremst skal være et "bibliotek" for egenbruk, et backup-bibliotek bestående av råmateriale etter videoproduksjoner.

 

Alternativet hadde vært å leie en slik tjeneste, men med slike mengder data, regner jeg med det blir ganske håpløst. Ny data som skal lagres, hentes nemlig fra 3-4 steder/personer i landet, og da kan vi ikke forutsette at de som laster opp har fiberlinje... så det er vel enklere å sende rundt disker i posten, som vi kobler til PCen på kontoret.

 

Så, noen erfaringer, tips etc? Alt mottas med takk.

Endret 9. desember 2011 av Decline

[Decline]

Og hvilken RAID-løsning er best for oss? Regner med det er fra RAID 5 og oppover, da det vil være flere antall disker med mest mulig diskplass, samtidig som vi trenger sikkerhet i tilfelle en disk ryker.

[N o r e n g]

Jeg kan tenke meg at du kan gjøre noe slik:

AM3+ 990FX-chipset med masse utvidelsesspor, Gigabyte UD3 for eksempel.

Phenom II X4 955 BE

HD 6450

RAIDkontrollere i bøtter og spann

 

Bigtower-kabinett med plass til masse harddisker, Define XL kanskje? Eller Xigmatek Elysium med 2x Cooler Master 4-in-3 HDD bays.

Om du ønsker hot-swap (som vil være rimelig praktisk her vil jeg tro) kan du se på Icy Box 5-in-3 HDD bay hot-swap

 

Diskkontrollere har jeg ikke så mye peiling på, men denne er visstnok sett på som minstekrav for slik bruk her.

 

Harddisker er svindyre etter flom i Thailand, likevel hadde jeg prøvd å legge meg på 3TB-disker med en gang om mulighet for rask utvidelse er et stort fokus. Seagate Barracuda 3TB 7200RPM kanskje, eller WD AV-GP 3TB som er "RAID-sertifiserte."

 

RAID5 er nok å anbefale for et slikt oppsett, du ønsker en viss mengde redundans når du har såpass store mengder data, men å utvide til å arbeide med en enorm partisjon på 10TB tror jeg kan bli slitsomt.

[xaco]

Bare husk at raid ikke er backup, det gir deg en viss sikkerhet mot disk kræsj ja, men hva hvis filen blir korrupt? eller brann? Viss dette er viktige data dere må ha over tid burde dere heller vurdere å leie en tjeneste hos en leverandør som kan gi dere en mye sikrere løsning enn dere klarer å mekke sammen selv med RAID.

[Decline]

Takk for bra svar arni90, nettopp slike ting jeg ikke vet fra før...

 

Tenker vi går for RAID5 da, med 3 eller 4 disker i første omgang. Det er vel ikke noe problem å legge til nye disker i et slikt RAID-oppsett? Har nemlig aldri brukt RAID før :/

 

Av de to diskene du nevner, ser jeg at den billigste (seagate) har dobbelt så stor overføringshastighet som den andre, SATA-600 vs 300. Lønner det ikke seg å ta den billigste da, Seagaten?

 

Diskkontrollere har jeg i grunn null peiling på, hva er funksjonen til denne? Ser den du linket til har 4x SATA-tilkoblinger, vil det si at den kan tilkobles fire disker, og at vi da bør enten ha en diskkontroller med flere tilkoblinger, eller flere diskkontrollere?

 

Angående RAID-oppsett, nå har jeg altså aldri brukt RAID før, men det går kanskje an å dele 10 terra i f.eks 5 partisjoner med 2 terra hver?

 

Elysium-kabinettet så jo greit ut, om man i tillegg kan koble til en hot-swap, burde det jo være plass til endel disker...

[Decline]

xaco, sant nok. Men da er problemet dette med tilgang til dataene og fleksibilitet. Ok, de kunne kanskje tatt på seg å koble til nye disker vi sender inn, for en ekstra penge. Men la oss si vi må hente ut 3 terra, da må vi enten laste det ned fra serveren via nett, eller trappe opp der?

 

Men ser jo at det er endel styr å sette opp et slikt system, så det blir jo også et spørsmål om man bør ofre litt fleksibilitet mot den forenklingen det er å la andre ta seg av det. Noen andre som har erfaringer her?

[xaco]

Nå vet jo ikke jeg hvor viktig filene er for dere, men å lagre 10 TB sikkert krever kompetanse. Om de er veldig viktige for dere må du også tenke på backup av dataene på serveren til en off-site lokasjon i tilfelle brann. Serveren i seg selv er bare en del av det. Som jeg skrev tidligere er ikke RAID backup, filer kan bli korrupt, dere kan være uheldige og klare å slette store mengder av den med et uhell. Beste løsningen for deg kan være en mellomting, dere skaffer dere en server for lokal tilgang og samtidig legger backup av filer til f.eks skyen for å kunne hente ned igjen i tilfelle noe skjer.

Endret 9. desember 2011 av xaco

[Nohabla]

Hva er budsjettet ditt?

Hvor kritisk er dataene som lagres der?

 

Jeg ville nok valgt et profesjonelt SAN, ja det koster endel, men du får noe som er utprøvd og du kan enkelt utvide etter behov.

Se på denne løsningen feks: http://nextron.no/main.php3?PI=list&MG=559&SG=2446&SO=price

[Decline]

Vel, budsjettet er hva det trenger være Men selvsagt lavest mulig... Dataene er relativt kritiske, så det må være en sikring her ja. Kan være det mest praktiske er å leie hos en ekstern leverandør ja. Må undersøke litt rundt dette da. Det må isåfall gå an å sende de disker med data, i og med at det vil ta for lang tid å overføre større mengder data over nett.

[N o r e n g]

Western Digital-disken er laget for 24/7-bruk i RAID og har en driftstid på 1 000 000 timer (visstnok, 1 000 000 timer er over 100 år). Seagate finner jeg ingen tall på, men den har garantert ikke samme garanti.

 

Angående overføringshastighet, så er SATA-grensesnittet på 3Gb/s mer enn nok for en harddisk, en vanlig harddisk klarer ikke stort mer enn 100MB/s uansett om man skriver eller leser, og da gjør ikke en teoretisk båndbredde mellom harddisken og kontrolleren på 275MB/s eller 550MB/s noen forskjell.

 

Utvidelse av RAID har jeg ingen erfaring med selv, men jeg vil tro at du kun kan utvide på samme kontroller. Fyller du opp en kontroller med fire porter meg fire disker ser jeg ikke hvordan du kan utvide der. Løsningen blir da heller å ha flere partisjoner på 8-9TB, det burde ikke være et stort problem.

 

Flere diskkontrollere og/eller flere porter per kontroller er noe du må ta stilling til, jeg har ikke mye peiling her. En god kontroller kan oppnå flere hundre MB/s med lese- og skrivehastighet, men hvor mye mer dette koster aner jeg ikke. Da burde du nok heller spørre på maskinvare -> lagringsmedier.

 

Xigmatek Elysium har også en hot-swap bay på toppen av kabinettet, dette kan være praktisk siden du snakker om å sende fysiske disker rundt.

[Decline]

Hm ja. Har noen noen eksempler på leverandører av backup-løsninger, brannsikkert, større lagringsmengder (titalls tb), i Norge?

[_dundun_]

Om dette er for profesjonell bruk og kritiske data bør du ikke finne på å bygge selv.

 

Kjøp noe ferdig, f.eks en SAN-løsning eller noe offsite. Eller noe annet lurt. Ikke smell opp en PC på egen hånd.

[Decline]

kvasbo, tror jeg har kommet frem til det samme - at det ikke er så smart å sette i gang med selvbygging.

 

Det kanskje beste hadde jo da vært en ekstern leverandør, som er noe fleksibel. F.eks syse.no eller lignende?

[Bolson]

Om dette er for profesjonell bruk og kritiske data bør du ikke finne på å bygge selv.

 

Kjøp noe ferdig, f.eks en SAN-løsning eller noe offsite. Eller noe annet lurt. Ikke smell opp en PC på egen hånd.

 

Enig, om man da ikke er så oppegående på server-/lagringsdrift at man klarer å sette opp noe som er sikkert og drifte dette på en sikker måte. Husk at Google og Facebook faktisk bygger det meste selv.

 

@Decline: Når man skal ha lagringløsninger i profesjonell virksomhet kan man ikke tenke "rimeligst" mulig. Da må man tenke hva er kostnaden om man mister disse dataene, dvs hvilken konsekvens det har for bedriften økonomisk. Risikerer man å gå konkurs om råfilene blir borte, eller er det ikke så farlig (kjedelig, men konsekvensen er relativt liten).

 

I det første tilfellet må man nesten arbeid for å få en løsning med null risiko for databortfall, noe som ofte betyr lagringsserver med full support, offsite backup + backup på tape/flyttbart media i brannskap (altså all data finnes minst 3 plasser). Og ofte oppgradering av nettverk slik at lagring går fort nok. I tillegg må man ha rutiner for jevnlig verifisering av backupene.

 

I det andre tilfellet så er en "hjemmelaget" løsning med raid 6 og backup på flyttbare harddisker i brannskap trolig en bra nok løsning.

 

Det er måter å finne ut hva som er rett økonomisk nivå for en slik løsning basert på konsekvensen av databortfall og sannsynligheten for at dette skjer, men det krever en del arbeid å komme fram til nøyaktige data, men vurdering av konsekvens gir et utgangspunkt.

 

Det er også viktig å vurdere "verdi" av ulike typer data. Det kan være at noe rådata har relativt liten verdi, mens noe har høy verdi. Derfor kan det være slik at noe data bør også lagres offsite og noe faktisk klarer seg å lagre på en server. Man må også vurdere om data kan lagres med f.eks 80 % kvalitet på offsite lagring eller backupmedia.

 

Men generelt er min anbefaling at man kontakter Dell eller HP som uten tvil er spesialister på dette område for å få hjelp til å sette opp en optimal løsning. De kan anbefale løsninger både for inhouse og offsite lagring.

 

Personlig har jeg en løsning med inhouse (egenbygget), eksterne HD-er som legges i brannskap (byttes hver uke) og offsite (Dell server i collocation i en stor serverpark). Bruker Multihost.no til den siste, men Syse.no kan sikkert også brukes. Dog har jeg ikke mer en ca 1,5 TB med data.

[xaco]

Husk at Google og Facebook faktisk bygger det meste selv.

Det der tviler jeg sterkt på, mest sannsynlig bruker de standard servere fra HP, DELL eller annen leverandør. Jeg vet at for eksempel microsoft med azure kjøper inn ferdige konteinere fulle av utstyr som de ikke engang fikser når det blir ødelagt. De lar det kjøre helt til en viss % andel er ødelagt før de kasserer hele konteineren.

Endret 9. desember 2011 av xaco

[Sokkalf™]

@xaco:

 

Google og Facebook bygger faktisk selv, leste dette for ikke lenge siden :

http://www.digi.no/883292/disktrobbel-for-hjemmelagde-servere

[Mez]

kvasbo, tror jeg har kommet frem til det samme - at det ikke er så smart å sette i gang med selvbygging.

 

Det kanskje beste hadde jo da vært en ekstern leverandør, som er noe fleksibel. F.eks syse.no eller lignende?

 

Hei,

 

mange leverandører der ute, har sendt deg en PM

 

Erik

Endret 9. desember 2011 av Mez

[Bolson]

Husk at Google og Facebook faktisk bygger det meste selv.

Det der tviler jeg sterkt på, mest sannsynlig bruker de standard servere fra HP, DELL eller annen leverandør. Jeg vet at for eksempel microsoft med azure kjøper inn ferdige konteinere fulle av utstyr som de ikke engang fikser når det blir ødelagt. De lar det kjøre helt til en viss % andel er ødelagt før de kasserer hele konteineren.

 

Google har nesten alltid bygd sine egne servere. Serverne og Google sin optimaliserte versjon av Linux er regnet som en del av kjernen i Google sin virksomhet, og noe de vil ha full kontroll over samt kunne designe optimalt for de ulike områdene. Ja, Google bruker også konteinere, men de er designet 100 % internt hos Google.