Filserver med høye krav til ytelse på lagring - Hvordan sette opp?

[Mixy]

Hei,

 

Jeg forsøker meg med en egen tråd om temaet, som jeg også har nevnt i en annen tråd.

 

Jeg har en filserver (Proliant ML350 G6, 42gb ram, 2x x5650 Xeon) hvor jeg nå er i en situasjon der jeg kan velge å "starte på nytt" ettersom jeg har nye lagringsmedier som er større enn dataene jeg har liggende. I den sammenheng stilte jeg spørsmålet på reddit som anbefaler en løsning basert på UnRAID fremfor dagens eSXI+Windows+Drivepool.

 

Det har slått meg at jeg har ganske store krav til ytelsen på lagringen til denne filserveren. Det kan hende jeg skriver filer enten fra lokalt nettverk eller fra nettet (ønske om 1gbps), samtidig som noen filer pakkes ut og samtidig som én eller fler videostrømmer går til andre enheter på nettverket (direct play). I tillegg kjører det torrents på serveren

 

Samtidig ønsker jeg en løsning som er robust ift disk-kræsj og skalerbar til senere når jeg legger til flere harddisker. 

 

Harddiskene er p.t. koblet til via LSI SAS 9201-16e, og jeg har et begrenset budsjett så det blir derfor vanskelig med RAID-løsninger som ikke er sw-baserte.

 

Hva ville dere gjort i mine sko? Skiftet til UnRAID, legge på Snapraid-parity på eksisterende Drivepool løsning? RAID? Andre løsninger som SAN? Og hvordan er ytelsen til de ulike løsningene?

Endret 10. juni 2017 av Mixy

[Nizzen]

Høye krav til ytelse på lagring på begrenset budsjett 

 

Jeg som hadde tenkt å anbefale Areca 1883ix-24 med 8GB cache

 

Hovedgrunnen for at jeg liker å ha lagring på Areca, er at jeg kan flytte kontrolleren til ubuntuserveren fra windows serveren min, uten at det er noe problem. Man kan også flytte raid-arrayene fra maskin til maskin, uavhengi av hvilket OS man har. Bruker man Zfs, unraid etc. så er det mere begrenset, og det kreves en viss kunnskap for å holde det vedlike. 

 

Skal sies at jeg også digger ZFS med alle funksjonene det har, men vil ikkje anbefale det til "hvermansen"

[Mixy]

Hehe, nå kan det vel også hende at du og jeg har ulik skala som vi leser på når vi leter etter "høy ytelse". Det er jo ikke uhørt det kravet jeg har, selv om det er mer enn mange. 

 

Har lest en del mer rundt om, og dere må rette meg hvis jeg har forstått ting feil.

Fordel med UnRAID:

- Lett å styre, utvide, sette opp.

- Funksjonelt med mange gode plugins

- Ved diskfail ut over antall parity mister man kun antallet disker som går føyken, ikke hele arrayet

- Skalerbar ytelse på skrive-siden med cache som kan bygges opp slik man vil

- Fri kombinasjon av disktyper og størrelser så lenge man har parity som største disk.

 

Negativt:

- Begrensning på antall disker

- Lav lesehastighet

- Lav skrivehastighet etter cache er fylt

 

Og kort fortalt, hvis man vil ha markant bedre ytelse så må man over på striping/speiling av data, og mister med det fordelen over ved diskfail og fleksibiliteten av ulike disker.

 

Så hva har jeg egentlig behov for med mitt bruk som skissert over? Kjipt å gå for UnRAID hvis jeg senere vil irritere meg over ytelsen, da kan jeg heller "finne" penger til bedre løsning  Med det sagt så kan det umulig være kontroller til 15k som er nødvendig..

Endret 10. juni 2017 av Mixy

[siDDis]

Nå kjenner jeg ikke til Unraid, men det er griselett å makse 1gigabit linje med ZFS. Eg greier å makse 10G også med eit par disker om eg auker block sizen på NFS fra default 8k til 32k.

 

For å makse 40G så må eg ha SSD disker og ein sinnsykt rask CPU.

[Mixy]

Nå er det vel som nevnt ikke ren skrivehastighet som er begrensningen, men heller lesing og iops.

 

Ulempene med raid6 er slik jeg forstår det rebuild tid når en disk ryker, og åpenbart kostnaden. Jeg har 2x4tb og 3x8tb disker, så da måtte jeg ha supplert med minimum 3x8tb for å få like mye lagring som ved dagens løsning (som ikke er beskyttet med diskfail). Legg på en ålreit kontroller så passerer denne løsningen 12.000, i tillegg er det et ønske å øke lagringsplass som drar opp enda mer

Endret 11. juni 2017 av Mixy

[Boye]

Har brukt NAS4Free en del, og testet Unraid ut prøvetiden (lisens). ZFS gruset Unraid noe så inni hampene på jevn og høy skrive-og lesehastighet, men tror det er mulig å tilpasse Unraid ganske godt med tanke på skrive+lesecache med f.eks. en SSD (som kan flushes på natta f.eks til arrayet). Unraid likte ikke SAS-diskene mine, dvs. de spant kontinuerlig og bomleste HD-temperaturen, men ellers var alt OK.

 

Unraid striper / splitter ikke innholdet utover ikke-paritetsdisker (korriger meg om jeg skriver feil her) på kryss av disker for skriving og lesing, og du kan mikse disker av forskjellig størrelse i arrayet (2TB, 4TB, 8TB) så lenge paritetsdiskene er de største, som er litt av poenget med Unraid. Skal man se en film vekkes kun paritetsdisken(e) + den disken filmen ligger på, og ikke hele arrayet som f.eks. på ZFS hvor alle disker i poolet bidrar til les og skriv. Eller ingen disker hvis det ligger i RAM eller på SSD-cache. Lesing begrenses til paritets/diskhastighet, mens skriving med SAS-disker som paritet og 7200RPM Hitachi-disker på resten gikk på +100MB/s helt til RAM-buffer ble fylt. Faktisk skriving til diskene falt så ned til 25-30MB/s, og virket begrenset av CPU single-core hastighet.

 

ZFS har også les+skrivecache, så strengt talt trenger ikke disker å spinne opp så lenge data er "hot" i RAM eller L2ARC/SSD. Unraid manglet iSCSI når jeg sjekket det.

 

Hvert sitt bruksområde?

 

EDIT: iSCSI, miksing av disker.

Endret 29. juli 2017 av Boye

[Mixy]

Har nå brukt Unraid i halvannen måned, og er svært fornøyd med dette. Det er riktig at skriving direkte til array begrenses av CPU, i mitt tilfelle rundt 40MB/s.

 

For meg er det ikke så stort hinder pga cache som brukes til nedlasting (flushes som du sier på natten). Det mitigeres også en del av "turbo-write" som vekker på magisk vis gir rundt 80-90MB/s (les mer om dette andre steder), ulempen med turbo-write er at flere disker spinnes opp. 

 

Det er for meg to store fordeler med Unraid sammenlignet med ZFS (med fare for at jeg har misforstått, har ikke testet ZFS):

1. Svært fleksibelt. Kast inn flere disker, både parity og vanlige som det passer. Ulike størrelser er ikke noe hinder så lenge parity er størst.

2. Ved tap av parity+datadisk mister man kun innholde på den bestemte disken. Dette er fordelen med å ikke stripe dataene, og ulempen er ytelse ved skriving/lesing. Som du sier hvert sitt bruksområde.