RAID eller NAS

[Jorn-T]

Nizzen: hvis totalbudsjettet er på rundt 15-20000,- og jeg ønsker meg 30-40 TB med minimum 1000 MB/sek lesehastighet, da har jeg vel bare fått kjøpt Areca kontrolleren for de pengene? ?

 

Et dumt spørsmål, men med RAID 5/6, er det mulig å legge til flere disker etterhvert?

[Nizzen]

Nizzen: hvis totalbudsjettet er på rundt 15-20000,- og jeg ønsker meg 30-40 TB med minimum 1000 MB/sek lesehastighet, da har jeg vel bare fått kjøpt Areca kontrolleren for de pengene? ?

 

Et dumt spørsmål, men med RAID 5/6, er det mulig å legge til flere disker etterhvert?

Ja

Areca støtter opp til 256 disker med expander

 

Det koster å ha det beste ja

[Jorn-T]

Det frister kanskje litt med to-tre 2TB Intel 660p i RAID 0 som prosjektdisk, og en slik:

 

https://www.prisjakt.no/product.php?p=4830418

 

Så kan jeg fylle opp Qnap'en med billige, store disker, og få det beste fra to verdener.. var fristet til å bestille fire til seks Seagate Expansion Hub 8 TB fra Clas Ohlson i helga, var på tilbud til 1690,-... men kanskje jeg skulle gå for 12-14 TB helium fra starten av, dersom jeg kan starte med tre-fire slike i RAID-5 og utvide etterhvert ?

 

Har ASUS Z370-F, vil jeg kunne få plass til fire Intel m.2 på en ASUS Hyper x16? Ser den ikke er kompatibel med så veldig mye.. Er det andre m.2 kontrollere som er gode? Og ikke veldig dyre ? Valgets kvaler... ?

[Jorn-T]

Enda et lite spørsmål; Om jeg går for NAS, bør jeg ha 1- eller 2-ports 10 GbE nettverkskort i PC'en? Tenker vel å droppe

10 GbE switch pga prisen, fikk mildt sagt bakoversveis ? Dvs bare koble NAS'et direkte til PC'en, men kanskje med doble kabler? Men da får jeg kanskje ikke brukt NAS'et fra TV/mediaboks igjen..

 

Og så lurer jeg på om nettverkskortet legge beslag på mange PCI lanes, og vil jeg kanskje risikere at CPU-belastningen blir høyere med 10 GbE enn ved bruk av et internt RAID? ?

[Uderzo]

Enda et lite spørsmål; Om jeg går for NAS, bør jeg ha 1- eller 2-ports 10 GbE nettverkskort i PC'en? Tenker vel å droppe

10 GbE switch pga prisen, fikk mildt sagt bakoversveis Dvs bare koble NAS'et direkte til PC'en, men kanskje med doble kabler? Men da får jeg kanskje ikke brukt NAS'et fra TV/mediaboks igjen..

Du vil ikke trenge mer enn 1. stk 10 GbE port på PC-en. NAS-en har flere enn en port, så det er null problem å bruke en 10 GbE port til PC-en og en annen port til alt annet. 10 GbE er bakoverkompatibel, så det er bare å plugge NAS-en på et vanlig 1 GbE nettverk.

 

Jeg har denne switchen, den har 2 stk. 10 GbE porter. Den fungerer helt OK for hjemmebruk, den blir ganske varm så ikke plasser den inne i et skap, den trenger litt luft

https://www.prisjakt.no/product.php?p=4097593

 

I serveren bruker jeg dette kortet:

https://www.komplett.no/product/1081301/datautstyr/nettverk/nettverkskort/asus-xg-c100c-10gb-pcie-adapter

Igjen, helt OK for hjemmebruk. Ikke på høyde med enterprise når det gjelder ytelse selvsagt, men det duger.

 

Prisene er ikke helt hinsidige.

 

Jeg har ikke merket noe spesielt til CPU bruk på asus kortet, så jeg vil ikke tro at det skal bli noe problem.

PCIe 3.0 / x4, bør ikke by på noen problemer

Endret 24. juni 2019 av Uderzo

[Jorn-T]

Takker for info Uderzo! Jeg fant etterhvert disse etter mye søking på prisjakt m.m., innimellom alle Intel og HP kortene til 14000 kroner.

 

Har grublet endel på dette nå og ser for meg to alternativer:

 

1)

10 GbE NAS, QNAP 832, 6700,-

Asus 10 GbE, 1000,-

4x12 TB Seagate EXOS i RAID-5, 15300,-

20 meter cat 7 nettverkskabel direkte fra NAS til PC. Dropper switch foreløpig.

 

Ca 23500 for 36 GB kapasitet ca 750-1000 MB/sek utvidbart til 84/(72 med RAID 6). Må fjerne en M.2 disk som står i x16 spor i dag. Ingen plass til ytterligere M.2 for prosjekter.

 

2)

ASUS HyperX x16 for 4 x M.2 - 500,-

2 stk Intel 660p TB i RAID-0 til prosjekter, 4200,-

4 stk Seagate Exos 12 TB i RAID-5 internt i PC-kabinettet (må isåfall ta bort 4 av 5 eksisterende disker), samt en M.2 SSD som står i en Asus Hyper x4), 15300,-

 

Totalt 20000,- for 36 TB kapasitet samt 4 TB RAID 0 M.2 til prosjekter (3600 MB/sek), totalt 40 TB. Evt utvidelse senere gjennom USB 3.1, eSATA.

 

På kort sikt fremstår det siste alternativet som ganske så attraktivt, spørsmålet kommer vel om der var så smart når jeg en dag skal oppgradere PC'en eller de 36 TB er fylt opp ?

[Jorn-T]

Okei, siste dumme spørsmål før jeg bestemmer meg ?

 

Med mitt ASUS Z370-F og 8700K har jeg 16 PCI lanes, alle 16 er i dag brukt på et 1070 GTX.

 

Om jeg setter i et ASUS Hyper 16x vil dette også kreve 16 lanes. Alternativet blir da å dele, 8 lanes til Mr. Hyper og 8 til Ms. 1070 GTX. Om jeg forstår riktig vil jeg da kun kunne bruke 2 stk M.2 SSD på Hyper-kortet, og ikke fire? Altså 4 PCI lanes per M.2.

 

Hva om jeg i tillegg kjøper et 10 GbE nettverkskort, det er sikkert PCI 4x eller 8x? Er jeg sjakk matt da? Eller er det ledige lanes via chipsettet? Kan jeg ha begge deler? Både raskt nett og M.2-RAID ?

[siDDis]

Mulig du har allerede kjøpt, men eg ville kjøpt et Supermicro kabinett med en X9 hovedkort, og 2 stykk Intel 2650 v2 og fulle den opp med 256GB/384GB RAM. Det vil koste deg under 10000kr og gi deg en ellevill ytelse sammenlignet mot det du har idag.

 

Disse kabinettene er også veldig enkle å støydempe, men du må ha 920SQ PSU også som går for 75 USD

[siDDis]

Deleliste

 

Kabinett + HK ~ 3000kr

https://www.ebay.com/itm/Supermicro-6027R-CSE-826-X9DRI-LN4F-REV-1-20-Barebone-CTO-Server-w-2x-920w-PSU/142691431696?epid=1479296768&hash=item2139127510:g:PE8AAOSw~p1bq8qk

 

Disk trays ~ 300kr

https://www.ebay.com/itm/Lot-of-4-Supermicro-Hot-Swap-Hard-Drive-Caddy-Tray-w-Screws-SC93301/133012040476?hash=item1ef822ab1c:g:xnQAAOSwTGZcpP8D:sc:UPSGround!07036!US!-1

 

PSU ~ 500kr

https://www.ebay.com/itm/Supermicro-PWS-920P-SQ-Switching-Power-Supply-80-PLUS-PLATINUM/254267132425?hash=item3b33808a09:g:N4EAAOSwInJcw2LT

 

CPU: ~1000kr

https://www.ebay.com/itm/Intel-Xeon-Processor-CPU-E5-2650-v2-20M-Cache-2-60-GHz-8-Core-Used/133086607715?hash=item1efc947963:g:pO4AAOSw4e1dBBj1

 

RAM: ~4000kr

https://www.ebay.com/itm/Hynix-16GB-PC3-14900R-DDR3-1866MHz-ECC-RAM-HMT42GR7AFR4C-RD-Cisco/143310859641?hash=item215dfe2d79:g:Z38AAOSwEhNdFQ34

 

SAS Kontroller ~1000kr

https://www.ebay.com/itm/46C9115-IBM-ServeRAID-M1215-SAS-SATA-Controller-46C9115-l-RAID-0-1-10-Lenovo/254241459059?epid=905804711&hash=item3b31f8cb73:g:iVcAAOSwYRFc5yAQ

 

SAS kabler ~ 200kr

https://www.ebay.com/itm/Mini-SAS-HD-36Pin-SFF-8643-to-Mini-SAS-36pin-SFF-8087-Server-Raid-Data-Cable-1M/273913067676?hash=item3fc67db89c:g:OFwAAOSwX9FZOAqq

 

4Pin vifte resistor

https://www.ebay.com/itm/2-4Pin-Fan-noise-reduction-deceleration-line-resistor-cable-for-PC-cooling-fanP/323831854087?hash=item4b65e1f407%3Ag%3A8EEAAOSwVMFc8NmQ&LH_BIN=1

 

Frakt ~1500kr

Og MVA til slutt

 

Totalt ender du under 13000kr

Endret 4. juli 2019 av siDDis

[Jorn-T]

Siddis: Tenkte du at den skulle fungere som NAS eller som PC da? Har kjøpt noen dual xeon SuperMicro servere i jobbsammenheng, de var knakende gode og mye for pengene, men det var ikke så hyggelig å sitte på naborommet til serverrommet, da de støyet som de nye F-35 flyene ?

 

Til mitt bruk, dvs hovedsakelig RAW-filer og videofiler, med mest lesing, er det sekvensiell lesehastighet som er det viktigste, og denne begrenses nok av 10 GbE nettet som da blir flaskehalsen.

 

Kjøpte et Qnap 832X, 16 GB RAM, 10 GbE kort, putter diskene fra 5 × 8 TB Seagate Backup Hub i denne, med mulighet for å utvide til 8. 32 TB NAS med RAID 5.

 

Kjøpte også 4 x 10 TB WD Elements, og håper på å få med white label WD RED inni disse, som jeg plukker ut og setter internt i PC'en for 30 TB RAID 5 intern lagring.

 

Til slutt kjøpte jeg et ASUS Hyper x16 med to stk 2 TB Intel 660p til en 4 TB RAID-0 prosjektdisk.

 

Og en Intel I9-9900K ?

[Jorn-T]

En liten oppdatering:

 

Har fått utstyret i hus og noe ble veldig bra, andre ting sliter jeg virkelig med å få til..

De to 2 TB SSD'ene fungerer som bare det i RAID 0 på ASUS Hyper X16. Får ca 3850 MB/sek les og 3720 MB/sek skriv sekvensielt. Satte de opp med software RAID-0 i Windows, etter å ha trøblet litt med motherboard raid først.

 

QNAP 832X NAS'et ble en liten nedtur, da de to PCI-sporene ombord bare er PCI 2.0 x2 og x1 (!). Planen om å hive inn en 500 GB m.2 som cache og samtidig ha et 10 GbE nettkort med RJ-45 plugg i både NAS og PC, lot seg dermed ikke gjennomføre. Kjøpte istedet et billig nettkort på Ebay til PC'en, et HP NC552SFP 10Gb 2-port SFP+

Satte opp NAS'et med fire Seagate 8 TB i RAID-5 med M.2 cache i x2 slot'en.

 

Får det til å fungere tidvis med én nettverksport, men ikke stabilt... så enten er kortet defekt eller så er kablene (som jeg også kjøpte på Ebay) ikke til å stole på. Eller begge deler. Og siden det er et serverkort, så tar det flere minutter å boote forbi BIOS'en til nettkortet! :-O

Ga opp NAS'et litt for en stund.. Så jeg åpnet opp de fire 10 TB WD elements diskene, og det var white label WD RED som jeg håpte på, juhuuu! So far so good.

Meeen... Neste skuffelse ble da jeg etter litt plunder og hacking med 3-volt strømtilførselen fikk spunnet opp diskene og satt de opp i RAID-5 med Intel Rapid (?) Storage. Får elendig lesehastighet! Men skrivehastigheten.... den er så dårlig at jeg skjønner at noe må være satt opp feil.. Fikk bare 30-40 MB/sek!

 

I går startet jeg såkalt "initialization" på RAID'et for å se om det hjalp. Nå ligger hastigheten på 15 MB/sek, og "init" kommer til å ta rundt en uke. Er på 15% nå etter snart et døgn. Er dette normalt? Som jeg forstår det kommer Intel Rapid Storage til å kjøre en sånn "init" hver gang jeg skrur av PC'en med svenskeknappen... og det hender jo PC'en henger!

Er det noen her som har prøvd å sette opp RAID med Intel Rapid Storage? Og fått det til å fungere? Jeg kjører på et ASUS Z370-F...

Endret 10. august 2019 av Jorn-T

[Jorn-T]

Fortsatt problemer med humørsykt RAID 5 her på Intel Rapid Storage, ASUS Z370-F med i7 8700K.

4 x 10 TB WD RED (White label EMAZ disker), som yter 210 MB/sek individuelt.

 

Det har tatt en hel uke å kjøre Initialization av raidet. Under den prosessen lå skrivehastigheten på mellom 5-20 MB/sek. Etter init fikk jeg plutselig opp de hastighetene jeg hadde forventet, men stort sett bare på de syntetiske testene. Ca 600 MB/sek lesing og 400 MB/sek skriving.

 

I praksis derimot, er det helt lotto hvilken ytelse jeg får. Får ofte bare 30-40 MB/sek skrivehastighet, som er uakseptabelt - skal bruke RAID'et til redigering av store mengder 24 og 46 megapixel RAW-filer og rendring til 32-bit TIFF og ProRes 8k/4k video, samt real time scrubbing/redigering i Premiere Pro.

 

Flere ganger har jeg imidlertid opplevd 200-250 MB/sek kontinuerlig over lang tid, som er høyst akseptabelt og det nivået man forventer av RAID 5 med fire disker.

Jeg får innimellom 400 MB/sek kontinuerlig skrivehastighet ved kopiering av en samling svært store filer (10-15 GB per fil).

 

Men veldig ofte når jeg skal kopiere noe så kan farten like godt legge seg på 40 MB/sek. Det skjer gjerne når jeg skal kopiere store datamengder fra SSD, det virker nesten som at cachen går full, og når diskene ikke klarer å svelge unna, går skrivehatigheten ned til rundt 30-40 MB/sek kontinuerlig.

Leseytelsen er akseptabel, rundt 450-550MB/sek uansett filstørrelse. Hadde kanskje håpet på 630 MB/sek. Men her også faller ytelsen ofte ned til ned mot 50 MB/sek innimellom.

 

Skjønner ikke hvorfor ikke skriveytelsen holder seg stabilt på over 200 MB/sek?

Har det noe med filstørrelsen å gjøre? Filene som går så sakte, er gjerne JPEG-filer på rundt 5 MB.

[Nizzen]

Fortsatt problemer med humørsykt RAID 5 her på Intel Rapid Storage, ASUS Z370-F med i7 8700K.

4 x 10 TB WD RED (White label EMAZ disker), som yter 210 MB/sek individuelt.

 

Det har tatt en hel uke å kjøre Initialization av raidet. Under den prosessen lå skrivehastigheten på mellom 5-20 MB/sek. Etter init fikk jeg plutselig opp de hastighetene jeg hadde forventet, men stort sett bare på de syntetiske testene. Ca 600 MB/sek lesing og 400 MB/sek skriving.

 

I praksis derimot, er det helt lotto hvilken ytelse jeg får. Får ofte bare 30-40 MB/sek skrivehastighet, som er uakseptabelt - skal bruke RAID'et til redigering av store mengder 24 og 46 megapixel RAW-filer og rendring til 32-bit TIFF og ProRes 8k/4k video, samt real time scrubbing/redigering i Premiere Pro.

 

Flere ganger har jeg imidlertid opplevd 200-250 MB/sek kontinuerlig over lang tid, som er høyst akseptabelt og det nivået man forventer av RAID 5 med fire disker.

 

Jeg får innimellom 400 MB/sek kontinuerlig skrivehastighet ved kopiering av en samling svært store filer (10-15 GB per fil).

 

Men veldig ofte når jeg skal kopiere noe så kan farten like godt legge seg på 40 MB/sek. Det skjer gjerne når jeg skal kopiere store datamengder fra SSD, det virker nesten som at cachen går full, og når diskene ikke klarer å svelge unna, går skrivehatigheten ned til rundt 30-40 MB/sek kontinuerlig.

Leseytelsen er akseptabel, rundt 450-550MB/sek uansett filstørrelse. Hadde kanskje håpet på 630 MB/sek. Men her også faller ytelsen ofte ned til ned mot 50 MB/sek innimellom.

 

Skjønner ikke hvorfor ikke skriveytelsen holder seg stabilt på over 200 MB/sek?

 

Har det noe med filstørrelsen å gjøre? Filene som går så sakte, er gjerne JPEG-filer på rundt 5 MB.

 

Sånn går det når du går for en billig løsning

 

Egen kontroller, f.eks Areca eller Lsi hadde gjort livet mye bedre. Samt du kunne kjørt raid-6.

[Jorn-T]

Nizzen: Hvilke ytelser får du med fire disker i RAID 5 på en god kontroller da?

 

Problemet mitt er at jeg nå har brukt opp alle tre x8/x16 slots på hovedkortet. Skjermkort, ASUS Hyper X16 og et dual port 10 GbE kort til Qnap NAS (som forøvrig heller ikke fungerer optimalt ?)

 

Noen her som har fått det til med RAID 5 på Intel Rapid Storage?

 

En siste utvei er å teste med RAID 10, men da mister jeg 10 TB, og RAID'et vil være overfylt allerede, omtrent som et norsk veiprosjekt ?

 

En annen løsning er at jeg setter opp de to siste 8 TB diskene jeg har i RAID 0 som temp storage til TIFF filene som jeg rendrer ut(og som kan slettes etterpå). Da er det mest lesing fra RAID-5 arrayet, og permanent lagring av RAW-filer. Lesehastigheten var jo ok...

 

Jeg har nå ni 8 TB disker, fire 10 TB, og rundt ti-femten 4-5 TB. Men så lenge hverken det interne RAID-oppsettet eller NAS'et fungerer tilfredsstillende har jeg ikke plass til backup for å få testet alternative løsninger ?