4x16 TB RAID med M.2 SSD caching - hvordan får jeg det til?

[Jorn-T]

Hei!

Driver med timelapse-foto og har en PC med følgende specs til redigering:

Asus Z390-F hovedkort
Intel i9-9900K
64 GB RAM
4x16 Seagate IronWolf Pro disker i RAID-5, writeback cache (Intel RST), til statisk lagring
2x14 TB WD RED for temp filer (hundretusenvis av bilder + render til videoklipp i 4k/8k)
2x2 TB M.2 SSD i RAID-0 som prosjektdisk, på en ASUS Hyper M.2
1TB M.2 SSD til C:\
PCIx 10 Gbit nettkort inn mot backup NAS, 8x8 TB

Sliter veldig med ytelsen, og spesielt skriveytelsen når det er masse små filer involvert.
Har rundt én million bilder på 24-47 megapixel på RAID-5 arrayet. Disse ligger der "til evig tid", og lesing går kjapt, 600 MB/sek.
Skriving til temp disk er typisk 500 filer á 100 MB i slengen. Går ganske greit unna, siden det arrayet er RAID-0.

Problemet er at redigeringsprogrammene hele tiden skriver masse småfiler på rundt 10-500kb til RAID-5 arrayet, blir tusenvis av sånne små skriveoperasjoner for å redigere et timelapse-klipp på f.eks 500 bilder. RAID-5 arrayet er dessverre ekstremt dårlig på skriving. Får 50-100 MB/sek ved skriving av store filer, mens mange små filer er helt krise..

Har vurdert å kjøpe en egen RAID kontroller, men mangler PCIe slots på hovedkortet. (Kan evt fjerne 10 Gbit nettkortet)

Noen som vet om en god løsning på problemet? En sabla god RAID-5 kontroller?

Mvh
- Jørn 🙂

[Jorn-T]

[Mind The Gap]

Ser du benytter Intel Raid på hovedkortet, og det er i praksis et software RAID.
Før du eventuelt går til anskaffelse av et (hardware) RAID-kort, kan det være verdt å teste ut noen brytere i Windows.

 

Her er første.
Gå i "Device Manager", og sjekk Properties for aktuell disk(er).
Det er mulig at RAID'et vises som én disk, husker ikke, siden det er lenge siden jeg har benyttet software RAID.

Er alle brytere for cache påslått?

EDIT
Den nederste som jeg har ringet rundt kan også gjerne være påslått, men du bør har en UPS, som holder liv i maskinen de første sekundene ved et eventuelt strømbrudd.
Dette er en grunnregel, uansett RAID-løsning.

 

 

 

 

Endret 21. januar 2022 av Mind The Gap

[vidor]

Høres ut som du burde bruke Raid 10 (også navngitt 01 hos enkelte). Dette er to Raid 0 som er speilet. Resultatet er at du får skriveytelse som passer behovet ditt mye bedre. Du mister en god del lagringskapasitet, men løsningen fungerer *mye* bedre i praksis med det du har behov for.

Har f.eks satt opp kommersielle databaseløsninger i Raid 10, så det burde også fungere for deg.

Endret 21. januar 2022 av vidor

[Jorn-T]

Har ikke nok SATA porter, eller brønner i kabinettet til å ha så mange disker som RAID 10 krever. Kjøpte et par små PCIe x1 kort med to porter hver, men nå er det stappfullt av både disker og kort.

Har allerede 80% fullt på 4x16 TB, med RAID 10 måtte jeg vel hatt minimum 6x18 TB og da begynner det å bli kostbart... Tenkte om det fantes en løsning for SSD caching hvor jeg slipper kjøpe nytt hovedkort, prosessor, RAM, kabinett osv

[vidor]

Skjønner. 

Edit: Ser ut til at det under er utdatert ... 

Mulig du kan dra nytte av disse;

https://www.pcworld.com/article/473939/how_to_setup_intel_smart_response_ssd_caching_technology.html

 

Endret 21. januar 2022 av vidor

[NoBo]

Jorn-T skrev (7 timer siden):

Problemet er at redigeringsprogrammene hele tiden skriver masse småfiler på rundt 10-500kb til RAID-5 arrayet, blir tusenvis av sånne små skriveoperasjoner

Har du sjekket om det er mulig å endre hvor programmene skriver temporære filer? Altså endre fra snurredisk til SSD? Hvis ikke via programmenes innstillinger, kanskje en såkalt Environment variabel eller registry setting?

Hvis ikke det er mulig å endre via forslagene over og du vet hvilken mappe de temporære filene skrives til, kan du forsøke å lage en såkalt ‘directory hard link’ (en ‘peker’) med det innebygde Windows verktøyet MKLINK. Programmet vil da tro at Temp-mappen ligger på samme sted mens du da (med MKLINK)  har gjort så Temp-mappen på Ironwolf RAID5 peker til en mappe på SSD. Du vil da få SSD-ytelse på de temporære småfilene.

[ilpostino]

Jorn-T skrev (På 21.1.2022 den 19.30):

Tenkte om det fantes en løsning for SSD caching hvor jeg slipper kjøpe nytt hovedkort, prosessor, RAM, kabinett osv

Du kan ha et par SSD-disker og bruke de til caching. Jeg bruker selv PS og LR og i begge kan man stille inn hva som skal brukes til caching / scratch disk. Subsidiært kan du bruke M2-dis(er) da mange av disse har mye raskere hastighet for les/skriv enn SSD.

Alternativt kan du sette opp en dedikert SAN som kobles opp til datamaskinen din med InfiniBand eller optisk kabel men som TS er inne på kan dette fort koste penger. 

[ali q]

Det er mye rot i denne tråden. M.2 kan benyttes til både SATA (mSATA), ren PCI og NVMe. Ingen steder har trådstarter nevnt om M.2 diskene han benytter er mSATA, PCI eller NVMe (og hastighetsforskjellene er enorme). I tillegg ser det ut som at folk ikke forstår hva SSD betyr en gang..

ilpostino skrev (18 timer siden):

Subsidiært kan du bruke M2-dis(er) da mange av disse har mye raskere hastighet for les/skriv enn SSD.

...

[ilpostino]

Du burde gå på grunnskolen og lære deg norsk hvis du ikke skjønner hva folk mener. Når det nevnes M2-disker som er raskere enn vanlig SSD burde det være ganske opplagt det er  NVMe det menes.

[Jorn-T]

vidor skrev (På 21.1.2022 den 20.50):

Skjønner. 

Edit: Ser ut til at det under er utdatert ... 

Mulig du kan dra nytte av disse;

https://www.pcworld.com/article/473939/how_to_setup_intel_smart_response_ssd_caching_technology.html

 

Er noe sånt jeg har vært på utkikk etter. Har ingen "accellerate" mulighet på min Intel RST versjon, men mener jeg prøvde en eldre versjon, som dessverre bare støttet små og svindyre Intel Optane moduler..

De raskeste M.2 SSD'ene jeg har er Samsung EVO 970 EVO something, 3500 MB/sek eller deromkring.
Har 2 x 500 GB, 1 x 1TB av disse.

Har også 2 x 2 TB intel M.2 med noe lavere ytelse, 1800 MB/sek kanskje, men disse har jeg i RAID-0 så får makset ut PCIe 3.0 med disse også.

Det er hovedsakelig hovedkortet som blir flaskehalsen, da jeg ikke har flere m.2 slots, PCIe slots eller SATA slots tilgjengelig. Må disable en

Får prøve litt til, men er litt redd for at RAID-5 arrayet plutselig finner ut at det skal formaters

[Jorn-T]

ilpostino skrev (På 2.2.2022 den 13.28):

Du kan ha et par SSD-disker og bruke de til caching. Jeg bruker selv PS og LR og i begge kan man stille inn hva som skal brukes til caching / scratch disk. Subsidiært kan du bruke M2-dis(er) da mange av disse har mye raskere hastighet for les/skriv enn SSD.

Alternativt kan du sette opp en dedikert SAN som kobles opp til datamaskinen din med InfiniBand eller optisk kabel men som TS er inne på kan dette fort koste penger. 

Smart å sette opp M2 til caching ja, mener jeg gjorde det, men har jo fått nye versjoner av LR og PS hele tiden, så skal dobbeltsjekke settings. Hovedproblemet er at programmet jeg bruker til timelapse, LRTimelapse, skriver titusenvis av småfiler til RAID-5 arrayet. Har spurt utvikleren av programmet om han kunne legge til mulighet for å bruke SSD som scratch disk men det gikk visst ikke.

Har delvis bøtet på problemet med å flytte hele prosjekter ut på 2x2 M.2 arrayet, for så å flytte tilbake når alt er ferdig redigert, men siden jeg må ha alt oppe i Lightroom catalogen, blir det mye fram og tilbake og timesvis med kopiering av filer hit og dit.. Og ofte blir 4 TB for lite 😕

Endret 4. februar 2022 av Jorn-T

[Thor.]

Mulig jeg er på tynn is nå, men kan det hende Primocache kan være løsningen? Den cacher filer som leses og skrives. Du kan cache til ram eller SSD,  og du har en funksjon som heter defer-write som venter med å skrive filene som er cachet til ønsket kriterie er nådd. For eksempel skriv data etter x antall sekunder.

Den er uansett gratis i 30 dager så du taper ikke på å prøve. Husk at slike løsninger er følsomme for strømstans, systemkræsj og lignende og at du da kan risikere å tape data.

[vidor]

7 hours ago, Jorn-T said:

Er noe sånt jeg har vært på utkikk etter. Har ingen "accellerate" mulighet på min Intel RST versjon, men mener jeg prøvde en eldre versjon, som dessverre bare støttet små og svindyre Intel Optane moduler..

De raskeste M.2 SSD'ene jeg har er Samsung EVO 970 EVO something, 3500 MB/sek eller deromkring.
Har 2 x 500 GB, 1 x 1TB av disse.

Har også 2 x 2 TB intel M.2 med noe lavere ytelse, 1800 MB/sek kanskje, men disse har jeg i RAID-0 så får makset ut PCIe 3.0 med disse også.

Det er hovedsakelig hovedkortet som blir flaskehalsen, da jeg ikke har flere m.2 slots, PCIe slots eller SATA slots tilgjengelig. Må disable en

Får prøve litt til, men er litt redd for at RAID-5 arrayet plutselig finner ut at det skal formaters

Høres litt snålt ut at noen småfiler skal degradere skriveytelsen din så mye når du kjører på det oppsettet. Høres mer ut som en bug som burde gå vekk når man oppdaterer software. Jeg ville ventet litt med å dumpe Raid-5 løsningen til alt annet er utprøvd. Se f.eks om du finner noe grums i logfilene dine som kan gi noen hint om hva som skjer.

Du får heller ikke 3500 mb/s på f.eks 980-serien med mindre man tweaker innstillinger for max ytelse. Regner med det samme gjelder or 970. Dette har dog neppe så mye å si på det du opplever, men kan jo prøves.

Kan jo være at du har for få PCIe-lanes i prosessoren din og at den derfor ikke kan maxe ut arrayet alltid. Ikke det at det skulle bety så mye ytelsestap, men verdt å grave litt i.

[vidor]

7 hours ago, Jorn-T said:

... Og ofte blir 4 TB for lite 😕

Har god erfaring med disse når en må flytte og styre med masse tunge filer.

https://www.netonnet.no/search?query=intenso+harddisk