Arbeidsstasjon for maskinlæring, budsjett ca 60k

[Steinbiten]

Jobben min skal nå gå til innkjøp av en ny arbeidsstasjon og primære bruksområder er maskinlæring, data analyse og simuleringer som krever svært høy beregningskraft. Budsjett er på ca. 60k, og budsjettet er litt tøyelig dersom det må økes for å unngå potensielle flaskehalser. Maskinen skal ikke overklokkes, og skal være AMD basert pga 32 kjerners Threadripper2 ser meget lekker ut. Den skal også være plassert i et åpent kontorlandskap, så det er litt viktig at den ikke bråker like mye som en jetmotor. Jeg planlegger å bygge den selv (Finnes det selskap i Norge som tilbyr bygging?), og har satt opp et eksempeloppsett:

 

Specs:

• Kabinett: Be Quiet! Dark Base Pro 900 rev. 2
• Hovedkort: MSI MEG X399 Creation
• Prosessor: AMD Ryzen Threadripper 2990WX
• CPU Kjøler: Arctic Freezer 33 TR
• Skjermkort: MSI GeForce RTX 2080 Ti Gaming X Trio HDMI 3xDP 11GB
• Minne: G.Skill Trident Z Black/White DDR4 3200MHz 8x16GB
• SSD: Samsung 970 EVO Series MZ-V7E1T0BW 1TB
• Strømforsyning: EVGA SuperNOVA T2 1600W

Prisjakt link til komponenter: https://www.prisjakt.no/list.php?l=456959

 

Kommentarer til oppsett:

Hovedkort har jeg valgt på bakgrunn av at jeg ønsker å oppgradere med flere GPU'er etterhvert ved behov. Skjermkortet valgte jeg på bakgrunn av at det har 11GB minne. Strømforsyningen har jeg valgt pga den har Titan 80-plus-sertifisering og den gir nok strøm til å støtte opptil 4x 2080TI kort.

 

Par spørsmål rundt oppsett:

• Er det noen komponenter jeg bør bytte ut? Noe jeg mangler? F.eks CPU paste eller følger dette med CPU kjøler?
• Jeg beregnet strømforbruk fra https://outervision.com/b/INSlnf Er det nok med rundt 100W buffer på strøm, eller bør jeg kjøpe en større strømforsyning?
• Minne er jeg litt usikker på. Ønsker 128gb RAM som er max på HK. Vil det være markante ytelsesforbedringer ved å velge f.eks 4x32GB brikker eller kjøpe noen andre med forskjellige frekvens/CAS latency?

Endret 12. september 2018 av Steinbiten

[nilsch]

Er det  ikke bedre å gå for RTX 2080Ti eller RTX 2080 istedet for GTX 1080Ti? De skal være opptil dobbel så rask for neural networks (hvis man skal tro på NVIDIAs markedsføring).

 

http://timdettmers.com/2018/08/21/which-gpu-for-deep-learning/

Endret 12. september 2018 av nilsch

[Steinbiten]

Er det  ikke bedre å gå for RTX 2080Ti eller RTX 2080 istedet for GTX 1080Ti? De skal være opptil dobbel så rask for neural networks (hvis man skal tro på NVIDIAs markedsføring).

 

http://timdettmers.com/2018/08/21/which-gpu-for-deep-learning/

 

Godt poeng, takk! Jeg ser at prisdifferansen er på rundt 3000 kroner, det er innenfor budsjett og gjør det enklere å oppgradere senere. Oppdaterer egen post med nytt kort.

[Frank Drebin]

Finnes det selskap i Norge som tilbyr bygging?

Hvor i landet holder du til? Hvis det er i Stavanger-området så kan jeg anbefale Hjelseth Computers som vi bruker på jobb, de bygger maskinene slik vi ønsker de.

[Steinbiten]

Hvor i landet holder du til? Hvis det er i Stavanger-området så kan jeg anbefale Hjelseth Computers som vi bruker på jobb, de bygger maskinene slik vi ønsker de.

 

Holder til i Trondheim, så jeg tror Hjelseth er litt langt unna dessverre. Ellers hadde vi vurdert de.

[LMH1]

https://www.nidarosdata.no/systemconfigurator.aspx?q=st:10501562#56-9101977-1;61-5532076-1;62-9247766-1;50-9717507-1;51-9557960-1;52-9651156-1;53-7319484-1;54-10501832-1

[Steinbiten]

https://www.nidarosdata.no/systemconfigurator.aspx?q=st:10501562#56-9101977-1;61-5532076-1;62-9247766-1;50-9717507-1;51-9557960-1;52-9651156-1;53-7319484-1;54-10501832-1

Takk for tips, men linken du ga er en intel basert arbeidsstasjon, og i9 er vesentlig mindre kraftig enn threadripper2. Jeg så at de hadde AMD baserte arbeidsstasjoner, men det er kun første generasjon threadripper. Ser ut som det ender opp med at jeg bygger den selv.

[Nizzen]

Gå inn til Nidaros data i Trondheim og snakk med Rolf. Han er den mest kunnskapsrike på hardware i Trondheim

 

Han fikser det du trenger

Endret 14. september 2018 av Nizzen

[Rasjonelt]

Her bør egen hardware vurderes opp mot hva man kan leie etter behov.

 

https://www.paperspace.com/

[NoBo]

Ser at 2990WX ikke skinner ved alle typer oppgaver man måtte kaste på den Går ut fra at du har funnet at de oppgavene du skal bruke den til er der hvor den gjør det best?

 

With the new processors, we have the situation on the right, where only some cores are directly attached to memory, and others are not. In order to go from one of these cores to main memory, it requires an extra hop, which adds latency. When all the cores are requesting access, this causes congestion.

In order to take the full advantage of this setup, the workload has to be memory light. In workloads such as particle movement, ray-tracing, scene rendering, and decompression, having all 32-cores shine a light means that we set new records in these benchmarks.

 

In true Janus style, for other workloads that are historically scale with cores, such as physics, transcoding, and compression, the bi-modal core caused significant performance regression. Ultimately, there seems to be almost no middle ground here – either the workload scales well, or it sits towards the back of our high-end testing pack.

 

Kilde: Test av 2990WX og 2950X Hos Anandtech.

Samme konklusjon hos Toms Hardware.

 

Har du/firmaet ditt vurdert om det finnes en skytjeneste som passer formålet? Dvs. kjøre utregningene i skyen.

 

Leasing av ferdigbygget (type HP, Dell, Lenovo etc.)?

[Gjest]

Hvorfor velge GeForce GPU? Quadro er beregnet til det formålet du vil ha det til...

[Nizzen]

Jeg beregnet strømforbruk fra https://outervision.com/b/INSlnf Er det nok med rundt 100W buffer på strøm, eller bør jeg kjøpe en større strømforsyning?

 

 

Hvis du skal ha 4x 2080ti en gang og 32 core, så ville jeg valgt 2x psu. Selv har jeg 2x psu i både serveren og hovedpc. Kjørte 3x titan overklokket og cpu overklokket. Da er det kjekt å ha nok strøm, ikkje minst å ha så mye overhead, at psu ikkje bråker. 2x 1300w  i den ene og 2x 1200w i den andre.

 

 

Ikke for å virke noe Intel fanboy, men jeg tror du vil få bedre generell ytelse med 7980xe i forhold til 32core AMD. MYE høyere ytelse per kjerne og mye raskere minne, kan ha en del å si i krevende programmer. Skal gjerne like å vite hvilket program som kjører bedre på 32 core AMD VS 7980xe med f.eks 4000mhz minne.

 

Kan jo fortelle at jeg selv har 16core threadripper i serveren, og ytelsen er ikkje dårlig. Det kommer liksom ann på hva man skal bruke det til.

[nilsch]

Hvorfor velge GeForce GPU? Quadro er beregnet til det formålet du vil ha det til...

Quadro kort gir ikke noe ekstra for machine learning, dobbel presisjon er ikke viktig for neural networks algoritmer. Quadro er vel først og fremst for CAD. 

 

For ikke å snakke om att hele budsjettet ryker på ett kort...

[Nizzen]

Første bud er å finne ut av hva programmene skalerer godt med i henhold til hardware.

 

Bruker de cuda, liker de max 16 tråder, er ytelse per core viktigere, minnebåndbredde og mengde ram som skal brukes etc...

 

Verdt å tenke på at TR ikke kan kjøre mye minne på høy hastighet. Dette vil isåfall bli flaskehals om flere skjermkort skal brukes samtidig. En grunn forbat Amd Epyc bruker 8 (2400- 2666mhz )kanaler minne. Dette gir ca lik minnebåndbredde som x299 med 4 kanaler minne med 4000mhz minne.

[nilsch]

+1

En annen grunn til å vurdere Intel er at mye av den eksisterende softwaren for deep learning er optimert for Intel.

[Steinbiten]

Gå inn til Nidaros data i Trondheim og snakk med Rolf. Han er den mest kunnskapsrike på hardware i Trondheim

 

Han fikser det du trenger

Takk for tips, mulig jeg tar meg en tur innom Nidaros data

 

Ser at 2990WX ikke skinner ved alle typer oppgaver man måtte kaste på den Går ut fra at du har funnet at de oppgavene du skal bruke den til er der hvor den gjør det best?

 

Kilde: Test av 2990WX og 2950X Hos Anandtech.

 

Samme konklusjon hos Toms Hardware.

 

Har du/firmaet ditt vurdert om det finnes en skytjeneste som passer formålet? Dvs. kjøre utregningene i skyen.

 

Leasing av ferdigbygget (type HP, Dell, Lenovo etc.)?

 

Vi jobber ofte med analyse/prosessering av data som er i størrelsesorden opp mot 100gb, så vi trenger en dedikert arbeidsstasjon som takler denne mengden data. Når vi skal trene opp endelig ML modell vil det trolig gå fortere å kjøre dette eksternt hos amazon eller tilsvarende ja, men vi ønsker å ha mulighet til å teste/optimalisere mange ML modeller "offline" på en effektiv måte, det er litt av grunnen til at vi ønsker å investere i en såpass kraftig pc. Vi ønsker å eie PC selv pga det er konfidensielle data vi behandler, så å lease er ikke aktuelt. Det gjør ting enklere når vi eier selv   

 

 

Hvis du skal ha 4x 2080ti en gang og 32 core, så ville jeg valgt 2x psu. Selv har jeg 2x psu i både serveren og hovedpc. Kjørte 3x titan overklokket og cpu overklokket. Da er det kjekt å ha nok strøm, ikkje minst å ha så mye overhead, at psu ikkje bråker. 2x 1300w  i den ene og 2x 1200w i den andre.

 

 

Ikke for å virke noe Intel fanboy, men jeg tror du vil få bedre generell ytelse med 7980xe i forhold til 32core AMD. MYE høyere ytelse per kjerne og mye raskere minne, kan ha en del å si i krevende programmer. Skal gjerne like å vite hvilket program som kjører bedre på 32 core AMD VS 7980xe med f.eks 4000mhz minne.

 

Kan jo fortelle at jeg selv har 16core threadripper i serveren, og ytelsen er ikkje dårlig. Det kommer liksom ann på hva man skal bruke det til.

 

 

Takk for tips angående 2x PSU. Enig med deg at dette er nok smartere for å unngå at en PSU blir kjørt på tilnærmet 100% hele tiden. Jeg skal sjekke ut et alternativt build med annen case som støtter 2x PSU. Da kan vi kjøpe 1x PSU nå og hive på en ekstra når vi oppgraderer med flere skjermkort.

Vi bruker hovedsaklig Python/R/C++ for å prosessere/analysere data, så vi har mulighet til å optimalisere koden opp mot 32 kjerner. Forsåvidt enig med deg at mye software er (foreløpig) optimalisert for intel, men siden vi kan selv styre alt som skjer i bakgrunnen tror jeg 32 kjerner er bedre for det vi skal gjøre.