Hardware til ny server

[ilpostino]

Jeg har hatt lenge planer om å sette sammen en ny server. Da jeg bygget ny maskin for et års tid siden ble den gamle datamaskinen min "nedgradert" til server. Den brukes i dag som filserver og Pplex og jeg har innsett at maskinvaren i den begynner å bli litt svak, spesielt for Plex. jeg har derfor begynt å se på nytt mulig oppsett for server. 

Jeg har brukt ebay for å se etter CPU da det er greit sted for å se etter brukte prosessorer. Harddisk og RAM blir kjøpt nytt fra norsk butikk, muligens hovedkort hvis jeg finner tilsvarende hos norske nettbutikker. 

• Hovedkort: X99 Motherboard ES QS V3 V4 i7 SUPPORT LGA-2011-3 M.2 CPU DDR4 XEON E5
• Prosessor: Intel Xeon E5 2650L V4
• RAID-kontroller: Areca ARC-1882X
• Harddisk: 4x WD Red 10TB 3.5" NAS som settes opp i RAID 6. Jeg har per i dag cirka 7TB data så tar i litt her for å ha for fremtidig bruk. 
• RAM: her finner jeg noe kompatibelt med HK.
• Kabinett: Jeg har et Fractal Design Define R4 som jeg vurderer å gjenbruke men ser på mulighetene for et nytt kabinett med bedre mulighet for luftkjøling - spesielt av harddiskene. 
• PSU: Jeg har en EVGA SuperNOVA 750 G2, 750W PSU som jeg kjøpte for cirka 3 år siden som jeg vurderer å ta med videre.
• Harddisk: Kanskje en liten (120-200GB-ish) M.2 til OS (Windows server 2019 Hyper-V, fortrinnsvis core-versjon). en eller flere vanlige SSD-disker blir brukt til å lagre VM'ene som jeg skal ha på den. Det blir en egen VM til Plex (med Pass-through til et skjermkort for transkoding av videoer) og en til F@h. Andre server og klient OS blir også installert for tesing og litt sånn.
• Serveren får enten et 1070 eller et Quadro skjermkort.

Ser det greit ut?

 

Endret 1. februar 2020 av ilpostino

[mobile999]

Hvorfor har du valgt E5-2650L V4 og ikke Ryzen 3900X?

Hvorfor ønsker du Windows Server 2019 og ikke unraid?

[TheKims]

mobile999 skrev (4 minutter siden):

Hvorfor har du valgt E5-2650L V4 og ikke Ryzen 3900X?

Hvorfor ønsker du Windows Server 2019 og ikke unraid?

E5 koster 1/5 del av hva Ryzen 3900X koster så antageligvis derfor. 

[mobile999]

TheKims skrev (3 minutter siden):

E5 koster 1/5 del av hva Ryzen 3900X koster så antageligvis derfor. 

Som ES-prosessor?

[0laf]

Man får vel en brukt Xeon E5-2650L for rundt tusenlappen nå, mens Ryzen 3900X koster 5600,- hos komplett.
ES-prosessorer (jeg antar du mener førproduksjon som sendes ut til produsenter for testing) kan funke fint, men det er en del som har hatt problemer med de, jeg ville vært ytterst forsiktig med å kjøpe en sånn for en server jeg hadde forventninger til, selv om de er billige.

I og med at det er en server, så er trolig ikke klokkehastighet det viktigste, men antall tråder og annet, så det er nok ikke så veldig mye bedre ytelse med en Ryzen, i hvert fall ikke i forhold til prisen.

Den virkelige fordelen, er selvfølgelig at Xeon støtter ECC-minne, noe Ryzen ikke gjør, og trådstarter bør definitivt vurdere å kjøpe ECC-minne til den maskinen.

Det er kanskje ikke så kritisk under Windows, aner ikke, bruker ikke Windows, men dersom man bestemmer seg for å kjøre FreeNAS, UnRaid e.l. i fremtiden, som de fleste andre ville gjort, så er det greit med ECC-minne.

Når det kommer til hovedkortet så ser det ut som noe no-name crap greier, men aner ikke hva det er?
Personlig ville jeg heller sett etter et brukt Supermicro-hovedkort, enn det som er lenket til.

M.2 disk har vanligvis heller ikke noe for seg i en NAS, det hadde holdt lenge med en vanlig disk, eventuelt en SSD eller SataDOM for bedre pålitelighet, men det er ingenting i veien for å bruke en M.2, men som NAS vil du neppe få utnyttet hastigheten i disken uansett.

 

Endret 29. januar 2020 av 0laf

[Nimrad]

0laf skrev (31 minutter siden):

men dersom man bestemmer seg for å kjøre FreeNAS, UnRaid e.l. i fremtiden, som de fleste andre ville gjort, så er det greit med ECC-minne.

Det skader jo ikke, men til Plex og små VM-er vil jeg påstå det ikke er vits. ECC er til mission critical tasks. Hadde du stilt spørsmålet i unraid-miljøet hadde du stort sett fått "...meeh, ikke vits"-svar.

0laf skrev (31 minutter siden):

M.2 disk har vanligvis heller ikke noe for seg i en NAS, det hadde holdt lenge med en vanlig disk, eventuelt en SSD eller SataDOM for bedre pålitelighet, men det er ingenting i veien for å bruke en M.2, men som NAS vil du neppe få utnyttet hastigheten i disken uansett.

Enig forsåvidt, men grunnen til at jeg har m.2-disk i min er rett og slett for å ikke bruke opp SATA-porter; både fysisk i kabinettet og antall tilkoblinger.

ilpostino skrev (1 time siden):

Kabinett: Jeg har et Fractal Design Define R4 som jeg vurderer å gjenbruke men ser på mulighetene for et nytt kabinett med bedre mulighet for luftkjøling - spesielt av harddiskene. 

Jeg har R3 og har aldri sett HDD-ene over 35*. Vil tro det er mer enn godt nok enn så lenge.

ilpostino skrev (1 time siden):

Harddisk: 4x WD Red 10TB 3.5" NAS som settes opp i RAID 6. Jeg har per i dag cirka 7TB data så tar i litt her for å ha for fremtidig bruk. 

Jeg ville heller kjøpt WD Elements, åpnet den opp og tatt ut disken som er inni. Her får du 12TB på tilbud/januarsalg for 2800. Det er ganske standard praksis i hjemmeservermiljøet å åpne eksterne disker. Inni disse er det såkalte White Label Red som er mer eller mindre tilsvarende WD RED disker.

 

Ellers må jeg også spørre som mobile999. Hvorfor ikke unraid? Superbra til Plex (evt radarr/sonarr osv. også) og VMs. Har kjørt det i et par måneder nå og er strålende fornøyd. Kjører hass.io, ubuntu og windows server VMs pluss haugevis av dockers, men brukes hovedsakelig til Plex-lagring og backup. Med unraid kan du også veldig enkelt bygge ut RAID-arrayet ditt med nye HDD-er i etterkant med å bare slenge inn nye disker når du føler for det.

Endret 29. januar 2020 av Nimrad

[mobile999]

0laf skrev (47 minutter siden):

Man får vel en brukt Xeon E5-2650L for rundt tusenlappen nå

Jeg så først nå at ts linker til en 2650L v4 i ES versjon. For å få 2650L for rundt tusenlappen så må man vel gå for første versjon eller v2?

Endret 29. januar 2020 av mobile999

[0laf]

mobile999 skrev (32 minutter siden):

Jeg så først nå at ts linker til en 2650L v4 i ES versjon.

Så heller ikke det.
V4 er selvfølgelig mye dyrere, koster gjerne mer brukt, enn en ny Ryzen.
Mener V4'en kostet 10-12k nye, men prisen for brukt V4 blir jo da ganske lik som ny Ryzen.

Da bør man nok se veldig nærme på specs, det er to prosessorer som gjør litt forskjellige ting, og sikkert passer best til forskjellige oppgaver?

Xeon har igjen støtte for ECC, Hyperthreading, flere tråder, mer minne, strømsparing (frequency scaling) og noen andre ting, mens Ryzen er raskere, med høyere klokkehastighet.

[Gjest Sletttet+98134]

Jeg ville nok heller gått for RAID1+0 på fire disker i stedet for RAID6.

[mobile999]

0laf skrev (2 timer siden):

Den virkelige fordelen, er selvfølgelig at Xeon støtter ECC-minne, noe Ryzen ikke gjør

 

0laf skrev (1 time siden):

Xeon har igjen støtte for ECC, Hyperthreading, flere tråder, mer minne, og sikkert passer best til forskjellige oppgaver?

Så vidt jeg forstår så støtter (f.eks) Ryzen 3900X, 3700X, 3600X, 3600 ECC-minne. Det skal være mulig med maks 128GB minne, så hvis man har behov for mer minne enn dette så må man ha en annen prosessor.

Jeg har vanskelig for å se at en 3900X (12 kjerner/ 24tråder) ikke vil være godt egnet til en hjemmeserver så lenge man ikke har behov for mer minne og flere pci-lanes enn det som er mulig. 

Endret 29. januar 2020 av mobile999

[ilpostino]

mobile999 skrev (5 timer siden):

Hvorfor har du valgt E5-2650L V4 og ikke Ryzen 3900X?

Hvorfor ønsker du Windows Server 2019 og ikke unraid?

Jeg har lisenser til alt av Microsoft og VMware vSphere via Microsoft Imagine (som det het en gang i tiden. Husker ikke lenger hva den nye versjon heter) så utgifter til lisens er ikke et tema, i alle fall denne gangen. Ettersom det er de to plattformene jeg har vært borte i via jobbene jeg har hatt ser jeg for meg at jeg kan få mer gjensidig utbytte av å bruke en av disse. 

mobile999 skrev (5 timer siden):

Som ES-prosessor?

Jeg har hoppet bukk over ES-prosessorer på eBay og trodde jeg hadde funnet en som ikke var det så jeg var tydeligvis litt rask til å se på specsene. 

Nimrad skrev (4 timer siden):

Det skader jo ikke, men til Plex og små VM-er vil jeg påstå det ikke er vits. ECC er til mission critical tasks. Hadde du stilt spørsmålet i unraid-miljøet hadde du stort sett fått "...meeh, ikke vits"-svar.

Enig forsåvidt, men grunnen til at jeg har m.2-disk i min er rett og slett for å ikke bruke opp SATA-porter; både fysisk i kabinettet og antall tilkoblinger.

Jeg har R3 og har aldri sett HDD-ene over 35*. Vil tro det er mer enn godt nok enn så lenge.

Jeg ville heller kjøpt WD Elements, åpnet den opp og tatt ut disken som er inni. Her får du 12TB på tilbud/januarsalg for 2800. Det er ganske standard praksis i hjemmeservermiljøet å åpne eksterne disker. Inni disse er det såkalte White Label Red som er mer eller mindre tilsvarende WD RED disker.

Jeg er usikker på om jeg kommer til å gå for ECC ut ifra kost / nytte. Som du er inne på er ikke det jeg har _så_ virksomhetskritisk.

Når det gjelder M-2-disk er dette for å fjerne et element som kan være i veien for luftgjennomstrømningen i kabinettet. Det er kanskje overkill ut ifra hva et slikt system OS faktisk _må_ ha men i mtt litt sære sinn så har en slik systemdisk også noen fordeler. 

Takk for tips på kabinett og kjøp av disker. 

 

[Gjest Sletttet+98134]

Temp på spinnedisker er sjeldent et problem på et hjemmenas. På sommerhalvåret er mine disker oppe i 40-45 grader og som du ser er det null stress.

[ilpostino]

En ring jeg glemte å svare ut isted var Xeon vs Ryzen. Jeg ser for meg Xeon kan a mer throughput av data enn Ryzen uten at jeg sammenlignet i nevneverdig grad. Videre har man HT som jeg kan tenke meg.

[ilpostino]

Forhåpentligvis passer dette bedre: 

• ASUS SABERTOOTH X79, LGA 2011
• Intel Xeon E5-2680 V2 2.8GHz 10 Core

[Gjest Sletttet+98134]

Gå for en cpu som støtter quick sync så får du hw transcode i plex.

[ilpostino]

 

Fleskefjeset skrev (12 minutter siden):

Gå for en cpu som støtter quick sync så får du hw transcode i plex.

Men hvor viktig er det hvis man feks har et 1070 i den maskinen?

[Gjest Sletttet+98134]

ilpostino skrev (1 minutt siden):

 

Men hvor viktig er det hvis man feks har et 1070 i den maskinen?

Vet ikke om det er gjort noen endringer her, men for en tid tilbake var du avhengig av at cpuen hadde quick sync om du skulle bruke ekstern gpu til xcode. Har ikke lest noe om temaet på lenge, så mulig det er endret nå.

Litt avhengig av hvor mange samtidig streams du har så er det kanskje ikke så farlig. Jeg stanget i taket cpu-messig på plex da jeg kjørte det på en vm (12vcpu) med doble 2695 v2. På en enkel i7 6700 med quick sync så har jeg hatt 18 streams samtidig uten å gå i taket. 

[ilpostino]

Så da er jeg stuck med prosessor fra Intel med innebygget iGPU virker det som. 

[0laf]

Du kan uansett ikke bruke hardware-encoding i Docker eller VM.

[ilpostino]

VT-d gira jo passthrough til hardwaren på hostmaskinen?