Dual Xeon Folding WS

[AnaXyd]

Dual Xeon Folding WS

~ En workstation som hovedsakelig er ment til å folde for F@H, som skal bygges pent og oversiktelig. Kanskje vi aner et snev av vannkjøling her også?

 

# Prolog

Interessen for folding startet for noen år siden, da folding var på sin topp. Det å kunne bidra med ressurser direkte til forskning, er en god ting. Jeg har tidligere foldet en del, både med PS3 og forskjellige maskiner, men poengene var relativt små og stusselige.

 

Interessen kom sterkt tilbake nå som jeg har en dedikert server stående, som streamer film rundt i huset og monitorer nettverket her. Den står jo som regel å idler, så jeg bestemte meg for å installere en folding klient på den, slik at den har noe å jobbe med hele døgnet.

 

Jeg har tidligere hatt noen arbeidslogger her på forumet, men nå føler jeg at jeg må virkelig komme med en fullverdig arbeidslogg i motsetning de halvferdige prosjektene jeg har bidratt med før.

 

# Bidrag

Så kom behovet for å kunne bidra med mer poeng til forskning. Det var kjedelig å se streamingserveren komme med rundt 13k PPD hver dag, så søken etter en mye større poengsum begynte.

 

Det er mange heftige folderigger der ute, som inneholder flere CPUer og er relativt dyre. Jeg bestemte meg for å skru sammen en folderigg til en rimelig penge, da jeg alltid har vært opptatt av å få mest mulig for pengene.

 

# Mål

Mitt mål er å nå 150k PPD. Det vil altså si, 150.000 PPD, hvor jeg idag bare har 13.000 PPD på den første serveren min.Da føler jeg at jeg bidrar tilstrekkelig for teamet og forskningen i seg selv.Vi får se om dette lar seg gjøre, ettersom det ikke er lett å overklokke Xeon prosessorene. (5-7% overklokk maks mener jeg)

 

# Innkjøp

Jeg var innom flere forskjellige oppsett, hvor jeg tenkte et multi-GPU oppsett med opp til 4 skjermkort. Men slo dette raskt fra meg, ettersom dette krever mye watt og gir lite avkastning i forhold til investeringen. Hoppet deretter over på et rent CPU oppsett, og endte faktisk opp med en 2P rigg, altså et dual-CPU oppsett:

 

Asus Z9PE-D8 WS

Dette ASUS hovedkortet har høstet mye skryt rundt om, så jeg bestemte meg for at dette skulle bli basen for hele serveren. Her kan man måke på med hele to Xeon prosessorer i E5-2600 serien.

 

 

Intel Xeon E5-2660

Men for at dette skal bli fordelaktig, kan man ikke legge ut 10.000kr for én prosessor. Det er nettopp dette som hovedkortet har fått som en stor minus - at det koster skjorta, levra og nyrene dine når du skal handle CPUer. Derfor må man benytte alternative ruter for å nå sine mål, og Ebay er en av de. Her finnes det engineering sample prosessorer som koster en brøkdel av prisen, og som har samme specs. Den jeg fant, hadde faktisk 100mhz høyere kjernefrekvens enn standard også, så den har faktisk bedre specs. Og koster en brøkdel. Valget blir jo enkelt!

 

 

Corsair XMS3 Vengeance DDR3 PC12800/1600MHz CL9 2x4GB

Minne må man jo også ha, og jeg har hatt gode erfaringer med disse Corsair brikkene. Siden ASUS hovedkortet visstnok skal støtte ett bredt spekter med minne, satser jeg på at disse funker.

 

 

Chieftec Nitro 85+ BPS-750C 750W

Noen vil kanskje syntes 750W er lite, men jeg skal ikke ha noe kraftige skjermkort i denne serveren. Derfor antar jeg at 750W er mer enn nok. Det skal jo tross alt være bra ytelse pr Watt! Denne fikk anbefalt stempel av HW og hadde en bra pris, så valget falt på denne.

 

 

OCZ Agility 3 Series SATA III 2.5" SSD 120GB

Etter å sjekket ut litt anbefalinger på Komplett.no og lignende, havnet jeg på denne SSD disken. Serveren skal være kjapp, så valget havnet på en SSD som OS disk i denne omgang. Det er ikke noe fokus på stor lagringskapasitet enda, så et RAID array kommer i neste rekke.

 

 

Cooler Master Hyper 212 Evo

Noe må man da kjøle ned disse Xeon prosessorene med, og det er jo et hav å velge i når man skal kjøle ned prosessorer. Noctua DH14 eller hva den heter er jo den mest potensielle luft-kjøleren, men koster jo flesk. Havnet borti denne fra Cooler Master, og ettersom den har høstet mange gode omtaler OG hadde en veldig potensiell pris, så ble det denne.

 

 

Xigmatek Elysium Original

Så kommer den store utfordringen, det å finne et kabinett som ASUS hovedkortet passer inn i. Fant ut at E-ATX var omtrent det samme som EEB formfaktoren ASUS kortet har, så da ble søket litt lettere. Funderte lenge på om jeg skulle kjøre på med Fractal Design XL, ettersom min andre server står i et Fractal Design R3 kabinett, og det ville matchet hverandre som hånd i hanske, men behovet for å prøve et litt større kabinett var større. Xigmatek har kanskje en litt cheesy front, men etter å sammenligne med mye annet, syntes jeg den faktisk ikke var så ille alikevel. Modellen uten glass-sidedør ble valgt.

 

~

 

Så, dette har en prislapp på omkring 11.000kr samlet. Dette er altså rå ytelse på boks når disse Xeon prosessorene blir kombinert, til - etter hva jeg kan se - en potensiell og akseptabel prislapp.

 

# Ja, og så? Ikke noe mer?

Joda! I tillegg til at dette skal bygges på en oversiktelig måte inn i kabinettet, så skal jeg supplere med litt ekstra snacks. Da snakker vi sleevede kabler for å få det så ryddig som mulig, og vannkjøling.

 

Som du kanskje allerede har oppdaget, har jeg bestilt med luftkjøling nå i første omgang. Det er grunnet at jeg skal teste med det først, og deretter ekspandere med vannkjøling etterhvert. Da får jeg også sett hva som er vanlig temperatur med luftkjøling, for å se hvor bra vannkjølingen kan bli.

 

Uansett, jeg har drevet med vannkjøling før, for mange herrens år siden, hvor jeg lagde min egen CPU blokk osv (er worklogg av dette her på forumet), så jeg har riktignok litt deler liggende. Deriblant et par radiatorer som virkelig kommer til nytte. Jeg har ikke vært innom vannkjøling siden den gang, og jeg må si det er kommet veldig mye spennende på markedet siden den gang!

 

 

EK-Supreme LTX - Nickel

Velger denne da den er billig og passer socket 2011. Skulle gjerne vært sort plast på den, så vi får se hva sprayboksen kan gjøre om behovet melder seg.

 

 

EK-DCP 2.2 (12V DC Pump)

Jeg har en pumpe fra før (MCP-355), men gidder ikke å bruke den da jeg mener jeg hadde noe fusk med den. Velger derfor å kjøpe inn en ny, og da ble det denne.

 

 

EK-Reservoir Combo DCP 2.2

...For da kan jeg bare smokke denne tanken rett på pumpa! Føler ikke jeg trenger noe stort reservoar, så da ble det denne.

 

 

EK-FAN Silent 120-1600 RPM

Vifter må man jo også ha. Behovet for å ha dyre vifter har jeg ikke (enda), så da fant jeg disse.

 

 

TUBE Masterkleer 13/10mm UV - BLACK

Slange er ikke bare-bare fant jeg ut, men jeg tror denne skal være safe. Velger sort slange, da det kan bli steike tøft. Også har jeg en plan, som kanskje kan se annerledes, men veldig kult ut også, ang slangene.

 

 

EK-PSC Fitting 10mm - G1/4 E-Nickel

Så må man jo ha noen skikkelige nipler! Valgte compression fittings, da jeg gjerne vil se om det er så enkelt som det høres ut. Når jeg dreiv på før i tida, var det jo vanlige nipler som gjalt. Disse er også lekre å se på, så det kan jo blir spennende!

 

 

EK-PSC Adapter 45° G1/4 Nickel

Slike må man jo også ha, for å få vinkla slangene riktig og på en penest mulig måte. Nå skal ikke jeg ha masse vannblokker overalt, kun 2stk som er på CPUene, men fremdeles viktig å ha orden i sysakene.

 

 

Eksempel på sleeving kabel. Enda i tenkeboksen og "finne"-boksen på disse, da det var litt vanskelig å finne noen norske aktører som selger ferdige sleevede kabler. Jeg gidder ikke å sleeve selv tror jeg, så kjøper heller ferdig. Det blir enten blå eller sort. Mest sannsynlig blå sleeving.

 

 

# Prosessen videre

[❊] Bestille opp maskinvare

[❊] Bygge sammen maskinvare

[❊] Evaluere bygg, måle og planlegge modifikasjoner

[❊] Bestille opp resterende produkter (vannkjøling, sleeving)

[❊] Installere resterende produkter

 

 

Jeg kommer til å rette fokus på å ta gode bilder, gjerne fler enn nødvendig, for jeg personlig elsker worklogger som har flust av gode bilder. Det er jo det som er fint å se på! Så jeg skal etterstrebe det målet, og gjøre det beste jeg kan der.

 

# Oppfordring til deg!

"Meg? Hva jeg gjort nå??!" Neida, du har ikke gjort noe galt, men mange streifer innom slike logger som denne, og går ut igjen. Det er kanskje ikke så mye å kommentere, tenker folk. Men samme det, jeg elsker kommentarer, uansett om de er positive eller negative. Det gir dynamikk, og jeg kan eventuelt lære av mine feil og forbedre ting. Jeg trenger også hjelp til å finne ut av ting, så skal legge ut updates som dere kan svare direkte på. Så jeg oppfordrer deg til å klikke på linken under, skrive en kommentar (kort eller lang, det er ett fett), så kan du føle at du har bidratt litt du også! Takk!

 

☛ Kommentarer tas her

Endret 12. oktober 2012 av AnaXyd

[AnaXyd]

UPDATE 01: Bestille

 

Ja, da er det værste gjort! Nemlig å brenne av en del kronasjer. Jeg har nå bestilt fra to steder, fra Ebay, og fra CDON. Det skal inneholde alle maskinvare-komponentene som trengs i første omgang.

 

Her her dere et lite skermskudd fra CDON ordreoversikten.

 

Prosessorene ble sendt fra Kina på lørdag, så de er godt på vei allerede.

 

☛ Kommentarer tas her

Endret 6. oktober 2012 av AnaXyd

[AnaXyd]

Funnet kanskje noen sleevede kabler som ser nogenlunde ut!

 

24 pin:

 

 

8pin: (kan denne brukes på hovedkortet? EPS?)

 

 

 

Og jaggu meg så fant jeg denne også, som jeg tenkte meg noen meter av. Jeg skal altså ikke sleeve noen kabler, men har jo denne spesielle planen min da.

 

 

☛ Kommentarer tas her

Endret 6. oktober 2012 av AnaXyd

[AnaXyd]

UPDATE 02: Motta

Jess, da var vi her igjen! Man kan jo undre over hva jeg skal skrive om nå, når tittelen på denne updaten er det kryptiske ordet "motta"? Vel, du har rett igjen, postmannen var vært på fare! Det eneste jeg nå mangler, er Xeon prosessorene, men håper disse ikke er alt for langt unna nå.

 

 

 

 

 

 

CDON var relativt raske med å få tilsendt varene, og her er alt jeg bestilte fra dem. (Det er en kjøler man ikke ser på bildet, samt kabinettet da)

 

 

 

Her er kjernen i hele bygget, Z9PE-D8 WS hovedkortet.

 

 

La oss unboxe right away! Solid innpakket.

 

 

 

Mye ekstrasnacks. Er et hav av SATA-kabler som følger med. Pluss i boka! Samt SLI broer, diverse braketter med COM, USB, Firewire osv. COM er det fremdeles mange servere som trenger, så sikkert kjekt for mange at dette følger med som standard.

 

 

 

 

 

 

 

Prøver å vise størrelsen på dette kortet. Det er muligens litt mindre i høyden enn et vanlig ATX kort, men det er 40% bredere.. Makan for et kort! Bare erfart ATX og m-ATX, så dette tar kaka!

 

 

 

Minne fra Corsair i flust. Satse på at disse vil spille på lag med resten!

 

 

 

 

 

 

 

Og SSD disken fra OCZ. Hørty mye bra om denne, så håper den er god. (~500MB/s i les og skriv). 120GB. Skal brukes som OS disk. Kult klistremerke fulgte med!

 

 

 

Så var det strøm da, det er vel så viktig som alt annet.

 

 

 

Bra med greier som fulgte med her, til og med er apparatkabelen pakket inn i en slags velour-pose. Stilig!

 

 

 

Kjølerne da, fra "kjølemesteren" som de kaller seg selv. Er visst mye skryt om disse rundt om, så vi får se hvordan disse duger oppa noen hissige Xeon prosessorer.

 

 

 

 

 

 

 

Fint utseende, kule vifter og ikke så ALT for store. Tror ikke minnet skal kræsje i de engang. Tror.

 

 

 

 

 

 

Og så da, det største kabinettet jeg har sett... Herregud så stort det er!

 

 

 

Prøver å illustrere størrelsen med flaska mi, men innser nå at jeg burde satt flaska inne i kabinettet i stedet. Jeg kan heller fortelle at jeg får stablet ihvertfall 3 slike flasker i høyden, for å forklare høyden på kabinettet ihvertfall.

 

 

 

Romslig! Her skal vi ha det moro fremover!

 

 

 

Prøvemonterer litt.. Utrolig kjekt med massevis av gjennomganger. Da er det håp for å kunne gjøre det så ryddig som mulig!

 

 

 

Hovedkortet er ute av esken og posen sin. To sockets er jo bare utrolig vakkert å se på!

 

 

 

Nok av SATA tilkoblinger. Enda er det 6 til som ikke er med på bildet. Om jeg vil bruke den som lagringsserver også, er det ikke noe problem med andre ord!

 

 

 

Igjen, vakkert!

 

 

 

Hovedkortet på sin rette plass. Gikk veldig enkelt og greit med å organisere skruehull osv på hovedkort vs kabinett. Kun ett hull som jeg ikke fikk brukt! (hullet som er øverst i midten) Legg spesielt merke til at hovedkortet ser veldig lite ut i kabinettet. Hovedkortet er altså svææært i bredden, så sier litt om kabinettet!

 

 

 

Dette blir bra! Uten tvil!

 

 

 

 

 

Jepp, det var litt basic om produktene, og litt montering! Flere updates er rett rundt svingene! Husk å kommenter, det liker vi!

 

 

 

 

☛ Kommentarer tas her

Endret 6. oktober 2012 av AnaXyd

[AnaXyd]

UPDATE 03: Modde litt!

Nei, jeg er ikke sein fant jeg ut, når jeg oppdaget at jeg var i full ferd med å sleeve kabler. Noe jeg egentlig ikke skulle gidde å gjøre selv, men fant litt strømper her og litt krympeslanger der, så fristelsen ble stor!

 

 

 

Og den ble særlig stor når jeg så at kablene fra viftene foran så slik ut...

 

 

 

 

 

 

 

Så det var bare å begynne å tre på!

 

 

 

Titt-titt!

 

 

 

Klar med pluggen

 

 

 

Og der var den på!

 

 

 

Krympeslangen på...

 

 

 

Heisann! Klarte å lage litt sot på første krympinga mi! Sånn går det når "gamlekara" begynner med modding igjen..

 

 

 

Vel, andre strømpa ble bra ihvertfall. Får prøve å vaske av soten litt etterpå.

 

 

 

Hva ser best ut?

 

 

 

Organisert..

 

 

 

Ferdig med to!

 

 

 

Ble jo litt bedre da?

 

 

 

I samme slengen montert jeg SSD disken. Dette er slik den skal monteres står det i manualen. Neida, jeg glemte bare å bestille med en brakett til SSD, så tok en "Reodor Felgen" akkurat her med litt strips. Jeg er vel tilgitt?

 

Da var det gjort, ikke noen heftig sleeving av noe slag, men det måtte gjøres. Sleevet litt annet småtjafs i samme slengen, som powerled kabel osv. De er alltid så stygge, så sleevet alt sammen. I neste update blir det litt planlegging ang. vannkjøling.

 

 

☛ Kommentarer tas her

Endret 6. oktober 2012 av AnaXyd

[AnaXyd]

UPDATE 04: Planlegging av vannkjøling

Imens jeg venter iherdig på at prosessorene skal ankomme, har jeg ikke så mye annet jeg kan få gjort nå utenom å planlegge litt vannkjølingsoppsett og design. Jeg har sitti timesvis å glodd på lekre vannkjølings-builds nå, så jeg har en del inspirasjon og løsninger på ting i hodet. Vi får se hva vi får til!

 

 

 

Her har vi min ubrukte Black Ice High flow etterlannet, som jeg har fra min tidligere tid. Denne er ganske tykk, så bør vel gjøre susen. La oss prøvemontere den i taket.

 

 

 

​Dekke til hovedkortet, i tilfelle ulykke..

 

 

 

Passet flott den! Har bare ei 120mm vifte ledig, så da måtte det gå med bare den her gitt.

 

 

 

Så har jeg radiator nr2, samme merke, men mye tynnere. Mener den heter Stealth av noe slag. Husker ikke. Men her passer den flott! Legg også merke til diverse kabler som er sleevet og er montert.

 

 

 

Oversikt. Skal jobbe litt med planlegging av slangen, hvor den skal gå og i hvilken retning osv. Sånn blir ihvertfall radiatoroppsettet, og det kan fungere ganske bra tror jeg. Tenkte å kjøre inn friskluft fra bunn, og dra den oppover ut taket. Er det smart? Kommer bedre tegninger av dette snart.

 

 

 

Div. bilder..

 

 

 

 

 

 

 

 

Vel, vel, da får jeg sette meg på planleggingsbenken (paint funker veldig bra til slike ting!), og finne ut litt diverse. Har ventet med det til jeg fant ut hvor jeg skulle ha radiatorene, så nå er det bare å sette igang. Husk å kommenter da, så jeg blir glad!

 

 

☛ Kommentarer tas her

[AnaXyd]

UPDATE 05: Planlegge mer

 

Okay, da får'n planlegge litt til da! Har nå satt opp hvordan jeg tenker det med luftflyten, og vannflyten. Her må dere gjerne komme med innspill, ettersom jeg er litt blank på dette.

 

De røde pilene er vanlig luftflyt, i en retning. Den grønne pila er fra sidedøren, som blåser luft inn i kabinettet (stor vifte, 180mm eller noe, blåser rett på HK) De grå firkantene er enten CPU blokker eller pumpe/reservoar. De blå er slangene, og i hvilken retning jeg har tenkt vannet skal flyte. Gir noe av dette mening for dere?

 

 

 

 

☛ Kommentarer tas her

[AnaXyd]

TEASER

 

 

Hva i alle dager kan dette være...?

[AnaXyd]

UPDATE 06: Barna har kommet! (??)

 

Dere som har sittet iherdig med å gjette hva innholdet i den (store/lille?) pakken, vil nå endelig få svar på livet! La oss ta for oss hele prosessen med denne fantastiske esken.

 

 

 

 

Hoy! Det er noe inni esken jo!

 

 

 

Ah, tenkte jeg det ikke, det gikk an å ta ut innmaten også.

 

 

 

Ajaj, ut kom det to deler! Hva kan dette være? Kjeks? Bøker?

 

 

 

Ah, at jeg ikke tenkte på det! Det var jo prosessorer jo!

 

 

 

Snur man den rundt, er den også vakker på undersiden.

 

 

 

Tenk at det er åtte kjerner inni her a dere! Må si det er en litt spesiell følelse å motta ES prosessorer, hvor det ikke står noe som helst på den, kun påskrevet for hånd (QA90). Er det juks, eller ekte? Papp eller glede?

 

 

 

Ett bilde til da...

 

 

 

Okay, da var det bare å ta frem monsteret igjen, og gjøre alt klart for montering.

 

 

 

Åpne socketen. Jeg er alltid så utrolig nervøs når jeg gjør dette. Redd for å bøye noen pins.

 

 

 

Men jaggu så klarte jeg det igjen, prosessor er montert.

 

 

 

Åja, du skal ha du og ja? Alle skal få!

 

 

 

Der! Utrolig spennende å montere to prosessorer samtidig, på samme hovedkort.

 

 

 

Sånn! Da skal barna være klare for kulden.

 

 

 

Dælje på litt kjølepasta da. Stod at jeg skulle gjøre det på kjøleren først, så jeg gjorde like så godt det. Fant ut at det ble litt for mye av det gode, så måtte fjerne en del pasta etterpå.

 

 

 

Sånn! Tada! Monterte minnet samtidig for å påse at ingenting krasjet fysisk.

 

 

 

Og jaggu så var nestemann på og! Viftene og! Et råskinn av et 6800 kort også!

 

 

 

Ett bilde til for anledningen. Her ser dere jo at maskinen går, for klarer man å holde seg lenge med å boote noe slikt? Nei.

 

 

 

Så var det bare å hive inn Windows Server 2008.

 

 

 

Og et bevis på at det er 16 kjerner og 32 tråder! Huttetu for en gledelig opplevelse det var å se sååå mange!

 

 

Vel, må dra et lite summary og vel. Maskinen bootet opp uten problemer og alt gikk vel. Ble litt urolig over tempsene når jeg så i BIOS, var på rundt 60 grader idle der. Men fikk installert windows, og kjørte opp CoreTemp, og den gav plutselig rundt 30 grader idle. På den ene prosessoren er det dog to temp målere som ikke har det helt bra, den ene viser rundt 0 grader, og den andre 62 grader. Det er ikke så farlig dog, da jeg har de andre å se etter. På load er det maks 50 grader gjennomsnittlig i alle cores. Det er jo ikke så ille? Og det er jo et relativt varmt rom (24-26grader romtemp) med luftkjøling. Så enten er det noe bug, ellers så er Cooler Master kjølerne utrolig effektive. Og de er jo helt støysvake, viftene går på rundt 700rpm. Anbefales!

 

Så jeg sitter i skrivende stund å prøver å få den til å folde. Har faktisk ikke fått begynt med det enda, men satser på å få den igang snart!

 

☛ Kommentarer tas her! (trykk og skriv! da blir jeg glad!)

Endret 12. oktober 2012 av AnaXyd

[AnaXyd]

Okay, da tror jeg at jeg er igang med foldinga, sånn halvveis ihvertfall! Måtte prøve litt forskjellige klienter, operativsystemer osv før jeg fant "roen", men nå kjører jeg en som er optimalisert for folding, og en installasjon jeg har gjort selv i Ubuntu. Den øverste som dere ser knasker på en jobb med 2 tråder tilegnet (neste jobb blir med 12 tråder). Den nederste (Ubuntuen) knasker på en jobb med 12 tråder. Skal kun kjøre en installasjon, men må finne ut hvem som gir best resultat. Så da får vi se! Venter enda på å få vite hvor mye poeng jeg får om dagen (PPD).

 

 

 

[AnaXyd]

Endelig! Nå tror jeg at jeg fikk det til! Etter å ha installert Ubuntu og optimalisert den etter alle kunstens regler, fikk jeg nå endelig 220.000 PPD (som er veldig mye). Får se hvor den havner hen, men er ihvertfall på rundt 200.000 PPD tenker jeg! Milepæl nådd!