F@H Team "hardware.no" (lagnr: 37651)

[-alias-]

Den nye serveren fungerer perfekt slik jeg leser det. Senere i dag skal jeg legge om til ramdisk også på den, og venter vel at TPF blir noen sekunder bedre. Forskjellen mellom 2- og 4-kanals minne i folding er ca. 30 sekunder på 4P Xeon E5-4650 servere, så får man selv vurdere om ekstrakostnaden på omkring 3K kroner fra 8 til 16 sticks pr. server lønner seg. I PPD vil det si ca. 80 - 90K pr. maskin ved P8104.

 

Ellers så får jeg ikke den forrige serveren til å yte det den skal lenger, og jeg vet ikke hva som forårsaker det. Forskjellen i ytelse mellom de 2 er nå ca. 25% som er veldig mye. Uten at jeg vet det gjetter jeg på at det har noe med ramdisken å gjøre. Siden jeg fjernet 8 sticks med minne antar jeg at den kanskje må fjernes for å settes opp nytt med mengden minne maskinen har nå.

 

Samlet PPD er i øyeblikket omkring 3.5 millioner, som kunne vært 3.75 hvis server1 hadde fungert 100%. Slik ser det ut nå:

 

Edit: Fikk tunet noe mer slik at TPF nå er nede i 7:49 men det mangler ennå ca. 30 sekunder før ting er slik de skal.

Det begynner i hvertfall å ligne noe når samlet PPD har passert 3.6 mill.

Endret 1. oktober 2013 av -alias-

[Chavalito]

Kjapt spørsmål, funker F@H bra i openSuSe 12.3? Har nettopp installert det på min lille PC (spec i signatur) og tenkte jeg skulle laste ned F@H og teste det ut.

 

Edit: Bare glem det. Legger in Ubuntu og prøver med den.

Endret 1. oktober 2013 av Chavalito

[-alias-]

For de som kjører 2P og 4P med Intel eller Amd maskiner. Dette er guiden å følge, og den gjelder både for Windows og Linux. http://hardforum.com/showthread.php?t=1769083

 

War, tror du kan legge denne inn i bloggen som sticky!

 

Legger til at Linux yter fremdeles betydelig bedre enn Windows når det kommer til folding.

Endret 1. oktober 2013 av -alias-

[War]

I will

[Chavalito]

Javel, da kjører lille meg Ubuntu 13.04, men F@H oppdager ikke mine to GTX Titan kort som GPU. Noen forslag hvordan løse dette? F@H kjører konge med CPu, men hadde vært kjekt med Titan kortene i aksjon også.

 

Glemte å si at Nvidia driver 313 er installert og SLI funker (tror jeg da).

Endret 1. oktober 2013 av Chavalito

[Arve1234567890]

Jeg har egentlig veldig lite anelse, så muligens litt dumt spørsmål: Brukte du "sudo apt-get install nvidia-current" som kommando for å installere drivere, og deretter restartet maskinen? Så vidt jeg vet skal dette være alt som trengs

Endret 1. oktober 2013 av Arve1234567890

[Chavalito]

Bruker jeg "sudo apt-get nvidia-current" blir 313 driver fjernet og 304 installert og alt går til helv... SLI funker, CUDA er aktivert, så jeg skjønner ikke så mye. Men har søkt litt på Internet og det sies av noen at når første WU er fullført av CPU, vil F@H oppdage GPU'ene???

 

Får se hva som skjer.

[Nif]

Bruker jeg "sudo apt-get nvidia-current" blir 313 driver fjernet og 304 installert og alt går til helv... SLI funker, CUDA er aktivert, så jeg skjønner ikke så mye. Men har søkt litt på Internet og det sies av noen at når første WU er fullført av CPU, vil F@H oppdage GPU'ene???

 

Får se hva som skjer.

304 burde fungere fint på titan ettersom jeg husker og ha lest.

 

Kjører du Fah 7.3.6 i linuxen?

Hadde selv litt problematikk og legge til begge 680 kortene når jeg hadde linux installert på hovedmaskinen min, men endte opp med og få det til og fungere med og fjerne cpu'en for så og restarte, adde en gpu via slot siden under konfigurasjonen, og restartet igjen for og legge til det siste.

Du trenger forsåvidt ikke og ha sli aktivert for og folde på GPU'er ettersom hvert kort får sin egen wu og jobbe med, det var nødvendig tiligere ettersom driverene til nvidia\ati\amd nektet og la kortet få belastning hvis det ikke var tilkoblet skjerm eller ble kjørt via Crossfire\SLI.

 

Får du det ikke til og fungere med 304, reinstaller 313 og legg til gpuene manuelt via konfigurasjonen med dine ønskede prefixer.

Endret 2. oktober 2013 av Nif

[War]

det var nødvendig tiligere ettersom driverene til nvidia\ati\amd nektet og la kortet få belastning hvis det ikke var tilkoblet skjerm eller ble kjørt via Crossfire\SLI.

 

 

Dette løste vi med å sette inn en dvi til vga-adapter vi stappa 3 motstander oppi.

[Kjetil Lura]

Se i loggen, der er kanskje svaret.

[Chavalito]

Altså Nvidia driver 313 funker knall, har Nvidia kontrollpanelet, SLI aktivert etc, etc. Men F@H finner ikke GPU'ene i det hele tatt. lsmod grep sier at nvidia driverne er installert og funker. i x config er de også så fortsatt litt lost her. Noen påstår (på Internett) at CUDA Toolkit må installeres, gjorde det au, still no go.

 

Sta som jeg er gir jeg ikke opp enda. Mulig jeg må installere CUDA før F@H, det har jeg ikke prøvd enda.

[Magnus Lie]

Fikk akkurat epost fra Dustin om at psu og rambrikkene er på vei. Da er helgen reddet

[-alias-]

Dette blir spennende, og da begynner vi virkelig å knappe inn på forspranget til russerne. Tipper at når War også får fyrt i gang sin E5 så er forspranget i tid knappet ned til noe over 2 år. Vi vil øke vårt årlige bidrag med omkring 2 milliarder.

 

Ser også at jeg kan hente et nytt kabelsett til Corsair AX1200 fra Dustin på PIB i dag, så da slipper jeg å bruke 2 strømforsyninger. Belastningen på PSU er optimal siden den siste serveren kun trekker 650W fra veggen. Når alt blir lagt over på en PSU burde forbruket senke seg noen watt til.

Endret 3. oktober 2013 av -alias-

[War]

Jeg venter bare på kabinett med psuer , så blir vel i oktober en gang.

Minnet ser jeg folk begynner å få fra dustin så da er vel mine brikker av samme type rett rundt hjørnet.

Endret 3. oktober 2013 av War

[-alias-]

Å bytte fra 2 til 1 strømforsyning var ingen suksess. Det fungerer, men CPU3 og CPU4 ble 10 - 12 grader varmere. Strømtrekket fra veggen steg også med 40 - 50W så jeg tenker jeg legger tilbake til 2 x PSU hvis jeg ikke finner ut av det. War alle Avo, dere som jobber med dette, hva er årsaken. Corsair AX1200W har alt over en rail så det skulle ikke være skjevbelasting som er årsaken?

 

Før jeg bytter tilbake til 2 x PSU skal jeg forsøke å bytte om på kablene siden det er de 2 bakerste CPUene som blir varme. Disse får jo varm luft fra de 2 forran. Dette fikk de også tidligere, men da hadde de strøm fra en annen PSU.

 

Edit: Lot kablene bytte plass og da falt temperaturen på de varme chippene med 2 grader. Klipp fra IPMI med 2 x PSU og 1 x PSU nedenfor.

 

 

 

Endret 3. oktober 2013 av -alias-

[War]

Ser ut som den forrige psuen ikke ga nok ampere over 12v.

Blir PPD økt? TPF

[-alias-]

Vanskelig å si siden jeg gjorde skiftet mellom 2 WUer, henholdsvis P8101 til P8104. Jeg får se ved neste skifte av WU.

 

Den forrige PSUen var på 950W og hadde også alt på samme rail, så den skulle gi nok spenning den også.

 

Nå viser jo IPMI at alt er normalt så det er vel ingen fare å kjøre slik får jeg tro, men jeg synes jo at 76 Celsius er i varmeste laget for E5-4650. Hvis jeg ikke husker feil så har den en max temp på 72 grader.

 

Og, det er selvsagt en mulighet for at P8104 er mer strømkrevende enn P8101, men det finner jeg ut neste gang det kommer en slik. Dette er første P8104 på lenge på noen av E5 serverne.

Endret 3. oktober 2013 av -alias-

[HawP]

Kjapt spørsmål, funker F@H bra i openSuSe 12.3?

Litt sent svar ser jeg, men allikevel...

 

Jeg synes F@H funker bra i opensuse 12.3, men kernelen i 12.3 er neppe "tunet" spesielt mtp. F@H...

 

Kan bruke rpm'en for Red Hat, Fedora osv. direkte i opensuse, men må "symlinke" python 2.6 til 2.7 katalogen siden rpm'en er kompilert mot 2.6. (kan forklare mer når/hvis nødvendig)

Endret 3. oktober 2013 av HawP

[Chavalito]

-alias-, det er ikke spenning som gjelder så mye her, men derimot hvor mange ampere du har på f. eks. 12V railen fra PSU til CPU'ene. Alle hovedkort har en DC-DC converter (takk til Andrull for dette) som tar ned spenning fra 12V til f.eks 1,3V som CPU trenger.

 

Så ikke se deg helt blind på spenning, tenk mer på ampere. Og er kabelen ikke tykk nok, vil varmen i den øke pga økt motstand (les ohm) og du vil få mindre guffe fram til CPU'ene.

[-alias-]

PSU er Corsair AX1200W hvor hver CPU tar 130W, og jeg kan ikke tenke meg at det skal være noe feil med kablene. Alt er jo originalt og nytt og ingen kabler er varme så det tyder ikke på at noen problemer der. PSU er i utgangspunktet utstyrt med 2 x EPS 8p 12V, men det er fysisk mulig å montere inntil 8 slike på. Jeg har satt på 4 slike siden hovedkortet krever det. Jeg kan ikke se at dette skulle være problematisk siden alt går over samme rail. Det rare er jo at det ikke var antydning til varmt når jeg brukte 2 stk. PSU som forsynte kortet med 2 x EPS 8p 12V hver. Jeg lar den kjøre slik til i morgen tidlig så skifter jeg tilbake til 2 stk. PSU igjen hvis det ikke bedrer seg med en annen type WU. Fra før har vi erfart at hver WU har litt forskjellig innvirkning på strømforbruket, men ikke så mye som dette.