Kjøling av lite rendercluster i serverrom med AC

[xRun]

Jeg har et SB/i7 og cuda-basert rendercluster i et lite rom på ca. 4 kvm. Det er et 45x45 cm vindu høyt på veggen, og dør ut til resten av boligen. Tenkte å kjøle dette rommet med en portabel AC-enhet av dem som selges på Clas, Expert, Elkjøp osv. for rundt 3000,-

 

De yter ca. 7000-10000 BTU, beregnet på rom på ca. 25-35 kvm. Det betyr at de yter godt nok til å kjøle et langt større rom, her er mye overkapasitet som et bevisst valg for å håndtere varmeproduksjonen fra clusteret.

Akkurat nå er det bare 2 servere i clusteret, men det vil vanligvis være 4-6 stykker i arbeid med rendring, som makser CPU'ene eller grafikkortene i dem.

 

Jeg funderer på å la AC'en holde det rommet nede rundt 18 grader, og evt. dra nytte av overkapasitet til å også holde tempen i naborommet nede rundt 22 grader på spesielt varme dager som vi har hatt en del av denne siste uken. Typisk utetemp har vært 24-26 grader, og da har det lett blitt varmt inne uansett lufting. Naborommet er et hjemmekontor på ca. 16 kvadrat.

 

Eksempel på AC-enhet:

http://www.clasohlson.com/no/Klimaanlegg/Pr363299000

 

Erfaringer, innspill, tanker rundt dette? Burde jeg gå vesentlig opp i AC-effekt, eller kan dette funke? Tips, ideer?

[War]

Jeg har 2 slike AC og har brukt de sammen med serverene mine i flere år.

De bråker, og varmluften i slangen som også bringer fukt med seg må ut i fri luft. Den slangen med oval tut som du putter i en medfølgende list lar seg bare bruke på vinduer som man åpner ved å dra de rett opp , typisk USA ol.

 

I 99,999545% av tilfellene vil du kun føre røret inn i en ventilluke på veggen hvor du evt har tatt bort det plastlukket med fjær.

Da må også AV stå oppå noe så den ikke blir for lav og du må tette det rundt slangen med noe på ventilsiden.

 

Slangen som er festet i selve AC detter av på alle modeller, og her må du tape masse med rett tape som ikke glir opp pga varme, lenger rør du har varmere blir rommet da røret i seg selv er varmt.

 

Når du har gjort alt dette er det et stort problem igjen, luften den blåser ut må komme fra et sted, hele leiligheten eller hvor du skal bruke den kommer til å trekke tilsvarende så du kan ikke bare lukke døra inn til rommet. Rommet må ha luft tilsvarende det den blåser ut.

Jeg måtte kappe hull i veggen og sette rist på så jeg kunne lukke døra.

Dette er den største bakdelen med slike AC.

[xRun]

Allright, så om døren til serverrommet står på gløtt, sånn at det kommer inn tilstrekkelig luft fra resten av boligen via alle ventiler, inkludert de med luftvei helt fra andre enden av boligen, så burde den få nok luft. Da vil den trekke inn litt varm luft utenfra på varme dager, og litt kaldere luft på natten.

Hvis jeg gjør dette så vil jeg la den stå oppå noe, sånn at lufterøret kommer nesten i høyde med vinduet, som kan fjernes helt, og plate med hull for slange og endestykke monteres der, erstatter hele vinduet.

 

Kan tenke meg at de bråker, men det vil uansett være dempet siden den ikke befinner seg i et oppholdsrom. Hvis jeg lar den stå på termostat, eller fast på kjøling med en timer og f.eks. 1 time på, 30 minutter av, så burde den totalt sett både være dempet og kun høres periodisk. Det kommer naturligvis an på hvor godt den kjøler, kanskje den bør jobbe i litt lengre eller litt kortere intervaller for å få ønsket kjøling totalt sett. Jeg ville som nevnt ideellt hatt muligheten til å hjelpe litt på naborommet de varmeste dagene også, litt usikker på den.

 

Er det mye vedlikehold med dem, evt. tømming av tray med oppsamlet vann og sånt? Hvordan er det med strømforbruk, stort utslag på regningen?

[War]

Jeg har to, den ene må jeg tømme 1-2x uka , den andre null da fukten fraktes ut med luften og det er nok i seg selv.

Det kommer jo på hvor varmt du har det.

 

Det er ikke sånn at alle dører må stå oppe, men den må få like mye luft som den blåser ut.

Strøm ligger vel på 1500W +-1

Det er ca 2000kr pr regning / 1Q om den er på 24/7

 

1 slik kjølte 10kvm hos meg med 9 servere i som trakk 3000W / ga tilsvarende varme.

Dette var foldingpcer som jobbet OC 24/7

 

 

Har denne

http://www.komplett.no/k/ki.aspx?sku=331694

Den samler mest vann.

 

Liker denne bedre

http://www.komplett.no/k/ki.aspx?sku=601491

( Retro og ser slik ut, men 9000BTU )

Samler ikke vann og har tykkere slange / kjøler bedre.

Endret 26. mai 2012 av War

[Andrull]

Slik du beskriver det, så virker det som om du heller trenger god ventilasjon enn AC.

26 grader ute er mer enn godt nok for selve clusteret, og de 8 lavere gradene (18 C med AC) må du betale i veldig dyre dommer for.

 

AC'en vil bruke ganske mye effekt på å prøve å jobbe mot maskinene du skal kjøle, og det blir en god økning av strømforbruk. Minst 1-2 kr timen å ha på ACen. (1500kr måneden om den står på døgnet rundt) Og dette er et rent tap. Den ekstra varmen går rett ut av huset, og blir som å fyre for kråka.

 

Nå vet jeg ikke hvor mye et slik cluster trekker, men tipper egentlig på kanskje noe rundt 400W pr stykk om både CPU og GPU belastet maks ut og det er et effektivt system. Med 4-6 slike så vil et AC aldri klare å jobbe mot temperaturforskjellene mot kontor og utetemp samtidig som den skal fjerne flere kilowatt med varme som produseres. Måtte nok minst hatt to slike ACer, og da er du opp i en driftskostnad på 3000kr i tillegg til clusteret. Rett ut av vinduet og bortkastet.

 

Du trenger bare et godt ventilasjonsystem med en større vifte (inn og uttrekk). Da vil du effektivt kunne kjøle rommet ned til utetemp, eventuelt bruke varmen på vintern til å varme opp resten av leiligheten.

Og selv om tempen går over 30 grader ute, så vil dette bare gi 12 grader høyere temp enn 18 grader (om du ikke har slingsringsmon for å tåle at maskinene dine øker med 12 grader i værste solsteiken i Norge, så har du rett og slett dimensjonert feil). I et sådann tilfelle så ville jeg vurdert bedre interne kjøleløsning som f. eks vannkjøling.

 

Vannkjøling er i såfall veldig effektivt med at du kan montere en stor radiator i selve luftuttaket til rommet, og så koble alle maskinene til denne. God skalering, men krever da også mer vedlikehold.

 

Kort sagt:

Dropp AC til cluster-rommet. Dette er ekstremt ueffektiv måte å fjerne varme, og fører med seg flere problemer enn løsninger. Ha en grei intern kjøling på maskinene og en ventilasjonsvifte eller to som tåler en støyt, og du er egentlig i mål. Temperaturer under romtemp vil uansett gjøre at effektiviteten synker med mange ganger og vil aldri lønne seg.

Trenger du lavere temp i resten av leiligheten så er det bedre å ha AC'en i dette rommet, og skjerme dette (rent termisk) rommet fra clusterrommet.

[War]

Jeg er egentlig enig i posten over, AC er penger ut av vinduet.

Jeg hadde formange servere, men jeg har forsøkt mye annet som å sette en baderomsvifte i luftekanalen feil veg som blåser uteluften inn.

[xRun]

Joda, på vinteren gir clusteret meg all varmen jeg trenger. Våren frem til mai, og høsten fra ca. midten av september bare drar jeg på med ventilasjon, iblant mye hvis utetempen er nær oppunder 20. På sommeren blir det ikke alltid nok.

 

Når jeg er tilstede og ikke har dratt ut, så er ventilasjonen grei. På varme dager som denne uken her nå, betyr det å ha alle dører, vinduer og ventiler på vidt gap, hvis det er en grei bris ute. Så kjører jeg en stor bordvifte ca. en meter foran serverne sånn at de får trekk direkte mot inntakene. Da er det 26 grader ute (onsdag rundt 14.00 denne uken), samme i stuen, og rundt 27-28 grader i serverrommet. Det tåler de en stund, men ville ikke kjørt dem sånn det meste av tiden.

 

Der kommer vi frem til noe av problemet. Jeg er ikke alltid tilstede, og jeg sover rundt 7-8 timer pr døgn. Det betyr at minst halvparten av tiden kan ikke alt stå åpent. Vinduer hjelper litt, men her er det åpne dører som gir den største effekten, både altan og gatedør. Mesteparten av den gjennomtrekken går ikke forbi serverne, men senker tempen på luften som trekkes inn på serverrommet fra stue/entré. Når det ikke er særlig vind ute, så blir også ventilasjonen redusert. Jeg bor i en dal, det blåser ofte ikke, og det blir ofte etpar grader varmere her enn på meteorogisk institutt i sentrum. Rundt 17:00 sist onsdag var det ca. 28 grader utendørs i skyggen her i dalen. Det er sånne varmebølger som nå som er problematisk.

Dette clusteret ble satt opp i fjor sommer, og under tuningen etter bygging av hver maskin fant jeg ut at max safe romtemp med en moderat OC var 26 grader, og ville gi en CPU-temp rundt 70 ved max load over tid. Det er et ekstra fokus på stabilitet her, oppgavene som kjøres tar vanligvis dager, ofte uker. Hele denne perioden er de på max load, kontinuerlig. Det gir mye varme.

 

Jeg har prøvd å få til en bedre ventilasjon, en rekke forskjellige muligheter. Jeg har prøvd med mer vanlige 30cm bordvifter, forskjellige plasseringer av clusteret, og kom frem til at det beste var å flytte serverne ut på et rom hvor et vindu kunne stå åpent døgnet rundt. Der er et finmasket nett satt opp for å håndtere planterusk og insekter, og vinduet kan åpnes/lukkes over dette. Likevel, denne uken ble det nesten 30 grader der ute. Prøvde å løse det med en vifte på størrelse med vinduet, 400mm i diameter. Satt til å blåse luft inn. Den var lite effektiv uten altandøren åpen, eller minst ett vindu så åpent at man kunne klatret inn uten problemer. Jeg holder til helt nede på gateplan, så det er et hensyn å ta.

 

Selv med avtrekksventilen på vaskerommet ved siden av helt åpen ble det ikke tilstrekkelig utskifting av luft, tempen klatret til nær 30 grader. Dermed måtte dørene opp igjen, eller jeg kunne deaktivert etpar tråder på renderjobben som gikk for å redusere varmen.

Har prøvd flere andre alternativer, det blir likevel ikke tilstrekkelig ventilasjon passivt eller med bare vifter uten åpne dører, når temperaturen ute er så høy som denne uken. CPU'ene passerer 74, og der har jeg en temperaturalarm for å unngå å kjøre dem så varm over tid.

Jeg trenger ikke lavere temp i resten av boligen, det ville bare vært en bonus hvis det var greit å få til. Jeg nevnte det siden AC likevel var tema, og det er en viss overkapasitet. Hovedpoenget er å fjerne varmen fra renderclusteret eller rommet det står i, og det har altså vært spesielt problematisk her.

 

Jeg skjønner jo at AC er både ineffektivt og varme ut av vinduet, og det er der jeg vil ha varmen også, ute hos kråkene. Jeg har igrunnen kommet frem til at jeg trenger noe sånt for å håndtere disse temperaturtoppene som gjerne varer noen dager, max etpar uker om sommeren.

 

Edit: BTW, 18 grader er nok litt mye kjøling ja, tok kanskje litt hardt i der men så det i sammenheng med delvis effekt utenfor serverrommet. I en sånn situasjon måtte antagelig kjølingen vært høy ved serverne, for å ha særlig effekt i naborommet med døren delvis åpen. Kan fint kjøre den på 21 grader eller noe sånt, vi har vel stort sett avskrevet å kjøle naborommet i tillegg. 21 grader hjelper mye i forhold til hvordan det ellers ville vært.

Endret 26. mai 2012 av xRun