Beowulf cluster, Noke å bruke penger på?

[ThaBear]

Hei.

 

Har Sett litt rundt på nettet ang dual socket server hk ol. til bruk i dataen eg bruker til alt, men dette er jo ikkje så billig da eg vil ha litt kraftig cpu til en del oppgåver (spill støtter jo ikkje mer enn 2-4 kjerne så cpu hastighet teller en del der, ol.)

 

Da såg eg igjen litt på cluster's, virker veldig spennande, tenkte å lage 2-4 nodes med amd athlon II x2 240. med eit enkelt hk, tenkte på samme oppsett's metode som beowulf cluster. (eller ein anna form vist dere mener det er betre)

 

Dette er mykje fordi eg har lyst å lære meg dette, skal begynne på ikt i år, og har en del penger nå som eg har jobbet i to år.

 

Har også prøvd å finne ut kva oppgover clusters kan utføre, men uten hell, googlet kanskje litt feil etc.

Noken som veit kva eg kan bruke clusteret til vist eg begynner på eit slikt prosjekt?

 

Håper på mangen meninger og synspunket

Mvh.

ThaBear

[cruzader]

Har testet beowulf til rendering og folding som fungerte utmerket, er vel de oppgavene beowulf scorer best på.

Jeg endte selv på atom d510 til cluster, ikke 100% på designet enda men blir 6-8noder med morro, men jeg kommer til kjøre vmware ikke beowulf

 

ikke så ille i pris heller pr node egentlig.

Intel D510mo hovedkort - 600kr

4gb ddr2 ramkit - rundt 350-450brukt eller 600-700ish nytt

mini-strømforsyning på 80watt - 200kr

 

finner du brukt ram til en ok pris har du node med 4gb ram 2x1,6ghz (4tråder) til ca 1200kr.

 

strengt tatt, har du interessen for det og pengene avse på det så go for it sier nå jeg!

timesvis med morro og lærerik leking.

Endret 15. april 2010 av cruzader

[ThaBear]

Har testet beowulf til rendering og folding som fungerte utmerket, er vel de oppgavene beowulf scorer best på.

Jeg endte selv på atom d510 til cluster, ikke 100% på designet enda men blir 6-8noder med morro, men jeg kommer til kjøre vmware ikke beowulf

 

ikke så ille i pris heller pr node egentlig.

Intel D510mo hovedkort - 600kr

4gb ddr2 ramkit - rundt 350-450brukt eller 600-700ish nytt

mini-strømforsyning på 80watt - 200kr

 

finner du brukt ram til en ok pris har du node med 4gb ram 2x1,6ghz (4tråder) til ca 1200kr.

 

strengt tatt, har du interessen for det og pengene avse på det så go for it sier nå jeg!

timesvis med morro og lærerik leking.

Akkuratt personen eg hadde håpet på som svarte også, sett at du er veeeeeldig aktiv her på server forumet

Kva med blade server? mykje det samme? eller blir det enklere?

 

Har også sett litt på phenom 2 x2 240 der en kan låse opp til 4 kjerner etc, og selge de som ikkje får 4 kjerner, atom, suge ikkje den ganske i ytelse?

 

vmware, er ikkje det virtualisering? der en instalerer os i programmet å kjører det? aka windows som main os, og så ubuntu, suse ol som "virtuelt" os?

 

vist eg går får en slik atom løysing som du tenker på / holder på med, må en ha 4gb ram per node? blir ikkje dette overkill?

 

En anna ting, F@H, las en plass att dette ikkje ville gå på en beowulf cluster, pga design. er dette feil?

 

rending, da tenker du på? (helt usikker på kva du mener der)

 

Takk for svar

mvh.

ThaBear

[cruzader]

blade server er svindyrt fortsatt og gjerne 8 000-10 000 bare for selve chassiset brukt uten blades med mindre du har veldig flaks og finner fra konkursabo.

jeg har funnet kun 1 chassis med blades til under 5k (4,5k) som var halvnytt og støtter virtualisering/64bit, men det brukte "kun" 1200watt.

 

i korte trekk er bladeservere "normale" servere men istedenfor at du kjører 10stk 1u samt 1u kvm 1u switch får du presset inn 10stk på 4-8u som gir mer servere pr rack, samt du får integrert nettverk og kvm for de 10.

enkelte tenker gjerne at det er mye ekstra penger for og ende opp med f.eks 10 istedenfor 15racks, men serverrom er svindyre og bygge pr kvadratmeter så antallet racks ønskes lavest mulig.

 

bedriftene sitter fortsatt på første genrasjonen sin med blade chassis og bare bytter blades, når neste genrasjon kommer så de må bytte ut chassisene sine og ikke bare bladene så det kommer endel mer chassiser på bruktmarkedet kommer de til overlevelige priser.

vil tippe det er 3-4år enda,

 

om ikke du er kritisk til strømbruken får du rackservere rimelig billig brukt med ikke så ille frakt til norge.

forige servern min kom på nesten 5k for en brukt 4x dualcore 2,4ghz 32gb ram men nesten 700watt(!!) uten engang på peak load.

 

jeg endte derfor på atom siden nodene uten disker etc men kun cpu/ram/nettverk kan kjører på "full pupp" under 20watt.

atom d510 som jeg går for er tredje genrasjon atom og noe helt annet enn første genrasjon som du finner i billige netbooks.

f.eks sammenlignet med x2 240 som du nevnte så bencher den 1650 mens d510 bencher 700 (avrundet fra cpubenchmark.net), de første genrasjon atom du finner i netbooks er nede i 200-250.

Endret 16. april 2010 av cruzader

[ThaBear]

Er det noke behov får 4gb ram til en atom cpu? er vel ikkje så mykje som skal innpå rammen i en cluster?

[cruzader]

enkelt eksempel med 4maskiner kjørende på noden.

 

esx i grunnen - ca 300mb

maskin1 - 768mb

maskin2 - 768mb

maskin3 - 768mb

maskin4 - 768mb

ledig til burst - ca 700mb

[ThaBear]

enkelt eksempel med 4maskiner kjørende på noden.

 

esx i grunnen - ca 300mb

maskin1 - 768mb

maskin2 - 768mb

maskin3 - 768mb

maskin4 - 768mb

ledig til burst - ca 700mb

No er eg ikkje med, kas oppgåver du tenker på? virtualisering? trudde atom cpuen var såpass svak at en ikkje trengte stort mer enn 2gb,

 

Vist du har tid så kan du godt forklare meg kva du tenkte / kva du meiner, og litt detaljert, er ikkje helt noob, men ikkje direkte pro heller..

[ThaBear]

Hmm, vardt døtt her...

 

Noken som veit kva en kan bruke en cluster til? Har veldig lyst å bygge en får å lære men må kunne brukest til eit eller anna..

[kpolberg]

Nja, det finnes flere bruksområder. Rendring av video(Toy Story o.l ble f.eks rendret i ett cluster). Men stort sett blir cluster brukt til tallknusing, altså store mengder data, som skal prosesseres med forskjellige algoritmer.

 

Andre ting en kan bruke cluster til er f.eks HA(high availability), database cluster, eller en klynge av web-servere.

 

http://www.rocksclusters.org/wordpress/ er nok den enkleste måten å komme igang på, er får du rammeverk å programmere mot.

 

torque er ett typisk køsystem for linux cluster, hvor man kan legge inn jobber som skal prosesseres på flere noder(programmet som du har skrevet, må da støtte dette).

 

Her er en som har byggd en 3D rendering farm. http://helmer.sfe.se/