[Løst] Noen spørsmål relatert til Linux servercluster.

[CasterAnd]

Hei. Jeg skal lage et Linux cluster som skal kjøre et spesifikk program, og clusteret kommer til å bestå av flere enheter og alle bortsett fra én skal ikke ha harddisk.

 

Jeg ønsker at å legge til flere pcer skal være automatisk. Et oppsett ala dette hadde vært det mest ideelle:

 

Serveren med harddisker skal ta imot og automatisk "installere" nye servere. Den skal også være 50% med i clusteret (Altså ikke bruke full prosessor).

 

Alle de andre serverene skal være slaver og er 90% med i clusteret.

 

Serverne er fra forskjellige produsenter og har forskjellige antall cores, prosessorhastighet og minne.

 

Så, hvilken gratis distro er best til dette, og hva skal jeg gjøre for å få dette til å funke? Ta gjerne med linker til tutorials. Jeg har litt kjennskap til linux fra før av.

 

Over til clusteret i seg selv: Jeg ser da for meg at clusteret blir en VM som jeg da kan styre fra masterserveren. Et problem er at programmet jeg ønsker å kjøre i dette clusteret bare kan kjøre 1 thread, men jeg ønsker å ha alle threadene på serverne utnyttet 90%. Hva gjør jeg da? Jeg kan ikke ha flere programmer kjørende samtidig, med mindre jeg kjører de i hver sin VM. Kan jeg da kjøre x antall VM's inne i VM'et til clusteret og deretter utnytte alle serverne?

 

I tillegg er programmet et .exe program så jeg regner med at jeg må bruke Wine for å få det til å funke.

 

Jeg behøver ikke å ha automatisk oppsett av hver server jeg legger til, selv om det hadde vært greit med tanke på at det kanskje blir 10-20 servere til slutt.

 

Jeg beklager om denne posten er litt rotete, jeg prøvde så godt jeg kan å få med alt jeg lurer på i denne posten Det er bare å spør om det er noe uklart. Alle svar godtas!

 

Takk på forhånd

-Caster

[Gjest]

Når CERN klarer alt dette med Red Hat (vel, Scientific Linux CERN) så burde nok RHEL6, CentOS6 eller SLC6 gå greit for deg også?

[CasterAnd]

Når CERN klarer alt dette med Red Hat (vel, Scientific Linux CERN) så burde nok RHEL6, CentOS6 eller SLC6 gå greit for deg også?

 

Jeg har ikke rotet så mye med de distroene. Red Hat er ikke gratis så vidt som jeg vet, men er CentOS6 og Scientific Linux CERN det?

 

Jeg ønsker å bruke så lite penger som mulig i Software på dette

[Sokkalf™]

Forstår jeg deg rett når du sier at

- Programmet du skal kjøre er enkelttrådet

- Er et Windowsprogram (som du ikke har kildekoden til?)

 

Isåfall ville jeg bare glemt hele greia. Du kan ikke få et enkelttrådet program til å kjøre i et slikt cluster, programvare må være skrevet for det (og problemet programmet løser må være parallelliserbart)

[CasterAnd]

Forstår jeg deg rett når du sier at

- Programmet du skal kjøre er enkelttrådet

- Er et Windowsprogram (som du ikke har kildekoden til?)

 

Isåfall ville jeg bare glemt hele greia. Du kan ikke få et enkelttrådet program til å kjøre i et slikt cluster, programvare må være skrevet for det (og problemet programmet løser må være parallelliserbart)

 

Så vidt som jeg vet kan jeg kjøre programmet i Wine.

Eventuelt går det vel an å kjøre VM i VM eller flere VM's til clusteret, da vil jeg oppnå å kunne kjøre programmet i multithread.

 

Eventuelt kan jeg bruke Macversjonen av programmet og bruke Darling.

Endret 21. juli 2013 av CasterAnd

[Bolson]

Dersom programmet er enkelttråda så kan du uansett hva du prøver å gjøre ikke få det til å kjøre i flere tråder. Du kan kjøre flere instanser av samme program, hver bruker en tråd - men det blir uansett ikke multitråd. Hver instans kan også bare kjøre sin definerte oppgave.

 

Regner med at grunnen til at du tenker på cluster er at programmet bruker alt for lang tid på å gjøre ferdig det det skal gjøre.

[[Infected]]

Hei. Jeg skal lage et Linux cluster som skal kjøre et spesifikk program, og clusteret kommer til å bestå av flere enheter og alle bortsett fra én skal ikke ha harddisk.

 

Hei!

Ser at noen har fulgt med i timen, men desverre, det finnes ingen losninger der ute som oppfyller dine krav. Ett problem her tror jeg er at du baserer mange av ideene dine paa losniner som desverre hverken er bygget eller designet for aa oppfylle de kravene du spesifiserer.

 

Forovrig heter en slik arkitektur "diskless shared-root cluster".

 

Jeg ønsker at å legge til flere pcer skal være automatisk. Et oppsett ala dette hadde vært det mest ideelle:

 

Jeg kjenner til en losning svaert godt som kan gjore dette, det er ett par andre der ute ogsaa, men desverre er dette en funksjonalitet du til en viss grad er nodt til aa kode selv eller betale (potensielt ganske mye penger) for aa faa benytte.

 

Serveren med harddisker skal ta imot og automatisk "installere" nye servere. Den skal også være 50% med i clusteret (Altså ikke bruke full prosessor).

 

Flere slike losniger finnes, den generelle arkitekturen du ser ut som du prover aa beskrive her heter "beowulf" og er ogsaa ofte kjent som en 'primary-node type' cluster.

 

Alle de andre serverene skal være slaver og er 90% med i clusteret.

Ikke helt sikker paa hva du mener her, enten saa er jo nodene med i clusteret eller saa er de ikke?

 

Serverne er fra forskjellige produsenter og har forskjellige antall cores, prosessorhastighet og minne.

 

Igjen, arkitekturen du beskriver her er kjent som "beowulf" og i nyere tid kjent under navnet 'commodity clustering', og er en arkitektur jeg selv er ganske kjent med

 

Det finnes mange mange mange losninger for commodity clustering der ute, men desverre ingen som oppfyller dine krav og onsker.

 

Så, hvilken gratis distro er best til dette, og hva skal jeg gjøre for å få dette til å funke? Ta gjerne med linker til tutorials. Jeg har litt kjennskap til linux fra før av.

 

Godt sporsmaal, om du skal bygge noe slikt selv anbefaler jeg egentlig at du velger den distirbusjonen du selv er mest konfortabel med. Det finnes forskjellige ready-made losninger der ute, kanskje den mest kjente av disse er Rocks eller Crystal-Rocks, ogsaa kjent som et "cluster build-kit", saa vidt jeg vet er Rocks basert paa RHEL (Red Hat Enterprise Linux).

 

Over til clusteret i seg selv: Jeg ser da for meg at clusteret blir en VM som jeg da kan styre fra masterserveren. Et problem er at programmet jeg ønsker å kjøre i dette clusteret bare kan kjøre 1 thread, men jeg ønsker å ha alle threadene på serverne utnyttet 90%. Hva gjør jeg da? Jeg kan ikke ha flere programmer kjørende samtidig, med mindre jeg kjører de i hver sin VM. Kan jeg da kjøre x antall VM's inne i VM'et til clusteret og deretter utnytte alle serverne?

 

Anbefaler deg aa se vekk i fra Virituelle Maskiner som en helhet, dette er ikke en losning paa problemet du beskriver.

Virituelle Maskiner er noe helt annet. (om man ikke snakker zOS)..

 

Uansett, 1+1 blir ikke to i clusterverderen. Om du skal distribuere en applikasjon paa denne maaten maa du ha en maskinvare arkitektur som stotter dette (eksempelvis NUMA), ett annet eksempel paa en slik ariktektur er IBM sine stormaskiner med zOS, eventuelt Cray. Ingen av disse alternativene oppfyller "commodity clustering" kravet ditt.

 

I tillegg er programmet et .exe program så jeg regner med at jeg må bruke Wine for å få det til å funke.

 

Sorry mac, som beskrevet ovenfor, uten kildekoden eller stotte i programvaren i seg selv er dette dodfodt. Kort sagt, programmet du skal distribuere maa ikke bare stotte flere traader, men ogsaa den message parsing protokollen du skulle velge aa bruke.

 

Jeg behøver ikke å ha automatisk oppsett av hver server jeg legger til, selv om det hadde vært greit med tanke på at det kanskje blir 10-20 servere til slutt.

 

Det finnes alternativer for dette der ute, om du ikke er villig til aa lese deg opp anbefaler jeg vmWare eventuelt med vSphere eller lignende "primary-node" paa toppen.

 

Eventuelt kan du lese deg litt opp paa SSI (Single System Image) og MSI

 

Jeg beklager om denne posten er litt rotete, jeg prøvde så godt jeg kan å få med alt jeg lurer på i denne posten Det er bare å spør om det er noe uklart. Alle svar godtas!

 

Takk på forhånd

-Caster

 

No worries

[CasterAnd]

' timestamp='1374428584' post='20764177']

snip

Dårlige nyheter dette altså :/

 

 

Hm. Får vel gi opp prosjektet da ^^

[deacticated-124897123]

Hei, ervdet sånn at du skal lage en linux server?

Lillesøstren min kjenner en som kjenner en som ekspert på sånnt, kan godt besøke han i høsten men det er ferie nå og han har en uendelig lang ferie, gidder ikke ringe han.

[[Infected]]

Dårlige nyheter dette altså :/

 

 

Hm. Får vel gi opp prosjektet da ^^

 

Neida, du maa for all del ikke gi opp..

om man skulle gi opp saa snart man moter litt motstand vil man definitivt ikke komme langt i ett omraade som dette

 

Mitt forste tips til deg er at du generelt aldri vil faa noe gratis helt uten videre her i verden, og uten litt staapaavilje og arbeidsmoral vil du aldri komme noen vei, noe som spesielt er sentralt i ett saa forsknings (scientific) og fakta basert tema som 'clustering'. Men det er ogsaa hva som IMHO gjor omraadet saa spennende.. (det er veldig faa snarveier...)

 

 

For det forste tror jeg at det er en god ide at du faktisk leser deg litt opp og innhenter litt kunnskap om temanene, og opparbeider deg en litt dypere forstaaelse for hva det er her du faktisk onsker og egentlig prover aa oppnaa...

 

Du har med andre ord startet litt i feil ende her, og det er egentlig der du feiler, du vil saa gjerne gjore A,B,C + X,Y,Z med noko attaat, men har ikke noen videre formening eller fortaaelse av hva disse tingene innebaerer, eller hva disse tingene da gjerne krever og setter begrensninger til selv. Og saa blandet med kanskje litt uerfarenhet, men ingen skam i det, vi maa jo alle starte ett sted...

 

 

Men aa haape aa faa de samme computing-ressursene som gjerne koster en bedrift ett halvt Norsk statsbudsjett, med aa sette sammen noen eldre P4/C2x maskiner med litt ethernet og en billig Kina switch til aa binde det hele sammen, er kanskje en smuuule haapefullt

 

Og om du vil ha ready-made programvare eller en losning som er bare plug-and-pray saa magisk vis bare virker det, maa du ogsaa forvente aa betale ganske *~magiske~* summer for det hele ogsaa.. (vi tror jo alle paa julenissen gjor vi ikke)

 

 

Ett godt tips til deg vil vaere aa velge en losning som passer dine behov, i stedet for heller ukritisk aa sette krav utifra hva du gjerne har lyst paa og onsker, og som gjerne er losninger som hverken har blitt designet eller vil virke i ett slik scenario som du forespeiler deg her. Klart, om du innhenter deg ett litt videre og dypere bilde av hva losninger og muligheter som finnes der ute og er reellt tilgjengelig er jeg nesten sikker paa at *du* vil finne noe som *du* kan tilpasse dine behov. (og ikke omvendt..$$) Din naavaerende fremgangsmaate der du setter krav og forventer at den losning skal poppe opp som en aand i en lampe er nok ikke den beste maaten aa angripe ett saa komplekst og ikke minst akademisk betinget felt som dette pa

 

 

Jeg kan gjerne hjelpe deg og gi deg raad og vink, og prove etter beste evne aa dytte deg i riktig retning

Men det forutsetter at du selv maa oppbygge en liten kunnskapsbase og gjerne innhente litt mer forstaalese for de forskjellige temaene, slik at du gjerne kan basere dine valg, vurderinger og egne refleksjoner paa netopp dette.

 

Jeg sier ikke at du skal gaa over bekken for aa hente vann her, men jeg tror det vil vaere fordelaktig for deg aa finne flere forskjellige og gjerne dypere strommer aa hente vannet ditt fra, slik at alt ikke kommer fra samme sted

 

 

Uansett onsker jeg deg lykke til, clustering er ett kjempespennende felt og er noe helt utrolig givende (og frusterende..) aa jobbe med, men det er ogaa veldig veldig avansert og det krever absolutt endel fordypning og ikke minst personlig investering for aa naa maalet

Endret 22. juli 2013 av [Infected]

[CasterAnd]

snip

 

Vel, til dette prosjektet gir jeg opp. Men jeg kommer definitivt til å ha noe cluster i fremtiden!

 

Men jeg er enig i at jeg kanskje tar fatt i ting i gal ende, og om det er noe jeg vil ha gjort, så vil jeg gjerne få det ferdig over helgen ^^

 

Og selvsagt, ting koster penger, og penger er stort sett altid et problem for noen i oppstartsfasen av et liv med "senga i rackskapet". Det er utrolig frustrerende å se store selskaper som har holdt på siden starten, ha nærmest enerett på tjenestene deres fordi ingen andre som ikke nylig vant noen millioner i lotto har penger nok til å gjøre noe lignende.

 

Min store clusterdrøm har lenge vært masse bladeservere. Jeg liker bladeservere ganske bra, spesielt etter et seminar hvor EMC og Cisco snakket om SAN og om fremtidige enklere bladeservere: LAN og SAN i samme kabel, noe som vil gjøre bladeservere langt mer effektive :3

 

Hva jeg skal bruke clusteret mitt til har jeg enda ikke funnet ut... En minecraftserver og webside og backupserver er vel det jeg trenger, men å etablere et eget hostingfirma har heller ikke vært en tanke jeg har vært utenom.

 

Mest sannsynlig blir det en minecraftserverhost/webhost (eventuelt pakkeløsninger), og med clustering, langt bedre redudante løsninger og flere seminarer (tro meg, de lærer meg mer enn noe annet) håper jeg på å kunne slå de fleste andre hostene.

Begynner å bli lei av FragNet som for flere av mine venner som driver større servere, ikke har klart å levere bra nok løsninger. Tonnevis av nedetid, osv.

 

Forresten, i samme seminar var vmware og presentere deres løsninger til driftssikkerhet og automasjon, og jeg må si at det å lage en egen løsning som sier ifra når noe er galt og midlertidig løser problemet (slik at serveren alltid er oppe) bør kunne konkurrere med andre firmaer.

 

 

Til slutt: Herregud, jeg elsker visst seminarer.

Endret 23. juli 2013 av CasterAnd

[CasterAnd]

Hei, ervdet sånn at du skal lage en linux server?

Lillesøstren min kjenner en som kjenner en som ekspert på sånnt, kan godt besøke han i høsten men det er ferie nå og han har en uendelig lang ferie, gidder ikke ringe han.

 

Å lage linux server er lett, cluster er verre.

[deacticated-124897123]

Å lage linux server er lett, cluster er verre.

 

Vel vel, han kan veldig mye om linux og alle dataene, ( 5 eller 6 ) kjører debian og/eller ubuntu.

[CasterAnd]

Vel vel, han kan veldig mye om linux og alle dataene, ( 5 eller 6 ) kjører debian og/eller ubuntu.

 

Vel, jeg må nok si ellers takk for denne gang ^^

Mulig jeg kan spør senere når jeg trenger noe hjelp :3

[deacticated-124897123]

 

 

Vel, jeg må nok si ellers takk for denne gang ^^

Mulig jeg kan spør senere når jeg trenger noe hjelp :3

 

Helt greit men jeg kan ikke se når du trenger hjelp, du må sende det på pm.

[CasterAnd]

Setter dette som løst jeg. Tror ikke jeg kommer innom clustering på en stund, neste prosjekt blir vel en testserver, men den tror jeg klarer greit med litt hjelp fra Google.

 

Om jeg trenger noe servere til noe spesifikt kommer jeg nok til å leie en VPS hos Bluehost. Lurer dog på om jeg kan kjøre hva som helst på serverne deres da det virker som at de generelt er en Webhost. Likevel får man jo Root tilgang, så jeg vet ikke hva de farer med.

 

Om jeg senere trenger en helt dedikert server som jeg også kan ha HW access til, så blir det nok en rack med bladeservere som jeg kan plassere i en serverpark.

 

Uansett, noe blir det! Om det blir Hetzner.de eller Bluehost.com eller egen bladeserverrack, det får vi se

[JohndoeMAKT]

Tør du nevne hvilken applikasjon du ønsket å kjøre?

[CasterAnd]

Applikasjonen jeg ønsket å kjøre tidligere (men som jeg gav opp) var et 1-trådet .exe program.

 

Mitt neste cluster blir et javacluster for testing av java-applikasjoner.

[JohndoeMAKT]

Applikasjonen jeg ønsket å kjøre tidligere (men som jeg gav opp) var et 1-trådet .exe program.

Men hvilket program?