Verdens kraftigste datamaskin

[*F*]

mye kulere å vite hvor mye kraft du får i ETT kabinett

Så hvis dem sveiste en diger metallboks rundt server rommet og kalt det et kabinett hadde det vert greit?

[lrn2computar]

Hvilket OS kjører dem på sånt noe da?

 

http://www.top500.org/stats/list/35/os

 

81% av de kjører Linux, ihvertfall... nestemann på lista har 3,8%

[Flimzes]

Jeg kommer til 92% linux på den listen der.

[Acurus]

MEN... Klarer den Crysis?

 

Haha, eneste grunnen til at jeg gikk inn på saken var for å skumme igjennom forumtråden å se om noen hadde kommet med den enda. Det er ikke en sak om ny super computer uten den kommentaren

[Habitats]

Hvordan lagringsmedie bruker slike maskiner?

[Theo343]

Mange av disse maskinene har Infiniband eller proprietært nettverk som kobler serverne sammen. Det blir veldig rart å sammenligne et cluster som har mindre enn ett microsekund round-trip mellom noder og over 40Gbps båndbredde per node med folding at home hvor en sikkert har opptil ett sekund roundtrip og all mulig lusen båndbredde. På toppen av det hele ingen mulighet til å kjøre fritt valgt software.

 

Ellers er det synd at lista fortsatt er basert på linpack. Linpack skalerer perfekt på nærsagt hva som helst slags nettverk og det er med innføring av multicore og GPU nesten ikke relevant for vanlig HPC workload lengre. Blir litt som å oppgi maks hastigheten på lastebiler. Det er lite, eller mer sannsynlig ingen, korrelasjon mellom den modellen som er raskest og den som utfører det typiske oppdraget best... Så hvorfor i det heletatt gidde å teste?

Distributed Computing har ingenting med superdatamaskiner å gjøre nei, helt korrekt.

 

Men det som stadig vekk forundrer meg med disse superdatamaskinene. Hvorfor satser mange av de så hardt på x86 type arkitektur. Det må da være esktremt lite effektivt både ift. hardware ytelse/watt og software? Eller er faktisk x86 basert programmering dominerende innen denne slags HPC? Det ville forundret meg sterkt.

Endret 30. oktober 2010 av Theo343

[2ball_]

Hvordan lagringsmedie bruker slike maskiner?

 

Jeg liker å tenke at de pruker sånne:

 

[Simen1]

40 MB, 3600 rpm, 5 Mbit/s disker på størrelse med CD-rom drev.

 

Men det er sikkert noen som vil bli overrasket over at en full overskriving av disken bare tar 40MB * 8bit/byte / 5Mbit/s = 64 sekunder.

 

Dagens disker bruker vel noe sånt som 3TB / 100 MB/s = 30 000 sekunder = ~8 timer.

 

Men tilbake til spørsmålet: Det er vanlig med harddisker ja. Ofte 10k SAS-disker med ZFS filsystem for delt lagring og lokale 2,5" 10k SAS-disker i hvert rack for lokal lagring.

[Anders Jensen]

Hvordan lagringsmedie bruker slike maskiner?

Vel de benytter stort sett vanlige disker. SSD er lite brukt foreløpig i HPC. Dels pga pris, dels fordi en kan cache mye i DRAM uten å være så veldig redd for å miste data om strømmen går. Det er bare å kjøre jobben på nytt så lenge en tar godt vare på referansedata. Ellers er vel NAS løsninger vanlig. F.eks Bluearc med Hitachi SAN backend eller IBM GFS noder med SAN backend. Det er heller ikke helt uvanlig med objekt baserte mellomlag for å få god orden på parallelliseringen av lagringsmediene. Typisk ved bruk av Panasas, hvor hver maskin bare ser all lagring som et stort flatt område og må eventuelt generere og skrive paritet selv, eller Lustre hvor lagringsnodene selv ordner dette. Begge er ekstremt skalerbare, men ingen slår vel Panasas på skriveytelse med redundans siden denne er parallellisert utover hele HPC clusteret. Lustre noder er vel tenkt implementert med ZFS etterhvert, men jeg vet ikke hvor vanlig/modent dette er enda.

Endret 31. oktober 2010 av Anders Jensen

[2ball_]

Men er det noen som vet om et program for å finne ut FLOPS på hjemme PC-er?

[raid2]

Interessant at 91% av disse systemene bruker OS fra Linux-familien. Ikke overraskende at det er en høy andel, men at det var såpass mange fant jeg litt overraskende. Jeg trodde Unix lå litt høyere, men kun 4.40% av maskinene benytter OS i Unix-familien.

 

Fascinerende saker disse maskinene.

[weebl]

det er vel grunnet systemer som red hat som gjør at linux er såpass populært, og man har knapt nok noen begrensinger når det kommer til endring og bruk av kildekode noe man har på Unix baserte systemer som BSD osv....

[ze5400]

det er vel grunnet systemer som red hat som gjør at linux er såpass populært, og man har knapt nok noen begrensinger når det kommer til endring og bruk av kildekode noe man har på Unix baserte systemer som BSD osv....

 

Jeg er langt fra noen ekspert på lisenser, men BSD-lisensene er vel 

faktisk mer permissive enn GPL, i den grad at man ikke trenger å bidra endringene man gjør tilbake til OSS-samfunnet.

[Simen1]

Men er det noen som vet om et program for å finne ut FLOPS på hjemme PC-er?

Det er HPL Linpac som brukes for å teste FLOPS på superdatamaskinene på top500-lista.

 

For hjemmebruk er vanlige Linpac bedre egnet. Her er en guide til hvordan man kjører det.

[Anders Jensen]

Interessant at 91% av disse systemene bruker OS fra Linux-familien. Ikke overraskende at det er en høy andel, men at det var såpass mange fant jeg litt overraskende. Jeg trodde Unix lå litt høyere, men kun 4.40% av maskinene benytter OS i Unix-familien.

 

Fascinerende saker disse maskinene.

Se for deg at du har et budsjett som ikke er uendelig høyt. Ta deretter til etterettning at den billigste måten å få regnekraft på er ved å kjøpe en rimelig stor haug 2-sokkel maskiner (typisk 5k-10k servere for toppnotering på top500.org)og koble de sammen i et nettverk. I år er det også moderne med en GPU per server. Ta nå antall CPU sokkler, del på to og multipliser med OS lisensen på et non-linux OS. Regn ut hvor mange hundre servere du ikke får kjøpt fordi du må betale for OS lisensen. Last så ned linux...

 

Det eneste som er litt rart er at ingen av BSD systemene, typisk FreeBSD, har tatt av innen HPC. Vil tro det skyldes at BSD ofte ligger noe etter Linux i antall features og hardwarestøtte. HPC noder er som kjent museumsgjenstander etter ca 12mnd. så det hjelper lite å komme trekkende med hardwarestøtte 6mnd. etter Linux.

 

Mange tror det er veldig viktig hvilket OS en kjører på disse maskinene av tekniske årsaker. Det er nok en ganske overdrevet tro på det også. Sannheten er at det gjerne er nettverk og lagring samt software lengre opp i hierarkiet som skal ha æren for eventuell skalering, eller mangel på sådan, på slike clustre. Typisk, nettverks stacken, MPI stacken, job scheduleren og ikke minst de enkelte HPC applikasjonene. Det er imidlertid mye avansert og automatisert management med et cluster slik som overvåkning, konfigurering og installering av noder. Denne programmvaren fungerer som oftest best med linux, men kan også benyttes med BSD og Unix. Windows og Solaris har også løsninger for dette som fungerer helt greit, men kostnaden blir fort høy.

Endret 1. november 2010 av Anders Jensen

[Teac]

Ja takk. Jeg bestiller to stk....

[raid2]

*ting er dyrt*

 

Javisst, men en skulle jo tro at HP og IBM (som sammen står for 382 av de 500) tilbyr kraftige avslag på sine Unix OS ved kjøp av maskiner. Noe de helt sikkert også gjør, men det blir nok langt dyrere enn Linux uansett.

[Anders Jensen]

*ting er dyrt*

 

Javisst, men en skulle jo tro at HP og IBM (som sammen står for 382 av de 500) tilbyr kraftige avslag på sine Unix OS ved kjøp av maskiner. Noe de helt sikkert også gjør, men det blir nok langt dyrere enn Linux uansett.

Verken AIX eller HP-UX er blitt portet til x86 og siden x86 for tiden er de prosessorene med best flops/$ forhold så lar ikke dette seg kombinere sånn helt uten videre i HPC markedet. IBM og HP har også økonomisk interesse av å segmentere OS markedet med sine Unix varianter forbeholdt enterprise segmentet mens det ekstremt prissensitive HPC markedet kan nøye seg med Linux. De har uansett lite behov for de ekstra RAS, management og virtualiserings egenskapene på Unix variantene.

Endret 2. november 2010 av Anders Jensen

[Theo343]

siden x86 for tiden er de prosessorene med best flops/$ forhold

Ok så det er "noe av" årsaken til dette x86 fokuset innen HPC, men hva med total kostnad og effektivitet eller tenker man bare innkjøpskostnad i segmentet?

Endret 2. november 2010 av Theo343

[Anders Jensen]

siden x86 for tiden er de prosessorene med best flops/$ forhold

Ok så det er "noe av" årsaken til dette x86 fokuset innen HPC, men hva med total kostnad og effektivitet eller tenker man bare innkjøpskostnad i segmentet?

Total kostnad er vel ca 50/50 mellom strømregninga og innkjøp regner jeg med. Det er vel mye samme årsaken til at GPU er blitt poppulært som at x86 ble poppulær. Gode flops/$ forhold er veldig viktig her. Applikasjoner kan ofte skreddersys til den hardware en har kjøpt inn siden en gjerne lager den selv.