USA skyves ned fra superdatamaskin-pallen for første gang på 20 år

[AfterGlow]

Kineserne dominerer med god margin, og nå ligger Sveits på tredjeplass.

USA skyves ned fra superdatamaskin-pallen for første gang på 20 år

[xRun]

Skulle hatt etpar sånne, så hadde det gjerne blitt 8K postprod. uten proxies, og med en lang filterrekke, uten lagging.

[Elethar_InnleggNO]

Skulle hatt etpar sånne, så hadde det gjerne blitt 8K postprod. uten proxies, og med en lang filterrekke, uten lagging.

 

For the record, jeg jobber med 8k postprod uten proxies. Det går greit i premiere det altså (Jeg har ingen av de nevnte maskinene).

[steinrik]

Skulle hatt etpar sånne, så hadde det gjerne blitt 8K postprod. uten proxies, og med en lang filterrekke, uten lagging.

 

Og en strømregning litt utenom det vanlige...

[chri-ot]

Hvor relevant er det egentlig å ha en "superdatamaskin" nå som skytjenester slik som for eksempel AWS er så enkelt tilgjengelig?

[Gjest Slettet+5132]

Hvor relevant er det egentlig å ha en "superdatamaskin" nå som skytjenester slik som for eksempel AWS er så enkelt tilgjengelig?

AWS er nok ikke i nærheten av å nå samme toppytelse som maskinene på top 500-lista. Det er ingen som vet helt nøyaktig hvor mye regnekraft Amazon har, men det som er sannsynlig er at de ikke klarer å utnytte regnekraften i parallel like effektivt som disse superdatamaskinene (kommunikasjonen mellom maskinene er for langsom)

 

Når det er sagt, er det mange "småjobber" (tenk størrelsesorden 1000 maskiner/noder samtidig) som også kjører på disse maskinene, som nok kunne kjørt på AWS, men det er flere tekniske detaljer som gjør at dette ikke er så realistisk.

 

Det kanskje viktigste momenten er penger. Storbrukerne av disse supermaskinene er akademia, og hver forskningsgruppe kan gjerne bruke flere hundretusen "nodetimer" per år (mot at de skriver en søknad, og at de nevner superdatamaskinen hver gang de publiserer), mens det er litt værre å få like store budsjetter for regnekraft på AWS. Søknadsprosesssen har ikke kommet på stadiet til disse superdatamaskinene hvor det hele går igjennom review. Man kan betale for AWS, men det blir fort dyrt.

 

For industrien er det ikke sikkert AWS er så mye dyrere, og med spot-prising kan det sågar være billigere.

 

For det andre er ofte disse superdatamaskinene skreddersydd for vitenskapelige beregninger. For hardware betyr det at kommunikasjon mellom noder er veldig raskt, noe det ikke alltid er på AWS. Nå har AWS egne "clusternoder" som visstnok forbedrer dette, men det mangler litt, og det finnes mye arbeid i å få MPI (kommunikasjonsAPI) til å fungere optimalt i cloud-miljøer.

 

Dessuten er programvaren på et cluster ganske enkel å forholde seg til for sluttbrukere, mens cloud-tankegangen er noe ny og mer kompleks å forholde seg for folk som bare vil drive med tunge beregninger. Det finnes programmer som MITs Star Cluster som lar deg sette opp et cluster på amazon med kun få tasteklikk, men mange virker litt avventende på akkurat denne platformen.

 

Det er nok klart at man vil se mer AWS bruk i fremtiden, men jeg tror den store showstopperen er penger og manglende mulighet for akademia til å søke om midler til å bruke AWS (amazon har noen programmer for å søke om midler/støtte, men de er nada sammenliknet med de store superdatamaskinprosjektene man kan søke på rundt omkring i verden)

 

EDIT: I tillegg må man huske at disse superdatamaskinene også gjør en del støttetjenester Amazon ikke tilbyr. Dette er alt fra å sette opp operativsystemet / MPI, installere og kompilere nødvendig programvare, samt gi råd til brukere om hvordan de best mulig kan utnytte regnekraften.

 

Og så har man selvfølgelig de brukerne som trenger så mye regnekraft at Amazon ikke kan tilby det (fordi de ikke kan tilby rask nok kommunikasjon).

 

Dog, man kommer ikke helt bort ifra at top500-lista har blitt en "Min er størst"-konkurranse, og det er en del maskiner høyt opp på lista som det er veldig vanskelig å dra full nytte av på grunn av sær arkitektur (spesielt den kinesiske på toppen har gått for litt spesielle CPUer, og selv de andre maskinene er ikke enkle å få full guffe ut av).

Endret 26. juni 2017 av Slettet+5132

[chri-ot]

*snip*

 

 

 

Tusen takk for utrolig grundig svar på spørsmålet mitt! Bakgrunnen for spørsmålet var fra en Workshop med AWS/amazon hvor deres representant påstod at disse superdatamaskinene ikke lenger er relevante takket være amazon og at "alle" nå bare bruker clouden. Jeg syntes dette hørtes litt rart ut, og googlet det så fort jeg kom hjem uten at jeg kunne finne noe som støttet opp rundt hans påstand.  Det er som du også beskriver mange mindre regneoppgaver hvor dette stemmer, men de større oppgavene som du trekker frem er det fortsatt cluster computere som gjelder.  Takk igjen for oppklaring rundt dette.

Endret 26. juni 2017 av chri-ot