USA er tilbake på superdatamaskin-tronen med nytt monster

[AfterGlow]

«Summit» takler 200 petaflops og skal føre kunstig intelligens mange skritt fremover.

USA er tilbake på superdatamaskin-tronen med nytt monster

[Xantippe]

Ytelsen er utenfor fatteevne.

Mer om denne:

https://www.ornl.gov/news/ornl-launches-summit-supercomputer

og

https://en.wikipedia.org/wiki/Summit_(supercomputer)

 

Lurer på hvor mye strøm den trekker...

[FrihetensRegn]

Siden det ganske enkelt handler om å parallellkoble en haug med konvensjonelle CPU og GPUer, så er det bare om å gjøre å ha nok penger. Ca. $500M for innkjøp, så ca. $10M i året for strøm, leie av hall, ingeniører og operatører, legge til rette for forskningssamarbeid og diverse annet. Vi når snart exaflops og da vil vi snart også snakke om milliarder av dollar for å knive om førsteplassen for raskest supercomputer.

[HKS]

Maskinen bruker IBM Power9 prosessorer og Nvidia Tesla V100 GPUer.

CPU og GPU'er per noe er koblet sammen med NVLink, nodene er kolbet sammen med Infiniband.
Hver node har to CPU'er og seks GPU'er.

USA bygger også enda en datamaskin som er ganske like denne, som heter Sierra.
 

Endret 11. juni 2018 av HKS

[Benny Flaggstang]

Siden det ganske enkelt handler om å parallellkoble en haug med konvensjonelle CPU og GPUer, så er det bare om å gjøre å ha nok penger. Ca. $500M for innkjøp, så ca. $10M i året for strøm, leie av hall, ingeniører og operatører, legge til rette for forskningssamarbeid og diverse annet. Vi når snart exaflops og da vil vi snart også snakke om milliarder av dollar for å knive om førsteplassen for raskest supercomputer.

 

For en privatperson er det pene summer de snakker om. Etter hva jeg finner på nett koster en NVIDIA Tesla V100 fra rundt 85.000,-. Det utgjør omtrent 2,3 milliarder NOK bare der. IBM Power9 finner jeg til rundt 42.000,-\stk. Det legger på i underkant av 380 millioner til. Da er man oppe i nesten 2,7 milliarder NOK.

 

Vil anta de får betydelig snillere priser og stordriftsfordeler med de volum man snakker om i de datasentrene her, men for enkelhets skyld sier vi at vi bruker hyllepris. Jeg antar at disse komponentene, med ganske god margin, er de største enkeltkostnadene. La oss likevel si at resten av maskina kommer på frekke 1,5 milliarder til.

 

Det vil si at man stipulert bør være istand til å få på plass verdens kraftigste superdatamaskin i Norge prisen av ett operahus = NOK 4,2 milliarder. Tar man med drift og vedlikehold av dette operahuset, stipulert til 17 milliarder over 40 år, bør man kunne klare å holde seg på topp en stund også.

 

Men forskning er jo ikke like viktig som høykultur, så det får vi nok se langt etter.

[N o r e n g]

Ytelsen er utenfor fatteevne.

Mer om denne:

https://www.ornl.gov/news/ornl-launches-summit-supercomputer

og

https://en.wikipedia.org/wiki/Summit_(supercomputer)

 

Lurer på hvor mye strøm den trekker...

Ifølge Wikipedia er effekten på 15MW.

Hvis vi antar at spenningen GPU-ene kjører på er 1V, og tap fra strømforsyninger og kjøling er på ca 15% ender vi opp med ca 12 750 000 A

På en annen side er Ampere en ganske intetsigende enhet som ikke forteller noe om varmen, i motsetning til effekten.

[Martin O. Nygård]

For en privatperson er det pene summer de snakker om. Etter hva jeg finner på nett koster en NVIDIA Tesla V100 fra rundt 85.000,-. Det utgjør omtrent 2,3 milliarder NOK bare der. IBM Power9 finner jeg til rundt 42.000,-\stk. Det legger på i underkant av 380 millioner til. Da er man oppe i nesten 2,7 milliarder NOK.

 

Hvis de prisene er korrekt ville man vel fått mer for pengene hvis man satset pa cpu'er istedetfor gpu'er siden de er så mye billigere.

Jeg savner tiden da hvert chassie tok 8 cpu'er. Men mine diskusjoner med både HP og Dell førte ikke fram for de var overbevist om at chassies med multi 2 cpu maskiner var fremtiden og multi cores ville gjøre maskiner med flere cpu plasser overflødige. Så for en stund måtte vi bruke IBM som den eneste gjenværende med 8 cpu's maskiner. Det er bare så mye lettere å samkjøre 4 med 8 enn 12 med 2 i hver. Nå har andre kommet etter i tankegangen og fyller opp med gpu'er, men for en pris.

[Benny Flaggstang]

Hvis de prisene er korrekt ville man vel fått mer for pengene hvis man satset pa cpu'er istedetfor gpu'er siden de er så mye billigere.

Jeg savner tiden da hvert chassie tok 8 cpu'er. Men mine diskusjoner med både HP og Dell førte ikke fram for de var overbevist om at chassies med multi 2 cpu maskiner var fremtiden og multi cores ville gjøre maskiner med flere cpu plasser overflødige. Så for en stund måtte vi bruke IBM som den eneste gjenværende med 8 cpu's maskiner. Det er bare så mye lettere å samkjøre 4 med 8 enn 12 med 2 i hver. Nå har andre kommet etter i tankegangen og fyller opp med gpu'er, men for en pris.

Nå tror jeg du har blingset litt på tallene. CPUen er bare dobbelt så dyr. Det er en enorm forskjell i hvordan en GPU og en CPU utfører operasjoner. Om regneoperasjonene som skal utføres er av den typen GPU er god på, og dem er det mange av, så kan ytelsen til en GPU være mangegangen, kanskje titalls ganger, raskere enn en tilsvarende CPU. Så selv om du må betale dobbelt så mye for GPUen vil den i kroner/flop være betydelig billigere enn CPUen. Men det er operasjoner hvor en GPU er dårlig, muligens helt ubrukelig, så en supermaskin kun basert på GPU er heller ingen god løsning. Derfor er det kjekt med en serie CPUer også.

 

Som nevnt tror jeg ikke de prisene som er oppgitt er de samme som de som bygger slike maskiner betaler. Det var de billigste forbrukerprisene jeg fant på nett.

er prisene uinteressante. For NVIDIA har akkurat lansert en kompakt maskin på 2 petaflops, som skal koste rundt 3 millioner. Det vil si at man kun trenger 100 slike i et cluster, tilsvarende 300 millioner, for å tangere denne maskinen.

[XIFXEGLO]

Ifølge Wikipedia er effekten på 15MW.

Hvis vi antar at spenningen GPU-ene kjører på er 1V, og tap fra strømforsyninger og kjøling er på ca 15% ender vi opp med ca 12 750 000 A

På en annen side er Ampere en ganske intetsigende enhet som ikke forteller noe om varmen, i motsetning til effekten.

 

Er effekten på 15MW lager denne 15MW varme. Det er ikke noe av effekten her som ender opp som noe annet enn varme. 

 

Ampere alene forteller ingenting, men her har du antatt en spenning, og med både spenning og strøm vet vi alt vi trenger for å si noe om varmen/effekten. 

[Gjest Slettet-t8fn5F]

For en privatperson er det pene summer de snakker om. Etter hva jeg finner på nett koster en NVIDIA Tesla V100 fra rundt 85.000,-. Det utgjør omtrent 2,3 milliarder NOK bare der. IBM Power9 finner jeg til rundt 42.000,-\stk. Det legger på i underkant av 380 millioner til. Da er man oppe i nesten 2,7 milliarder NOK.

 

Vil anta de får betydelig snillere priser og stordriftsfordeler med de volum man snakker om i de datasentrene her, men for enkelhets skyld sier vi at vi bruker hyllepris. Jeg antar at disse komponentene, med ganske god margin, er de største enkeltkostnadene. La oss likevel si at resten av maskina kommer på frekke 1,5 milliarder til.

 

Det vil si at man stipulert bør være istand til å få på plass verdens kraftigste superdatamaskin i Norge prisen av ett operahus = NOK 4,2 milliarder. Tar man med drift og vedlikehold av dette operahuset, stipulert til 17 milliarder over 40 år, bør man kunne klare å holde seg på topp en stund også.

 

Men forskning er jo ikke like viktig som høykultur, så det får vi nok se langt etter.

Så må du ta med kjølingen. Den er halve kostnaden.

Endret 12. juni 2018 av Slettet-t8fn5F

[Benny Flaggstang]

 

For en privatperson er det pene summer de snakker om. Etter hva jeg finner på nett koster en NVIDIA Tesla V100 fra rundt 85.000,-. Det utgjør omtrent 2,3 milliarder NOK bare der. IBM Power9 finner jeg til rundt 42.000,-\stk. Det legger på i underkant av 380 millioner til. Da er man oppe i nesten 2,7 milliarder NOK.

 

Vil anta de får betydelig snillere priser og stordriftsfordeler med de volum man snakker om i de datasentrene her, men for enkelhets skyld sier vi at vi bruker hyllepris. Jeg antar at disse komponentene, med ganske god margin, er de største enkeltkostnadene. La oss likevel si at resten av maskina kommer på frekke 1,5 milliarder til.

 

Det vil si at man stipulert bør være istand til å få på plass verdens kraftigste superdatamaskin i Norge prisen av ett operahus = NOK 4,2 milliarder. Tar man med drift og vedlikehold av dette operahuset, stipulert til 17 milliarder over 40 år, bør man kunne klare å holde seg på topp en stund også.

 

Men forskning er jo ikke like viktig som høykultur, så det får vi nok se langt etter.

Så må du ta med kjølingen. Den er halve kostnaden.

Ikke engang i nærheten. Kjøling er, avhengig av hvordan man kjøler, kanskje halvparten av energiforbruket når anlegget er i drift. Det blir også mye penger over tid, men det er knapt en fotnote i kostnadene med anskaffelse.

[Gjest Slettet-t8fn5F]

Ikke engang i nærheten. Kjøling er, avhengig av hvordan man kjøler, kanskje halvparten av energiforbruket når anlegget er i drift. Det blir også mye penger over tid, men det er knapt en fotnote i kostnadene med anskaffelse.

Stort sette alle slike datacentre bruker vann til kjøling. Noen tar vare på varmen til oppvarming av hus, men det går på driftbudsjettet og ikke investeringsbudsjettet.

Du vil bli overrasker over hvor dyrt det er med kjøling.

[ShpongleSpingle]

Med ca 2 TB ECC minne på hver node så er det snakk om i beste fall 1.4 milliarder til i kostnad (32 stk 64GB à 9000 kr * 4608 noder).

[ShpongleSpingle]

For NVIDIA har akkurat lansert en kompakt maskin på 2 petaflops, som skal koste rundt 3 millioner. Det vil si at man kun trenger 100 slike i et cluster, tilsvarende 300 millioner, for å tangere denne maskinen.

 

Maskinen du referer til er DGX-2, men den har desverre kun 120 TF i FP64. Summit sine 200 PF er i FP64. Det er i Tensor mode DGX-2 yter 2 PF, i Tensor mode yter Summit 3.3 exaflops. Det vil si at du trenger 1688 DGX-2 noder for å få samme ytelse. Det vil si et DGX-2 oppsett til 675 millioner dollar.

 

12 stk DGX-2 til 4.8 millioner dollar, så er du inne blant topp 100 på top500.org :-)