Mellanox MHRH2A-XSR QSFP

[[Infected]]

2 hours ago, kpolberg said:

Mnjæ, fikk nå 22 Gbps gjennom IPoIB, så faktisk raskere enn hva jeg hadde klart hvis jeg hadde satt kortet i Ethernet modus (gamle ConnectX3 kort).

Men forøvrig enig, har man ikke bruk for RDMA, så blir Infiniband fort mye jobb for lite utbytte.

Mja, men var vel netopp derfor jeg hadde lagt inn en slik eksplisitt `caveat` plassert akkurat der i innlegget mitt, men ja. Gitt nok semantikk, tolkning og forutsetninger er jo det tentativt  helt riktig det som du sier. Var vel kanskje min feil her aa sammenligne 40Gbit Infiniband med 40Gbit Ethernet (derav "line rate") akkurat der, mens jeg nedenfor nevner dual-personality som her vil vaere 10Gbit. Jeg beklager det, tar det til etterfolge og etteretning, selv om det kanskje her egentlig ikke var det som var poenget mitt.

Poenget var vel mer at emuleringslaget for IP trafikk paa toppen av Infiniband var "ineffektivt" og har en rekke andre begrensninger som normalt sett ville gjore det til ett uoptimalt/merkelig valg, (under da gitte forutsetninger, og da sammenlignet med IB over IB, og selvfolgelig, blah) gitt at det er faktisk Ethernet man egentlig skal bruke. Forovrig ville ikke overrasket meg ett sekund at med nok tuning, og riktige applikasjoner og gitte forhold, kan helt sikkert IPoIB yte tilnaermet "line rate" over IB det ogsaa..  men hva er vitsen?

Naar det kommer til responsivitet er vel det der jeg synest IPoIB faller til kort, sammenlignet med ren Ethernet. Session creation og teardown mellom filer paa feks. NFS over IPoIB er smertefullt treigt mellom filer sammenlignet med NFS over RDMA eller NFS over Ethernet. Men seff, overforing av en gigantisk fil innenfor samme sesjon er hastigheten ikke noe klagemoment i seg selv. Men er mer interessert i IOPS enn "MB/s" disse dager.. og da er det uansett blokk og ikke fil som gjelder.. igjen, jeg har ikke tunet IPoIB, og kjorer det ganske saa "out of the box", saa er nok sannsynlig traadstarter ligger naermere mine verdier er dine..

Beste argumentet for IB er vel kanskje som traadstarter sier, laeringsmomentet, og IPoIB er vel tilnaermet saa naert man kommer "Plug and Play"; paa Linux trenger vel ikke engang aa installere en RDMA stack, trenger vel bare 'modprobe ib_ipoib' og aa sette en IP saa er man i gang, saa fremt distroen har MLXx driverene i treet, og at en subnet-manager finnes ett sted selv om kanskje det vil kreve noe mer tuning og optimalisering for aa naa >20Gbit..

Uansett imponert over aa klare 22Gbit over IPoIB, min stack IPoIB stack kanguruer 'all over the place', alt fra 4Gbit til 16Gbit, men 10Gbit Ethernet (og RDMA/iSER/SRP over IB forovrig) er fjellstabilt innenfor desimalverdier

[LMH1]

Synd jeg ikke får testet det, for må ha minst en enhet til å få testet infiband er det slik man kan konvertere IPoIB til ethernet? med switch eller ligdene? For vil ha noe som kobler til, som klarer å gi god nok test og automatisk gi IPoIB når man koblet opp. Er usikker hva slags enhet man bør gå for på ebay?

Gjerne noe med cache enhet m.2 SSD disk mulighet slik man cache nedlasting og laste ned maksimalt fra switchen eller routeren?

Endret 9. september 2020 av LMH1

[barfoo]

11 minutes ago, LMH1 said:

Synd jeg ikke får testet det, for må ha minst en enhet til å få testet infiband er det slik man kan konvertere IPoIB til ethernet? med switch eller ligdene? For vil ha noe som kobler til, som klarer å gi god nok test og automatisk gi IPoIB når man koblet opp. Er usikker hva slags enhet man bør gå for på ebay?

Gitt de kriteriene bør du gå for ethernet, ikke infiniband. 

 

12 minutes ago, LMH1 said:

Gjerne noe med cache enhet m.2 SSD disk mulighet slik man cache nedlasting og laste ned maksimalt fra switchen eller routeren?

Caching fungerer ikke slik du tror det fungerer. Det har blitt fortalt deg mange ganger før.

[kpolberg]

Mener du å si at du bare har kjøpt ett kort? Hvordan hadde du tenkt å koble det inn i noe som helst? Eller missforstår jeg helt nå?

Forøvrig får man ikke automatisk IPoIB, det må konfigureres.

Endret 9. september 2020 av kpolberg

[kpolberg]

2 minutes ago, barfoo said:

Caching fungerer ikke slik du tror det fungerer. Det har blitt fortalt deg mange ganger før.

Er det nå jeg skal dra inn lancache / steamcache

[LMH1]

Er dette infiband eller IPoIB begynner å bli usikker eller har det kortet ikke IPoIB?

Sitat

Mener du å si at du bare har kjøpt ett kort? Hvordan hadde du tenkt å koble det inn i noe som helst? Eller missforstår jeg helt nå?

Ja har bare 2 porter og et kort foreløpig, er usikker på man må ha spessielt transceivers for dette? ikke vanlig SFP+ til QSFP?

De kabelene jeg har er for korte.Cisco QSFP-40G-SR4-S Compatible 40GBASE-SR4 QSFP+ Transceiver Module

Muligens noe slik kan brukes? Men disse bruker vel multimode dobbel fiber.

[kpolberg]

Tror vi må rykke tilbake til start.

1. Hva ønsker du og oppnå?

2. Hvilken relevant hardware har du tilgjengelig? (List antall)

[LMH1]

kpolberg skrev (16 minutter siden):

Tror vi må rykke tilbake til start.

1. Hva ønsker du og oppnå?

2. Hvilken relevant hardware har du tilgjengelig? (List antall)

ønsker å få infiband eller IPoIB å fungere får ingen tilkoblingen med kabelene jeg har:

Mellanox ConnectX-3 10Gigabit InfiniBand Card - PCI Express x8 PN:MCX354A-TCBT

Mellanox H26847C Infiniband& FDR QSFP+ to QSFP+ cable 1m

( 153693900961 )

Mellanox 2 meter QSFP+ to QSFP+ Passive Direct Attach DAC Cable MC2206130-002

( 153779898781 )

Men skulle tro det er mulig å teste å koble i kabel i hver av portene man får vel ikke internett men man burde vertfall teste overføring mellom 2 slike porter med infiband eller IPoIB er bare spørsmålet hvordan man gjør dette?

Neste steget blir å vurdere switch eller ekstra nettkort for det er ikke informasjon om det er kun 10 gigabit ethernet og infiband for virker ut hva jeg ser det skal være 40 gigabit infiband.

[kpolberg]

Prøve å loope ett kort slik har jeg aldri prøvd på. Prøv å sett begge portene i eth modus(for å slippe subnet manager) utifra screenshoten din så ser det ut som port 1 er i infiniband modus og port 2 er i ethernet modus(ref current setting).

[barfoo]

15 minutes ago, kpolberg said:

Prøve å loope ett kort slik har jeg aldri prøvd på.

Du bør få link, men ikke så mye mer vil jeg tippe. 

På Linux er oppførselen generelt sett at ting som er adressert til en lokal IP aldri treffer nettverkskortet. Det blir kopiert gjennom nettverksstacken av kjernen, men aldri sendt ut på ledningen. Jeg vil anta at de fleste moderne operativsystemer oppfører seg identisk. Eventuelle hastighetsmålinger vil ikke fortelle deg noe som helst.

Det kan du rimelig enkelt teste med iperf3 til en lokal IP. Jeg oppnår imponerende 30Gb/s til wifi-interfacet mitt ifølge iperf3...

[LMH1]

kpolberg skrev (18 minutter siden):

Prøve å loope ett kort slik har jeg aldri prøvd på. Prøv å sett begge portene i eth modus(for å slippe subnet manager) utifra screenshoten din så ser det ut som port 1 er i infiniband modus og port 2 er i ethernet modus(ref current setting).

Ja funger med ethernet man gir kun 10 gigabit som er bortkastet, om begge er på infiband får jeg ingen link. Så må være nettverkkortet eller kabelen som er problemet.

Sitat

På Linux er oppførselen generelt sett at ting som er adressert til en lokal IP aldri treffer nettverkskortet. Det blir kopiert gjennom nettverksstacken av kjernen, men aldri sendt ut på ledningen. Jeg vil anta at de fleste moderne operativsystemer oppfører seg identisk. Eventuelle hastighetsmålinger vil ikke fortelle deg noe som helst.

Det kan du rimelig enkelt teste med iperf3 til en lokal IP. Jeg oppnår imponerende 30Gb/s til wifi-interfacet mitt ifølge iperf3...

Men det er jo noe andeledes med linux de har ikke drivere på lik måte som windows 10, godt mulig hvis man hadde installert driverne ville det alike vell blitt anderledes, nå ha jo både ubuntu og fedora bygd inn infiband støtte men er usikker på om det er standard versjon av biblotekene altså noe laget som skal fungere på de fleste kort men muligens ikke alle.

https://www.mellanox.com/products/ethernet-drivers/linux/mlnx_en

Nå finnes det jo drivere også, men usikkert hva man bør gå for?

https://www.recitalsoftware.com/blogs/32-howto-getting-started-with-infiniband-on-redhat-centos-linux

https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/networking_guide/ch-configure_infiniband_and_rdma_networks

Hvis dette skal være laget av spesialister så lurer jeg på hvorfor man skulle begrense minne og brukere med skript? Gir det mening for dere eksperter?

[barfoo]

3 minutes ago, LMH1 said:

Ja funger med ethernet man gir kun 10 gigabit som er bortkastet, om begge er på infiband får jeg ingen link. Så må være nettverkkortet eller kabelen som er problemet.

Du får ikke link når du setter de til IB og kobler kabel mellom de to portene på kortet?

[kpolberg]

Du får ikke link i IB modus fordi du ikke har en subnet manager kjørende antar jeg.

Endret 9. september 2020 av kpolberg

[LMH1]

Tilbake til start,  ganske utrolig dere ikke har noe forslag til veien videre?

Og enkelte har faktisk fungerene infiband? hvorfor er det så vanskelig å gi forklaring å få det til i windows 10 og linux?

Bruker vi forskjellige merker eller for forstår ikke hvorfor det er så vanskelig å gi råd hva slags utstyr eller hva man må gjøre for å få infiband å fungere?

[wil]

Nei. Det som er utrolig, er at du IKKE forstår hva du snakker om, og når du får svar på det du lurer på og sikkert litt til, så klager du fordi at du mener at du får for dårlig svar. Disse brukerne som har svart deg kan mer enn hele deg til sammen og lengere enn det. Da bør du ikke klage på de svarene du får når det er DU som ikke skjønner hva det er snakk om.

Se no til å finn det ut selv da. Herregud.

[Gjest Slettet-fsaSP0zV]

Fikk en digresjon til dette eventyret av å forsøke å følge tråden i denne tråden: http://folkeeventyr.no/god_dag_mann_oekseskaft/

Endret 10. september 2020 av Slettet-fsaSP0zV

[siDDis]

Tenk om nettverk bare var plug and play. Altibox og Telenor kunne lagt ned kundeserviceavdelingen!

Eg anbefaler LMH1 å prøve 10BASE2 "cheapernet", det var tider på lanparty! Alt stoppet opp når en ny person kom/gjekk med pcen

[LMH1]

siDDis skrev (2 timer siden):

Eg anbefaler LMH1 å prøve 10BASE2 "cheapernet", det var tider på lanparty! Alt stoppet opp når en ny person kom/gjekk med pcen

10 mbit? ganske tåpelig funger multimode fiberen med Cisco QSFP-40G-SR4-S Compatible 40GBASE-SR4 QSFP+ Transceiver Module?

som fulgte med SFP+ multimode?

[Uderzo]

Jeg tenker vi setter en strek her, tråden har utspilt sin rolle for lengst.