Mellanox MHRH2A-XSR QSFP

[kpolberg]

On 8/23/2020 at 6:09 PM, LMH1 said:

Men hva er vitsen med QSFP+ hvis de ikke er raskere en SFP+? meningen er vel siden det er større transceiver skal gi bedre båndbredde? Ser heller ikke vitsen med infiband for man har jo thunderbolt og usb 4.1 som antakelig bilig billigere standard, men man lærer ikke noe hvis man ikke prøver noe nytt.

Nå har jo thunderbolt og usb 4.1 ett helt annet bruksområde. F.eks tviler jeg på at du kan strekke en thunderbolt kabel over 50m og fremdeles være innenfor spec. Ikke får man kjørt IP trafikk over USB direkte heller, og ihvertfall ikke opp til 56 gbps båndbredde.

pfSense er ment til å brukes som en brannmur, det har man ikke bruk for i ett infiniband fabric, da man som oftest ikke overfører IP trafikk (selv om man kan bruke IPoIB).

Om dokumentasjonen er dårlig kan diskuteres, jeg har ihvertfall ingen problemer med å konfigurere en subnet-manager, for å få en fungerende infiniband fabric. Riktignok har jeg kun gjort dette på linux, men kan ikke se for meg at det skulle være noe vanskeligere på windows. Teknologien og begrepene er de samme, uansett om det er snakk om windows eller linux.

[LMH1]

HVa bruker du da i linux? for i fedora forum er "rdma-core, librdmacm, rdma-core, glusterfs-rdma" de man må installere får jeg informasjon om.

For hjelper lite så langt eller så har jo drivere:

https://www.mellanox.com/products/ethernet-drivers/linux/mlnx_en

Men usikker på hva som er best og enklest for nybegynnere. For det er lite dokumenetasjon og lite hjelp å få.

Så hvis du vil lage en guide må du gjerne gjøre det.

[Gjest Sletttet+98134]

Hva er brukscasen din for infiniband egentlig, hva er det du ønsker å oppnå?

[LMH1]

Ønsker vel å lære det hvordan det funger. Godt mulig jeg drar nytte av de både privat og jobb sammenheng.

For er vel ikke akkurat for nybegynnere, men etterhvert godt mulig det blir erstattning for ethernet hvem vet?

Nå er jeg usikker om infiband kan brukes til cluster eller deling av maskinvarekraft, Slik man får bedre ytelse ved å ha flere pcer i nett.

Endret 27. august 2020 av LMH1

[kpolberg]

28 minutes ago, LMH1 said:

Så hvis du vil lage en guide må du gjerne gjøre det.

Skrive en guide slik at du kan klage på den senere? Tror jeg står over, det er masse god dokumentasjon på mellanox sine sider.

[barfoo]

2 hours ago, LMH1 said:

Ønsker vel å lære det hvordan det funger. Godt mulig jeg drar nytte av de både privat og jobb sammenheng.

Et bedre tips er å sette seg ned og lære TCP/IP og nettverk generelt. Det er også enklere, og mindre avhengig av spesialisert hardware. Men det krever at du faktisk er villig til å lese. Er du det?

[Gjest Sletttet+98134]

LMH1 skrev (15 timer siden):

Ønsker vel å lære det hvordan det funger. Godt mulig jeg drar nytte av de både privat og jobb sammenheng.

For er vel ikke akkurat for nybegynnere, men etterhvert godt mulig det blir erstattning for ethernet hvem vet?

Nå er jeg usikker om infiband kan brukes til cluster eller deling av maskinvarekraft, Slik man får bedre ytelse ved å ha flere pcer i nett.

Kjempefint at du ønsker å lære nettverk, men du bør begynne med å lære det grunnleggende. Hvis du ser for deg å bruke Infiniband i jobb så bør du definitivt lære deg grunnleggende nettverk først. Det er mye som kan gå galt om du f.eks skal feilsøke Infiniband  i et produksjonssystem.

 Kanskje jobben din kan tilby deg et kurs? Jeg synes i hvert fall ikke at fremgangsmåten du bruker nå -  "skriv en guide til meg" eller å sende tilbake alt du kjøper fra noen stakkars kinesere fordi du ikke skjønner hvordan ting fungerer - er en god måte å lære på.

[LMH1]

1U Mellanox Infiniscale Switch IS5022 8port QSFP+ 40Gb Infiniband 40 Gbe Gbit

Hva tror dere on denne? når den er umanage er vel det ikke mulig å bruke infiband og ethernet samtidig?

[kpolberg]

Den switchen støtter ikke ethernet så langt jeg kan se i det hele tatt.

[barfoo]

1 hour ago, LMH1 said:

Hva tror dere on denne? når den er umanage er vel det ikke mulig å bruke infiband og ethernet samtidig?

Ikke kjøp mer maskinvare. Øv deg heller på hvordan nettverk henger sammen. En god bok kan hjelpe deg med å forstå forskjellen på f.eks. en ruter og en switch, og hvordan du setter opp ulike ting.

Etter å ha gått gjennom den, og lekt med det utstyret du har tilgjengelig, så bør du ha et grunnlag for å vite hva du kan kjøpe. Alt du trenger for å få utbytte av boken er to-tre PCer produsert etter år 2000, og en 100Mb managed switch. En av PCene kan med fordel ha flere nettverkskort.

[LMH1]

kpolberg skrev (16 timer siden):

Den switchen støtter ikke ethernet så langt jeg kan se i det hele tatt.

Men er det mulig den støtter infiband uten å være managed? betyr det den dukker opp som 40 gigabit infiband plug and play?

[barfoo]

2 hours ago, LMH1 said:

Men er det mulig den støtter infiband uten å være managed? betyr det den dukker opp som 40 gigabit infiband plug and play?

Ja, altså, det er en infiniband-switch, som støtter 40Gb. Svaret på spørsmålet ditt er mer eller mindre bokstavelig talt tittelen på annonsen.

[siDDis]

Kan kjøre ethernet over infiniband då  Så i praksis skal den jo fungere til ethernet og

[kpolberg]

2 hours ago, siDDis said:

Kan kjøre ethernet over infiniband då  Så i praksis skal den jo fungere til ethernet og

Du kan kjøre IP over Infiniband, men ethernet over Infiniband var jeg ikke klar over at du kunne? Har du noen referanser?

Edit: Poenget er at Infiniband og Ethernet er link-laget sin protokoll, så jeg ser ikke helt hvordan du skulle legge ethernet i ett overlay oppå Infiniband?

Edit2: Lærte noe nytt gitt, det er noe som heter Ethernet over Infiniband

ref: https://en.m.wikipedia.org/wiki/InfiniBand

Endret 8. september 2020 av kpolberg

[[Infected]]

IPoIB er jo dorgende treigt (da sammenlignet med samme rate paa Ethernet), kanskje noe med min stack som er daarlig optimalisert, men Infiniband med RDMA peaker jo PCIe bus'en saa kan ikke vaere helt totalt feil oppsett heller.. men ser liksom ikke helt vitsen med aa investere i Infiniband om man bare skal bruke IPoIB og bare skal bruke til det helt ren IP trafikk... aldri brukt det til noe annet en OOB signallering og debugging... Ethernet er saa mye bedre til IP trafikk, og moderne kort fra Mellanox er jo dual personality, saa hvorfor bry seg med Infiniband i det hele tatt om man ikke skal kjore RDMA?

[LMH1]

[Infected] skrev (13 timer siden):

Ethernet er saa mye bedre til IP trafikk, og moderne kort fra Mellanox er jo dual personality, saa hvorfor bry seg med Infiniband i det hele tatt om man ikke skal kjore RDMA?

For det er jo meningløs å kun få 10 gigabit over QSFP+ når SFP+ gir samme hastigheten. Men forstår ikke hvorfor kortene gir samme ytelse om det er sammeteknologi eneste at pluggen er anderledes. Uansett får jeg ikke svar fra selgeren så spørs vel om det blir noe av.

[sk0yern]

LMH1 skrev (5 timer siden):

Uansett får jeg ikke svar fra selgeren så spørs vel om det blir noe av.

Det gir mening, og er kanskje like greit?

[kpolberg]

19 hours ago, [Infected] said:

IPoIB er jo dorgende treigt (da sammenlignet med samme rate paa Ethernet), kanskje noe med min stack som er daarlig optimalisert, men Infiniband med RDMA peaker jo PCIe bus'en saa kan ikke vaere helt totalt feil oppsett heller.. men ser liksom ikke helt vitsen med aa investere i Infiniband om man bare skal bruke IPoIB og bare skal bruke til det helt ren IP trafikk... aldri brukt det til noe annet en OOB signallering og debugging... Ethernet er saa mye bedre til IP trafikk, og moderne kort fra Mellanox er jo dual personality, saa hvorfor bry seg med Infiniband i det hele tatt om man ikke skal kjore RDMA?

Mnjæ, fikk nå 22 Gbps gjennom IPoIB, så faktisk raskere enn hva jeg hadde klart hvis jeg hadde satt kortet i Ethernet modus (gamle ConnectX3 kort).

Men forøvrig enig, har man ikke bruk for RDMA, så blir Infiniband fort mye jobb for lite utbytte.

[LMH1]

Men er det reponstiv? slik ethernet? må man ha spessielt utstyr som kabel switch etc?

Skulle gjerne hatt litt erfaringer for har ganske lite, hadde håpet noe som var plug and play.

[kpolberg]

Responsivt? Hvordan da mener du? Trenger ikke mer utstyr enn det du allerede har. 2x Infiniband kort og 1x kabel for å koble maskinene sammen.