MPO 4 fiber multimode til LC

[nomore]

LMH1 skrev (1 time siden):

Du skal ha for forsøket men du spør ikke konkret hva du er ute etter, internet deling er for å få opp internet å fungere, kunne sikkert satt fast ip adresse hvis det er nødvendig jeg er bare usikker hvordan jeg bør gå frem, bromodus funger ikke.

Hvis du vil hjelpe får du eventuelt gi et påloggingskript eller ligdene, eller si litt hva jeg må sette opp. L2\L3 hjelper lite for nybegynnere. Kanskje det forståes av eksperter men ikke nybegynner.

å gi råd kast eller selg på finn og glemme at det finnes, hvis det er slik du gjør så synd for deg. hadde du jobber i innkjøpsavdeling til bedrift tror jeg du hadde mistet jobben, begynner å lure på hva du og J jobber som om dere er serfiserte fiber installatører eller jobber med QSFP+ til daglig er jeg litt overrasket over svarene deres. Kan vel neppe være god PR for bedriftene dere jobbe hos.

Makan til frekkhet er det ikke ofte jeg ser. Men dette er skammelig.

Det er ikke en kjeft her inne som skylder deg noen form for hjelp. Oppfør deg deretter.

[LMH1]

nomore skrev (9 minutter siden):

Makan til frekkhet er det ikke ofte jeg ser. Men dette er skammelig.

Det er ikke en kjeft her inne som skylder deg noen form for hjelp. Oppfør deg deretter.

Du får mene hva dere vil, men syns foreløpig er kun oyoygard til mest hjelp i denne tråden.

Blir litt satt ut av enkelte som prøver å hjelpe men måten de gjør det på føles som jeg blir holdt for narr av disse ekspertene, så derfor blir det ikke særlig ros å gi. Dere får mene hva dere vil men jeg tror enkelte kan bedre en de gir.  Også andre som inside og MegaMann2 som er til noe hjelp generielt

Synd vil ikke har beste svar så sant de får støtte trenger ikke svarene være bedre en + kanskje vi må ha ++ så svarende blir bedre?

Endret 15. januar 2021 av LMH1

[oyoygard]

Bekager hvis eksempel på status på et 40GbE-kort som jeg limte inn tidligere var forvirrende. Det var mest et eksempel på hvordan du kan vise oss status på ditt utstyr. Du hadde ikke beskrevet hvilket utstyr og hva slags operativsystem du har så da er det ikke lett å gi deg noe konkret hjelp

Uansett, i mitt eksemplet kan du se at linkene rapporterer status slik:

auto-40g_sr4-fd-up

Det betyr at linken er autokonfigurert (jeg har ikke manuelt satt hastighet) og den har forhandlet 40Gig, det er SR-ShortRange/multimode optikk, den kjører Full Duplex, og linken er UP.

Dette er det første du må få på plass. Du må få opp linken. Det er ikke vits å prøve sette noen IP-adresse eller konfigurere noe som helst før du har fått fysisk link på kortet ditt.

[LMH1]

Prøver å sjekke https://www.mellanox.com/related-docs/user_manuals/ConnectX-2_EN_w_RoE_Configuration_Manual.pdf

Men vet ikke hva teknologien heter som går på flere fiber til mpo?GID Table RDMA Communication Manager (rdma_cm) Type of Service (TOS

mye jeg ikke vet særlig mye om.

[oyoygard]

Desverre ser det ut som du prøver å gjøre det motsatte av hva "alle" andre gjør, og dermed hva utstyret er lagd for.

Vanligvis vil alt utstyr med høyhastighets nettverk være koblet til en switch. Det er svært uvanlig at man har høyere hastighet på utstyret enn på switchene dette skal kobles til. Derimot hender det at man splitter en port på en switch i flere linker. Det kan være for å spare penger eller nettopp fordi utstyret har lavere hastighet enn switchportene.'

Jeg har selv måttet dele porter på switchsiden, både 40GbE til 4x10GbE linker og 100GbE til 4x25GbE med lignende splittere (breakout cable) som du har. Jeg prøver å unngå det. Sånne blekksprutkabler er bare plunder og heft.

Jeg har ikke slikt utstyr hjemme, så jeg har aldri satt opp noe slikt på fysiske windowsservere. Jeg kan desverre ikke hjelpe deg noe mer med dette.

 

EDIT: Bare for å sette litt i perspektiv hvilke hastigheter du prøver å få til. De siste serverene jeg satte opp hadde noen småfriske CPU'er med 48 kjerner og 1,5TiB minne. De skal kjøre VMware og ble koblet til med 2x10GbE. Og selv der var det 2 linker like mye for redundans som at vi trenger hastigheten...

Endret 15. januar 2021 av oyoygard

[aklla]

Er dette ett forsøk på ethernet(og internet) over infiniband igjen?

[LMH1]

aklla skrev (6 timer siden):

Er dette ett forsøk på ethernet(og internet) over infiniband igjen?

Nei ikke nødvendigvis hvis man kan ungå det, er mere å få svar hva som må til å få satt opp å virke.

[kpolberg]

Som nevnt tidligere i tråden, Mellanox kortet ditt støtter ikke 4x10 Gbps Ethernet modus. Så det kan du bare gi opp med engang.

Hvis du ønsker å kjøre en singel 40 Gbps Ethernet tilkobling, så må du ha denne spesifike utgaven av connnectx 3 kortet. 
MCX353A-FCBT/MCX354A-FCBT. Altså, MPO kabelen din har ingen nytteverdi.

EDIT: merk, FCBT, hvis kortet ditt er QCBT eller TCBT, så er maks Ethernet 10 Gbps.

ref: 

Endret 16. januar 2021 av kpolberg

[bmork]

58 minutes ago, kpolberg said:

EDIT: merk, FCBT, hvis kortet ditt er QCBT eller TCBT, så er maks Ethernet 10 Gbps.

...og det kan jo fort føles litt tregt i hjemmenettverket

[LMH1]

kpolberg skrev (3 timer siden):

Som nevnt tidligere i tråden, Mellanox kortet ditt støtter ikke 4x10 Gbps Ethernet modus. Så det kan du bare gi opp med engang.

Hvis du ønsker å kjøre en singel 40 Gbps Ethernet tilkobling, så må du ha denne spesifike utgaven av connnectx 3 kortet. 
MCX353A-FCBT/MCX354A-FCBT. Altså, MPO kabelen din har ingen nytteverdi.

EDIT: merk, FCBT, hvis kortet ditt er QCBT eller TCBT, så er maks Ethernet 10 Gbps.

ref: 

Takk for svar men det var litt sent, da jeg har prøvd å stille spørsmål før uten det har blitt besvart.

Men forklar da hvorfor en pc virker? fordi pcen tror det er SFP+ ikke QSFP? For finnes annet kort som ikke støtter MPO i heletatt blir ikke oppdaget. https://www.ebay.com/itm/Intel-XL710QDA1BLK-XL710-QDA1-Dual-Port-40GbE-Ethernet-Converged-Network-Adapter/132707265006?hash=item1ee5f829ee:g:p2gAAOSwSwNbThcd

Så det er billigste som støtter dette? Blir litt dyrt syns jeg.

[kpolberg]

4 hours ago, LMH1 said:

Takk for svar men det var litt sent, da jeg har prøvd å stille spørsmål før uten det har blitt besvart.

Informasjonen synes å være lett tilgjengelig. Det å gjøre seg avhengig av ett forum ser sådan ut til å vise seg å bli dyrt i lengden

4 hours ago, LMH1 said:

Men forklar da hvorfor en pc virker?

Virker den da? Du har jo ikke fått 40 gbps som du har satt som mål?

4 hours ago, LMH1 said:

fordi pcen tror det er SFP+ ikke QSFP?
 

Vet ikke, du har ikke gitt noen informasjon, annet enn at du påstår at den linker opp på den ene fiberen. Men ingen "bevis" som peker ene eller andre veien.

4 hours ago, LMH1 said:

For finnes annet kort som ikke støtter MPO i heletatt blir ikke oppdaget. https://www.ebay.com/itm/Intel-XL710QDA1BLK-XL710-QDA1-Dual-Port-40GbE-Ethernet-Converged-Network-Adapter/132707265006?hash=item1ee5f829ee:g:p2gAAOSwSwNbThcd

Forstår ikke helt hva du prøver å formidle her?

4 hours ago, LMH1 said:

Så det er billigste som støtter dette? Blir litt dyrt syns jeg.

40 gbps utstyr koster fort vekk litt penger.

[siDDis]

kpolberg skrev (På 16.1.2021 den 17.37):

Som nevnt tidligere i tråden, Mellanox kortet ditt støtter ikke 4x10 Gbps Ethernet modus. Så det kan du bare gi opp med engang.

Hvis du ønsker å kjøre en singel 40 Gbps Ethernet tilkobling, så må du ha denne spesifike utgaven av connnectx 3 kortet. 
MCX353A-FCBT/MCX354A-FCBT. Altså, MPO kabelen din har ingen nytteverdi.

EDIT: merk, FCBT, hvis kortet ditt er QCBT eller TCBT, så er maks Ethernet 10 Gbps.

ref: 

QCBT kan flashes til FCBT, har gjort det selv og koser meg med 40Gbps

Normalt sett er det bare switcher som støtter å splitte en 40GbE til 4x 10G, det er svært få nettverkskort som støtter dette.

Endret 22. januar 2021 av siDDis

[kpolberg]

9 hours ago, siDDis said:

QCBT kan flashes til FCBT, har gjort det selv og koser meg med 40Gbps

Link til firmware?

Edit: Fant det jeg trengte av info her https://forums.servethehome.com/index.php?threads/flashing-stock-mellanox-firmware-to-oem-emc-connectx-3-ib-ethernet-dual-port-qsfp-adapter.20525/post-198015

Endret 22. januar 2021 av kpolberg

[LMH1]

siDDis skrev (8 timer siden):

QCBT kan flashes til FCBT, har gjort det selv og koser meg med 40Gbps
Normalt sett er det bare switcher som støtter å splitte en 40GbE til 4x 10G, det er svært få nettverkskort som støtter dette.

Men hva er risikoen kan nettverkkortet slutte å fungere?  Hvorfor er det slik switcher kun ha støtte splitting? nå er ikke ytelsen største problemet er heller å få det å virke med flere pcer, kunne delt på 10 gigabit på 4 om jeg hadde fått det å virke, for er mest for opplæring og testing egentlig. Men forstår ikke hvorfor QSFP+ finnes når eneste forskjellen er connector og ikke ytelse.

[siDDis]

Bruksområdet for å ha 4x 10GbE på en maskin er ganske snevert fremfor en switch som automatisk får 4x ekstra servere tilkoblet med split.

En 32 port QSFP switch får plutselig opptil 128 porter, selv om noen switcher også har begrensing på antall QSFP porter som støtter 4x splitt.
Arista 7050QX-32 som er den mest aktuelle switchen for homelab idag som koster ca 7000kr fra Ebay støtter f.eks maks 96 10GbE porter. Altså maks 24 av de 32 qsfp portene kan brukes til 10GbE. Men altså, 96 fysiske 10GbE linjer til hjemmelab er overkill! Selv majoriteten små bedrifter har ikke bruk for den kapasiteten.

Men 40GbE, NVMe-oF og RDMA er digg å ha idag!