Mellanox MHRH2A-XSR QSFP

[kpolberg]

Windows vet jeg ikke. Har heller aldri prøvd å putte disse kortene i en vanlig maskin. Men sånn generelt sett burde det jo fungere. Eneste forskjellen jeg vet om, er at du må hente ned eventuell ny firmware fra HPE, vanlig mellanox firmware kan ikke flashes på disse kortene.

[LMH1]

Var litt lite hjelp, tror du QSFP+ vil noen gang være standard? eller vil heller CAT8 og 40 gigabit ethernet basert på rj45.

For problemet er også det blir for dyrt å skaffe switch og router til slik, er ille nok med SFP+ Så blir jo poengløst. Men er jo morsomt å teste hvis man ikke får noe som ikke funger. Vet jo FreeBSD har dårlig støtte for sfp+.

Men hva tror skjer hvis man kobler HPE InfiniBand FDR / Ethernet 10 / 40 Gb Dual-port Adapter 544+QSFP 764284-B21

Blir det 10 gigabit hvis man ikke aktiver infiband? Så er bortkastet  Så du mener: https://www.mellanox.com/products/adapter-software/ethernet/windows/winof-2 vil ikke fungere? For mener jeg installerte drivere med mitt SFP+ kort, selv om driveren er beregnet på windows 2020 server. For står driveren finnes på serveren men har mine tvil når SFP+ trenger drivere.

Noe slik man kobler opp InfiniBand?

Endret 9. juni 2020 av LMH1

[kpolberg]

QSFP+ er allerede en standard, så litt usikker på hva du mener? 40G over vanlig catX kabel med rj45 plugger tror jeg det blir en lang stund til vi ser. Til og med 10G over cat6a / cat7 er uvanlig.

Forøvrig ser det ut til at 25G har blitt vinneren på server siden. Det er ihvertfall det vi får nå på ToR switchene med 100G til core.

FreeBSD har god støtte for mange high-end nettverkskort, og disse kortene får man ofte med mulighet for sfp+ moduler. Husk at sfp+ modulen er helt «dum» og kan byttes mellom stort sett alt av leverandører (utenom Aruba og Cisco).

Hvis du kobler to av de kortene sammen vil jeg anta at du får 10G i ethernet modus og 40G i Infiniband modus. 

Jeg kjenner ikke til Windows, men selve SFP+ modulen trenger ingen drivere, den kommunikasjonen tar HCAen (Infiniband kortet) seg av. Windows må ha en driver, men jeg kan ikke se for meg at du ikke vil klare å finne driver til dette kortet. Vil anta at du finner det rimelig kjapt hvis du bruker 2 kalorier på å søke litt på HPE sine support sider.

Endret 9. juni 2020 av kpolberg

[sk0yern]

LMH1 skrev (5 timer siden):

Var litt lite hjelp, tror du QSFP+ vil noen gang være standard? eller vil heller CAT8 og 40 gigabit ethernet basert på rj45.

Noe slik man kobler opp InfiniBand?

Hva er use-casen din egentlig?
Og hvorfor tror du infiniband er løsningen?

[LMH1]

Håper vel å få litt mere erfaringer siden er ganske lite per dags dato.

[LMH1]

kpolberg skrev (15 timer siden):

Windows vet jeg ikke. Har heller aldri prøvd å putte disse kortene i en vanlig maskin. Men sånn generelt sett burde det jo fungere. Eneste forskjellen jeg vet om, er at du må hente ned eventuell ny firmware fra HPE, vanlig mellanox firmware kan ikke flashes på disse kortene.

Prøve å høre med annen selger:

HP InfiniBand FDR/Ethernet 10/40Gb 2-port 544FLR-QSFP 649282-B21 656090-001

Selgeren mener denne ikke vil fungere med fedora eller windows 10, syns det er litt rart. Men godt mulig det er riktig?

[kpolberg]

Hva mener han det fungerer med da?

[LMH1]

Sitat

	Kompatibler Anschluss/Steckplatz:	Flexible LOM Rack (FLR)
Produktart:	Kabelgebunden	Netzwerkanschlüsse:	40 Gbps (QDR) InfiniBand, 40GbE/10GbE (QSFP+)

Så forstår ikke hvorfor alt ikke bruker PCI-E Flexible LOM Rock har jeg aldri hørt om før.

[oyoygard]

Hvis du aldri har hørt om det så er det vel ikke det du skal ha, da.....

[barfoo]

8 hours ago, LMH1 said:

Så forstår ikke hvorfor alt ikke bruker PCI-E Flexible LOM Rock har jeg aldri hørt om før.

Grunnen til at FLOM finnes er at det er enklere for HPE. Når jeg bestiller en server, setter de inn CPU, RAM og FLOM etter mine ønsker. Resten er hyllevare. At det koster firegangen av andre nettverkskort er uviktig; jeg vil bare ha en server som kan dyttes inn i racket, og funke uten knot.

Det gjør hverdagen min enklere, og øker profitten til HPE. Win-Win!

[LMH1]

HP ProLiant XL170R Gen9 - FLOM PCIe-x8 Riser Module

Men er det virkelig så dyrt

£42.00

Inc. VAT for å konvertere dette fra pci-e? Eller tror du det antakelig ikke vil fungere heller?

[barfoo]

Når skal du forstå at pris på ting er avhengig av annet enn produksjonskostnad? En stor del av servermarkedet er priset ut fra betalingsvilje. Delen du lenker til koster sikkert 3-4000,- ifølge prislistene til HPE - også har alle kunder 50% rabatt på det.

De som kjøper rackservere vil ha ting som fungerer, uten å bruke tid på det, og uten nedetid. Det er viktigere enn pris. En dual socket boks med 384GiB RAM koster mindre enn månedslønnen min. Om nettverkskortet koster 500,- eller 5000,- er i så måte uviktig, så lenge det fungerer.

Forøvrig bør du holde deg til helvete unna alt fra HPE, med mindre du har HPE-maskiner, for ellers ender det bare i klaging over at det ikke fungerer. Det gjør det forsåvidt uansett, når jeg tenker meg om.

[Big_JT]

500 kroner for et brukt kort til å koble et nettverkskort til hovedkort vil jeg ikke kalle billig....

Men som barfoo sier. Dette trenger du ikke med mindre du har en HPE server.

[LMH1]

barfoo skrev (13 timer siden):

Forøvrig bør du holde deg til helvete unna alt fra HPE, med mindre du har HPE-maskiner, for ellers ender det bare i klaging over at det ikke fungerer. Det gjør det forsåvidt uansett, når jeg tenker meg om.

Så er kun intel\Mellonox eller Realtek som er noe på nettverkkort fortiden?

Sitat

500 kroner for et brukt kort til å koble et nettverkskort til hovedkort vil jeg ikke kalle billig....

Men er jo slik det er noen ganger, kunne håpet det fantes noe på ebay men er jo slik det er. Totaltsett koster det rundt 1000 kr for 40 gigabit kort, men er fremdeles usikkert om det vil fungere eller om vil få problemer med drivere med pci-e.

[barfoo]

29 minutes ago, LMH1 said:

Så er kun intel\Mellonox eller Realtek som er noe på nettverkkort fortiden?

Det var ikke det jeg skrev. Forøvrig er HPE sine NIC stortsett rebrandet.

30 minutes ago, LMH1 said:

Men er jo slik det er noen ganger, kunne håpet det fantes noe på ebay men er jo slik det er. Totaltsett koster det rundt 1000 kr for 40 gigabit kort, men er fremdeles usikkert om det vil fungere eller om vil få problemer med drivere med pci-e.

Problemet er at du ikke har oversikt over teknologien, og derfor kjøper feil produkter, og sliter med å få de til å fungere. Du er ute etter ethernet, ikke infiniband eller lignende. 

Kjøper du bog standard ethernetkort i den hastigheten du ønsker, så vil det stortsett fungere. Det er ikke mer magi enn det. For eksempel Intel X-520.

[siDDis]

Om du ønsker 40G ethernet så anbefaler jeg disse nettverkskorta
https://www.ebay.com/itm/HP-656089-001-Infiniband-10-40GB-DP-NIC-649281-B21-Full-Profile/183999048540?epid=1701480168&hash=item2ad732ab5c:g:p7QAAOSwlsVemHTb:sc:USPSPriority!07036!US!-1
 

Det er flere guider på nettet på hvordan du kan flashe de med nyere firmware så du unlocker 40GbE. Disse fungerer også med Infiniband, men det har jeg ikke testet.

Mellanox har aktive fiber kabler, altså som har transceivere på endene akkurat som coax kablene, og da får du noen ekstra meters rekkevidde også.
https://www.ebay.com/itm/HP-Mellanox-670760-B23-SPS-CA-Active-Optical-Fiber-40GE-40GB-QSFP-7M-670857-001/373051499450?hash=item56db9a23ba:g:Ff4AAOSw549evGtx
 

Så totalt ca 1000kr + frakt og mva som vil ende opp totalt mellom 1500-1600kr for å få 40GbE.
Jeg bruker dette mellom NAS'et og en større server jeg har for å dele iSCSI disker til virtuelle maskiner. Fungerer knallbra!

[LMH1]

Sitat

Subtotal (1 item)	US $24.00
Shipping	US $66.93
VAT	US $22.73
Order total	US $113.66

Blir fort over 2000 kr bare nettverkkort og kabeler, + eventuelt returfrakt hvis ikke det funger.

Så blir vel også dyrt med switch.

Sitat

Jeg bruker dette mellom NAS'et og en større server jeg har for å dele iSCSI disker til virtuelle maskiner. Fungerer knallbra!

Så det er samme med SFP+ like enkelt å plugge til, eneste ulempen er infraband som er vanskelig å sette opp? Ville vært fint om dere har guide på det. Er ikke superhast foreløpig siden har sfp+ og 2,5 gigabit ethernet, men kunne vært fint å teste noe slik.

Endret 15. juli 2020 av LMH1

[Gjest Sletttet+98134]

"Infraband" - forøvrig deilig å se at du kalkulerer med returfrakt «hvis det ikke funger» ?

Endret 15. juli 2020 av Sletttet+98134

[kpolberg]

Bare så det er sagt, under 3000 kr for 40 GbE er latterlig billig.

[siDDis]

Switcher med 40GbE bråker for mye etter min smak, men uansett så er det ikke mange plasser du trenger 40GbE i et hjemmenettverk. Jeg bruker det mellom 2 maskiner, og trenger ikkje switch. For å få maskinen tilkoblet med resten av nettverket så brukes vanlig 1GbE i tillegg.

Bruk dropshipping når du handler fra Ebay, f.eks til jetcarrier.no, mye billigere enn Ebay shipping.
Returfrakt er ikke vits å tenke på, du handler brukt og da har du ikke garanti. Må du ha dette, så må du også betale dyrt for det