Spørsmål rundt bruk av nettverkskort med 40 GB/S med InfiniBand på nyere OS

[ilpostino]

I april bygget jeg en ny maskin. Den gamle maskinen ble da stående som "server" for filer og multimedia. (Jeg skriver her server i anførselstegn ettersom det frremdeles kjører Win10 men planen er å bytte ut hardware og OS på den etterhvert).

Begge maskinene har 1GB nettverskskort og snakker sammen via en enkel switch. Ettersom jeg driver med en del redigering av bilde- og videofiler kunne jeg tenke meg å få piffet opp hastigheten mellom de for å slippe av nettverket er flaskehalsen.
 
En kunne sikkert fint klart seg med 10GB nettverk men nerden over meg vil meg vondt av og til så det blir antageligvis en eller annen variant av InfiniBand i heimen. For 10GB nettverksoppsett kan en fint klare seg med ASUS XG-C100C, CAT 6a nettverkskabel og en 10GB switch. De fleste norske nettbutikkene jeg har lett etter slikt utstyr hos tar ~5000 kroner for switcher med mange 10GB porter. ASUS XG-U2008 har to stykk 10Gb porter og åtte stykk 1GB porter om kan brukes hvis du har få enheter i nettverket med høyere båndbredde. 

Opprinnelig hadde jeg sett meg ut to 10GB-kort hos Komplett men en kollega tipset meg i går om InfiniBand som gir enda raskere hastighet på nettverket mellom maskinene. Nettverk som bruker InfiniBand kan komme opp i 200 gbit/s så er det viktig at resten av hardwaren på maskinene henger med da det blir ganske mye data som overføres. Det blir dog litt på siden i denne omgang. ut ifra det jeg har sett kan en relativt enkelt og ikke for en så alt for dyr penge sette opp et nettverk med InfiniBand på 40 Gbit/s og det er det denne tråden kommer til å sikte mot.

I et nettverk hvor Ethernet benyttes kan en koble sammen to maskiner direkte ved å bruke en krysset kabel. Dette fordi en nettverkskabel har 8 ledere, to av disse er dedikert til å sende data mend to andre er dedikert til å motta data. Kobler en sammen to maskiner med en vanlig kabel blir det kræsj på lederne som brukes til sending og helt stille på lederne som brukes til mottak. En bruker da en krysset kabel for å ha en endring på hvilke ledere som brukes til sending og mottagelse slik at dette fungerer. Da jeg kom på denne idéen om å sette opp en kobling ved hjelp av InfiniBand var jeg usikker på hvordan man skulle kunne koble sammen to maskiner direkte i det hele tatt da de bruker helt andre kabler uten samme oppdeling av ledere slik det er på Ethernet-kabler.

Idéen jeg hadde var å sette et nettverkskort med to innganger i maskinen som blir brukt som "server" mens maskinen som blir brukt som klientmaskin ville ha en inngang. Serveren ville da ha mulighet til å få koblet til en maskin til hvis jeg kom til å skaffe meg flere maskiner.

En annen ting som jeg hadde en viss bekymring for var drivere og hvilket (klient)OS som ble støttet da jeg enn så lenge satt med to maskiner med klient OS Windows 10.
 
Mellanox er en ledene leverandør av InfiniBand utstyr og de har blant annet nettverkskort i kategorien ConnectX-3 (dataark kan du finne her) og ConnectX-2 (dataark kan du finne her). Det er noen forskjeller i hva disse har driverstøtte for og det kan sees i denne tabellen. I korte hovedtrekk støtter ConnectX-2 PCIe 2 mens ConnectX-3 PCIe 3. Det er dog en del andre forskjeller og da henviser jeg til lenkene på de forskjellige lenkene i dette avsnittet. 
 
Når det gjelder kabler som brukes til InfiniBand kan det brukes en haug forskjellige kabler men så langt jeg har skjønt er hvilken kabel som er best å bruke avhengig av hva du skal koble sammen. Når man er inne på kabler bør vel også kontakter nevnes QSFP, QSFD+,  QSFP28 og QSFP56 er de vanligste kontaktene. Les denne artikkelen på Wikipedia hvis du vil vite mer om forskjeller på disse kontaktene. 

Jeg vurderer å kjøpe nettverkskortet Mellanox MCX313A-BCBT. I følge dette produktarket finnes det driver til Windows 2012 R2. Hvordan fungerer det å installere driveren på Windows server 206 eller 2019?

White papers og kilder: 
InfiniBand @ Wikipedia (Engelsk versjon). 
Introductin to InfiniBand white paper. Skrevet av mellanox.


## Jeg har lagt inn mye mer informasjon i denne førsteposten enn det som var tilfelle da jeg startet tråden. Dette er dels for å samle sammen informasjon som jeg selv har lest og gi informasjon videre til andre på forumet som kan være interessert i å begynne med InfiniBand. Jeg kommer til å legge inn mer informasjon i denne posten etter hvert slik at nyttig informasjon er samlet i en post. ##

Endret 28. september 2019 av ilpostino

[Syar-2003]

Ifølge produsenten skal du ha driver WinOF for ConnectX-3 kort (MCX313A..)

 

https://www.mellanox.com/page/products_dyn?product_family=32&mtag=windows_sw_drivers

 

 

Og der står det Win 2012,2012R2, 2016 og 2019 for driver 5.50.5200

[ilpostino]

Ifølge produsenten skal du ha driver WinOF for ConnectX-3 kort (MCX313A..)

 

Og der står det Win 2012,2012R2, 2016 og 2019 for driver 5.50.5200

 

Ja, der ser du    

 

Drev å så på dette tidligere i dag. Jeg ser på meg selv for å være en veldig teknisk oppegående person men da jeg leste meg opp på den type kort og kabler tidligere i dag innså jeg hvor lite jeg skjønte.

 

Jeg antar samme driver funker på dette kortet? (planen er å ha den med singel port på klientmaskinen og den med dual port i en server. ved å ha to porter tar jeg høyde for framtidige oppdateringer med å kunne ha direkte tilkobling til to maskiner)

[Syar-2003]

Står jo at driveren funker med alle ConnectX-3 kort. Men for å være sikker på forhånd må man vel se på PCI/Dev ID i INF filen til driveren.

[ilpostino]

For enkelthets skyld går jeg for to nettverkskort og en kabel men må jeg ha switch eller lignende igjennom eller går det å koble kabelen fra det ene kortet til det andre? 

[Gjest Slettet-t8fn5F]

For enkelthets skyld går jeg for to nettverkskort og en kabel men må jeg ha switch eller lignende igjennom eller går det å koble kabelen fra det ene kortet til det andre? 

Skal du sende trafikk ut det ene kortet og inn igjen på det andre kortet på samme maskinen?

[ilpostino]

Skal du sende trafikk ut det ene kortet og inn igjen på det andre kortet på samme maskinen?

 

Et kort i hver maskin med kabel i mellom som sender trafikk begge veier. Kunne sikkert hatt singel port kort men på grunn av muligheter for utvidelser senere flesker jeg til med dobbel port selv om det sikkert er unødvendig. 

[Gjest Slettet-t8fn5F]

Et kort i hver maskin med kabel i mellom som sender trafikk begge veier. Kunne sikkert hatt singel port kort men på grunn av muligheter for utvidelser senere flesker jeg til med dobbel port selv om det sikkert er unødvendig. 

Det er ikke helt greit å forstå hvilket oppsett du har.

 

Men på generelt grunnlag, så må du bruke Link aggregering om du skal "doble" hastigheten ved å bruke 2 kabler som en kabel.

Bruker du 2 kabler, så må alle 4 portene som er involvert, må være satt til samme type på hastighet og duplexering.

 

Skal du fordele arbeidsmengden mellom to "servere", må du bruke en form for lastbalansering.

Endret 27. september 2019 av Slettet-t8fn5F

[ilpostino]

Det er ikke helt greit å forstå hvilket oppsett du har.

 

I april bygget jeg en ny maskin. Den gamle maskinen ble da stående som "server" for filer og multimedia. (Jeg skriver her server i anførselstegn ettersom det frremdeles kjører Win10 men planen er å bytte ut hardware og OS på den etterhvert). Begge maskinene har 1GB nettverskskort og snakker sammen via en switch. Ettersom jeg driver med en del redigering av bilde- og videofiler kunne jeg tenke meg å få piffet opp hastigheten mellom de for å slippe av nettverket er flaskehalsen.

 

Opprinnelig hadde jeg sett meg ut to 10GB-kort hos Komplett men en kollega tipset meg i går om infiniband som gir enda raskere hastighet på nettverket mellom maskinene. (Kommer det opp i hastighetene på ~40GB så er det viktig at resten av hardwaren på maskinene henger med men det blir litt på siden i denne omgang). 

 

Minste motstand vei er å ha en nettverkskabel som går mellom maskinene, subsidiært å sette inn en switch som fungerer som mellomledd. 

[Gjest Slettet-t8fn5F]

Slikt sett ja. Det kan nok være morsomt kunnskap å skaffe seg på å lage et slikt nettverke.

Men tror nok økonomisk sett lønner det seg å behandle alt på en maskin og så sende det ferdige produktet til serveren.

Slik jeg så på Komplett, så koster en 10 Gb switch rundt 7' og de kortene var jo 1' stykket. Du kommer langt med en raidkontroller og disker for den summen.

 

Men men. Skal du ha nettverket, så er det bare å kjøre på.

Minste utgift du kan få nå, er to ekstra nettverkekort og en managed switch må til for å kjøre link aggregering. Finnes sikker noen annen løsning, men aggregering er nå Cisco måten.

[ilpostino]

Det er norske butikker som fører ASUS XG-U2008 til cirka 2200 kroner. Den har 2x 10Gb porter og 8x 1Gb porter så jeg kunne (antageligvis) brukt den sammen med nettverkskortene jeg lenket til over. Det ville vært plug  & play og kostet cirka 4.500. Den andre løsningen med 40GB nettverk ville vært plug & pray men ditto morsommere og fått til (og en del dyrere). Vil det være verdt det? Antageligvis ikke. 

I den nye maskinen har jeg plass til 2 M2-disker. Jeg har allerede en 500Gb M2 som systemdisk og jeg kunne sikkert fått en ganske stor M2-disk til prisen av hva de andre løsningene koster og brukt den som datadisk. Jeg har vel cirka 700GB med bilder + diverse dokumenter så jeg kunne klart meg med en M2-disk som ikke hadde hatt all verdens plass.

[ilpostino]

En liten oppdatering. I følge dette white paperet kreves en swich i et infiband-nettverk for at det skal fungere så da vurderer jeg å skaffe et nettverksport med en utgang istedenfor to porter. Jeg kunne sikkert bruke nettverksporter med to utganger og bruke Link aggregering men det blir nok antageligvis overkill for mitt bruk. det er et par infiband switcher på eBay så får se hva jeg havner på. 

[Selle]

Dette e ikke noe jeg kan noe om, men etter litt kjapp googling finner jeg ikke noe som tyder på at dette ikke skal fungere fint uten switch

 

https://serverfault.com/questions/678532/connect-two-infiniband-cards-to-each-other-without-a-switch

 

https://en.m.wikipedia.org/wiki/InfiniBand

InfiniBand is also used as either a direct or switched interconnect between servers and storage systems, as well as an interconnect between storage systems.

[ilpostino]

Dette e ikke noe jeg kan noe om, men etter litt kjapp googling finner jeg ikke noe som tyder på at dette ikke skal fungere fint uten switch

 

Takk for lenker. Skal sjekke. Jeg skal ikke påstå jeg kan så mye om dette selv og det gjør det litt ekstra deilig om / når jeg får det til å fungere. 

 

Opprinnelig så var tanken på å ha et UnfiBand-nettverkskort i hver maskin, sette ip-adresse på de og konfigurere for eksempel HOST-filen i Windows til å gå via UnfiBand-nettverkskortet (fremfor det vanlige nettverkskortet som gir internett) når den skal kontakte den andre maskinen direkte. 

[Nizzen]

Jeg gleder meg til resultater

Dette blir potensielt "infiniband tråden"

 

Stå på, og fortsett med å gjøre forumet bedre

[ilpostino]

Dette blir potensielt "infiniband tråden"

 

Det kan fort bli det.  

 

Jeg har oppdatert førsteposten en god del for å ha et sted hvor informasjon blir samlet. 

[BearCat]

Bare en liten kommentar til post1, hvor du nevner "kryssa kabel", 

de fleste nettverkskomponentene av "nyere dato" støtter Auto-MDI-X og foretar nødvendig "kryssing" selv med 1-til-1 kabel.

[[Infected]]

Det skal fungere fint med point-to-point med IB.

 

Naar jeg tenker meg om har jeg faktisk aldri kjort det oppsettet med QDR og nyere, men med SDR og DDR fungerer det fint, så kan ikke se hvorfor det ikke skal være tilsvarende med QDR.

 

For å etablere en link må du ha en 'subnet manager' kjørende på en av maskinene.

 

Forøvrig, du vil ikke kunne 'route', forwarde, eller gjøre noe annet "gøy" med IB, dvs. du kan ikke ha ett multiport i en server og to klienter-- en på port hver og sende data mellom disse.. kan jukse med ipoib og noe høyere i stack'en, men da er jo "IB" litt redundant uansett siden disse er multi-personality-kort.