10Gbps nettverk, SFP+ vs FC vs Infiniband vs 10GBase-T

[KongTruls]

Hei, vi har et Hadoop datavarehus med 20 servere idag. Vi vurderer å oppgradere dette til 100+ servere i løpet av neste år. Det blir iværtfall 50+ servere

 

Vi har frem til nå brukt vanlig 1000Base-T nettverk og har vært fornøyd med dette. Men det har etterhvert blitt en større flaskehals og vi vurderer raskere nettverk.

 

Det er fordeler og ulemper med alle teknologiene, har dere noen erfaringer/innspill? For oss er pris veldig viktig, vi foretrekker "commodity" fremfor "enterprise".

[Professor Balthazar]

Rent kablingsmessig så snakker vi vel om 4-par kopperkabel hvor nettet oppfyller sambandsklasse Ea (bygget med Kat.6A materiell), eller sambandsklasse OF-300 bygget med OM3 multimode-fibermateriell eller OS1singelmode-fibermateriell.

 

Rent kablingsmessig så blir det ikke store forskjellene hva du bruker. Sambandsklasse Ea er nok billigst, men begrenser deg til maks 100 meter med kabel. Med OM3 fiber kan du gå 300 meter og med OS1 fiber kan du gå flere kilometer.

 

Elektronikk for 10GbE over fiber har eksistert i mange år og det finnes en rekke forskjellige protokoller (som ikke snakker med hverandre). Elektronikk for 10GbE over kopper har også eksistert noen år nå og prismessig så er vel dette en vinner i dag. 10GBase-T er en gjeldende standard som må sies å stå sterkere enn alle variantene som finnes innen fiber. Velger du fiber så vil du imidlertid stå sterkere den dagen du ønsker å oppgradere til 100GbE.

 

Vær oppmerksom på at bygging av slike datanett er regulert som en del av Norsk lov, EKOM-forskriften, og at nettet da må prosjekteres etter NEK EN 50173-5:2007/A1:2010 og bygges i henhold til NEK EN 50174.

 

  Endret 2. oktober 2015 av Professor Balthazar

[KongTruls]

Takk for tilbakemelding. Det er EKOM-greiene dropper vi. Blir det et problem, så tar vi det senere. Som bedrift idag er det ikke tid til å drive på med enda mer byråkrati. Har jo ingen planer om å dele dette nettverket med andre aktører.

 

Vi har en annen oppfatning en deg kanskje når det gjelder 10GBase-T. For når jeg sammenligner dette med de andre så står den fort svakest. Jeg forstår at det er en fordel med å bruke "lik" eldre teknologi. Men når vi snakker om kanskje 20-40 switcher om noen år, så vil 10GBase-T klart bruke mye mer strøm i datasenteret vårt, selv om norsk strøm er billig så blir det en betydelig ekstra kost. At 10GBase-T også har vesentlig høyere forsinkelse enn de andre alternativene er også en ulempe. Prismessig i investering så ligger det ca likt de andre. Noenlunde billigere kabling, men som fort blir spist opp av det ekstra strømforbruket per port. På kort sikt, noe billigere, på lengre sikt 5-10år så blir det dyrere. Er dette noe du har sett igjennom og sammenlignet? Eller tar jeg feil?

[siDDis]

Det er stor forskjell mellom 10GBASE-T og SFP+ i strømforbruk per port.

 

 

Eg meiner at SFP+ er billigare, enklare og meir framtidsretta enn tradisjonell BASE-T. Verken Fiber, Tranceivere eller SFP+ Twinax kabler koster mykje lengre. Twinax er heilt ok når vi snakker om små avstander og fiber er veldig billig på lengre avstander. Svitsjer er enda dyrt, er mogleg å få tak 48 porters 10G SFP+ under 25000kr.

 

Andre alternativet er infiniband som er veldig billig også når du inkluderer svitsjer, men det er ikkje lengre ethernet og krevje ekstra å setja seg inn i.

[Professor Balthazar]

Nei det med effektforbruk og varmeutvikling har jeg ikke sett på. Dette kan jo helt klart fort trekke opp kostnadene med å velge kopper. Hvorfor mener du at 10GBase-T har en høyere forsinkelse. Går ikke 10GbE unna med den samme hastigheten uansett hvilken teknologi som ligger i bunnen? Jeg er imidlertid ikke i tvil om at fiber er mer framtidsrettet og har mer potensiale. Men jeg mener nå fortsatt at 10GBase-T er en mer solid og åpen standard. Sammenligner du med fiber så er det langt flere standarder å forholde seg til. Bare Cisco har 12 forskjellige fysiske grensesnitt og innen disse 12 standardene er det i tillegg mulig å tråkke feil dersom man mikser forskjellige typer fiberkabel eller forskjellige typer fiberplugger innen samme link. Om dette er viktig for dere eller ikke vet jeg ikke. Cisco har disse grensesnittene for 10GbE over fiber. Ingen av disse er kompatible med hverandre:

Cisco SFP-10G-SR-S
Cisco SFP-10G-SR
Cisco SFP-10G-SR-X

Cisco SFP-10G-LRM

Cisco SFP-10G-LR-S

Cisco SFP-10G-LR
Cisco SFP-10G-LR-X

Cisco SFP-10G-ER-S^****

Cisco SFP-10G-ER^****

Cisco SFP-10G-ZR-S

Cisco SFP-10G-ZR

Cisco FET-10G

[siDDis]

Dei fleste rimelige transceivere eg finner for SFP+ bruker LC.  Cisco har vell transceivere som støtter det også?

 

Latency er betydelig mye verre med 10GBase-T enn SFP+ Twinax eller fiber. Dette har eg også testet og kan bekrefte. Men latency har ikkje så veldig mykje betydning for MapReduce jobbene i Hadoop. Muligens namenoden er meir avhengig av det? Men gamere ønsker jo lavest mogleg latency

[siDDis]

Bør vell legge til at i datasentere med såkal top of rack (ToR) arkitektur så begynner det å bli eindel hops og latency med 10GBase-T vil begynne å bale seg oppover. F.eks minnet/RAM på ein datamaskin har ca 120ns latency, da blir fiber latency ca like raskt ved ein hop. Ein SSD har typisk 50-150us. Så ja det har en betydning om mye data skal overføres med minst mulig forsinkelse, uten at jeg kan tenke på noen andre praktiske eksempler enn high frequency trading.

Endret 2. oktober 2015 av siDDis

[Professor Balthazar]

OK, klarer ikke å henge med på dataspråket, men det virker fornuftig det du sier. Da er det to sterke grunner for å velge fiber. Er imidlertid litt usikker på om vi er enige når det gjelder den store mengden med forskjellige grensesnitt, protokoller, fibertyper og fiberkonnektorer. Joda, de aller fleste SFP+ modulene bruker fiberpluggen LC, men det gjør dem ikke kompatible. Jeg ser en stor fare med å bruke propritære grensesnitt. Resultatet blir gjerne at du låser deg til en leverandør/produsent på elektronikksiden og således mister muligheten for å sette inn elektronikk fra andre produsenter. En produsent som klarer å havne i en monopolsituasjon vil neppe være veldig prisgunstig over tid.

Endret 3. oktober 2015 av Professor Balthazar

[siDDis]

Heilt einige. Det er vell tranceiveren og ikkje fiberkabelen som står for kompatibilitet. Eg veit at Cisco, HP, IBM osv har drevet på med innlåsning tidligare til ein viss grad, men idag så kan ein finne dette betre ut med å finne ut om produktene har MSA spesifisert.

[Professor Balthazar]

Heilt einige. Det er vell tranceiveren og ikkje fiberkabelen som står for kompatibilitet. Eg veit at Cisco, HP, IBM osv har drevet på med innlåsning tidligare til ein viss grad, men idag så kan ein finne dette betre ut med å finne ut om produktene har MSA spesifisert.

Ikke bare. I all hovedsak så er det vel fibertype OM3/OM4 og OS1/OS2 som brukes på 10GB nett, men det er all grunn til å holde tunga rett i munnen. Det er også all grunn til å spørre elektronikkleverandøren om han bruker åpne SFP+ porter som godtar bruk av 3.-parts leverandører av trancivere. Når en velger hvilken protokoll og trancivertype en implementerer i nettet så er det like viktig at en velger åpne protokoller som er akseptert av flere elektronikkprodusenter. De store (Cisco, HP osv), vil gjerne forsøke å låse opp kunden. Som et ressultat av dette ser vi ofte at Cisco kan forlange 10000,- for en tranciver som er bortimot identisk med en 3.-parts tranciver til 400,-. Når da Cisco samtidig legger inn blokkeringer for å kunne bruke 3.-parts utstyr så er i realiteten kunden låst. hele denne problemstillingen kan man unngå med å velge et rimeligere system som bruker grensesnittet 10GBase-T (dersom man klarer å leve med hastigheten som tilbys, samt effektforbruket og varmeutviklingen).

Endret 3. oktober 2015 av Professor Balthazar

[KongTruls]

Takk for veldig bra svar fra dere. Ser ut som at SFP+ er blitt ganske billig idag, og hva dere skriver om latency og strømforbruk er veldig interessant og viktig for oss!

 

Vi vil gjøre en vurdering av SFP+ og Infiniband. For oss er ikke klassiske brands som Cisco eller IBM viktig. Vi ser at f.eks Mellanox, Brocade, Quanta er veldig populære alternativer også.

 

Vi ser at vi kan få dekket rundt 50 tilkoblinger med SFP+ for en investering under 50000kr. For Infiniband rundt 30000kr. Vi lener oss mest mot Infiniband, men vi må nok gjøre litt mer research med å teste disse to før en endelig konklusjon.