For mye av det gode... 10Gbit WAN

[ThaJaCkal]

Heisann!

 

Tenkte jeg skulle rote litt rundt i hodene til de som sitter her inne for ideer.

 

Vi har ett LAN party i Norge, og har lenge hatt ca 100 deltakere og hatt en lokal ISP som har levert 1Gbit til oss uten problem. Dette har vi kjørt igjennom en Workstation PC med 2stk 1G ethernet kort, og den har greid brasene bra.

 

Vi har aldri hatt mer en en ekstern adresse ut mot internett, men dette har heller ikke vært noe problem da de fleste nye spill idag er inteligente nok til å jobbe seg rundt dette. Unntaket har som regel vært PSN og ligenede.

 

Vi skal nå muligens flytte til nye lokaler og vår ISP har derfor slått på stortrommen, og sier at de kan levere 10Gbit. Med på laget kan vi da få 5 addresser om vi ønsker dette. Men siden de er en relativt liten ISP, har de ikke de 350 addressene som vi behøver for å gi til alle deltakerne eksternt.

 

Det er her jeg vil lufte deres tanker på dette forumet. Hvordan ville dere ha gjort dette best? Vil en server med 2x 10Gbit interface greie å håndtere en slik last? Det er jo snakk om store mengder data?

Samtidig er det jo langt ifra sikkert at vi greier og bruke hele denne linjen vi får. Men vi vil jo vel ha muligheten uansett? Ting blir jo stadig mer krevende når det kommer til internett.

 

Ut til bordene har vi to linker på 1Gbit (litt for redundanse, og litt for hastighet). Så maks pr bruker bil jo uansett bli 1Gbit, da bordswitchene kjører dette.

 

Ideer og forslag taes imot med takk, men før dere reagerer på vår mangel på aktive addresser, så er dette ikke noe å ta opp. 5 er det vi har...

[MegaMann2]

Posten min er basert på at dere ikke har en egen hardware firewall.

 

Den absolutt tyngste oppgaven en (software) ruter har i ditt tilfelle er å gjøre NAT og firewalling. NAT på 1 Gbit krever alt en god del, men når man kommer opp i 10 Gbit NAT så begynner kravene til hardware fort å stige.

 

Har dere vurdert å få sponset/leid rutere/brannmur som kan håndtere 10 Gbit NAT?

 

Jeg er ikke sikker på hvor kraftig hardware du vil trenge for å gjøre software NAT med 10 Gbit rate, eller om det i det hele tatt er mulig. Det vil kreve en rimelig heftig CPU. Hvis dere firewaller noe så vil det og kreve mye av CPUen. Googlet litt raskt og fant en som kjørte pFsense 2.4 med 2x E5-2667 v4 med turbo aktivert, kan klarte dytte rundt 6.2 Gbit mellom WAN og LAN.

 

Jeg vil nesten tro du blir nødt til å gå for en ruter/firewall som har ASIC (hardware) støtte for NAT for å klare 10Gbit med NAT og firewall.

 

Kan også gjøre NAT og filtering på en firewall og ha en software ruter til å gjøre rutingen for dere, da vil en CPU klare det fint.

[ThaJaCkal]

Vi har vel egentlig ingen Firewall på LAN. Vi har fri flyt på linja så folk får gjøre det de vil. Vi har bare en NAT server som i dag kjører faktisk PFsense Dette er i dag en Dell Workstation med en I7. Men det er jo bare 1 Gbit, og det er jo bare 10% av det som kan være mulig...

 

En HW gateway er sikkert det beste som du sier, men dette er snakk om litt heftige saker, så spørs det om hvor mye man snakker om i norske kroner imot hva en server evt. koster?

[MegaMann2]

Det beste er nok om dere får låne noe av ISP eller noen andre bedrifter i området som kanskje har noe liggende.

Kan fort bli kostbart å kjøpe for å bruke en ukes tid, og mange av dem er ikke rett frem å sette opp heller. Er ikke sånnt utstyr man finner på komplett.no heller.

 

Om dere kan leve med ikke full 10 Gbit ytelse så er det nok enkleste og billigste å bygge en kraftig Xeon basert server og kjøre pfsense. Det er uansett bedre enn alternativet som er 1Gbit.

Man vil få mye bedre microburst ytelse når man har høyere WAN tilgjengelig enn hva alle deltagerene har tilgjengelig.

[Rim]

Men ISPen støtter vel IPv6? Da vil dere i så fall slippe NAT her. Vet ikke helt hvilke spill som ikke støtter IPv6 men det må jo være et fåtall.

 

En "L3 switch" med 10G interface vil uansett koste rundt 20-30.000 og det er uten NAT og brannmur, så om det er uaktuelt så ville jeg kjørt på det MegaMann2 sier. Kanskje også den PCen dere har og overvåket CPU (ev. RAM) og nettbruk for å se hvor den peaker, altså CPU er på 100%. Når dere har kartlagt maks-hastighet der (f.eks. 3.4Gbps for å ta et tilfeldig tall) be ISP å strupe på 90% av den hastigheten. Om CPU når 100% vil du oppleve pakketap og den får mer å gjøre og så går det bare nedover derfra. Det vil komme 10G konsument rutere etterhvert som vil være mer fornuftig priset. Trolig ikke i 2018 men i 2019 vil det nok finnes. 

[vitty]

alternativt en switch med 10Gb wan  og 10stk. 1gb lanporter eller flere som støtter LACP. 5 servere som takler 2Gb throughput med 4 stk. 1Gb lanporter for LACP. Så deler du linja i praksis opp i 5, og får utnyttet linja nesten like godt.

[siDDis]

Ingen problem å rute 10G på ein moderne PC, med FreeBSD 11 og fastforwarding, så skal du med dagens hardware lett greie over 10 Mpps.

 

Info her:

https://bsdrp.net/documentation/technical_docs/performance

 

Mykje av dette er gamalt, og hardwaren har blitt betydeleg betre sidan den tid.

 

Nasa har også dokumentert at dei kan rute 100G med FreeBSD og commodity hardware.

https://www.nas.nasa.gov/SC16/demos/demo9.html

Endret 25. oktober 2017 av siDDis

[MegaMann2]

Ingen problem å rute 10G på ein moderne PC, med FreeBSD 11 og fastforwarding, så skal du med dagens hardware lett greie over 10 Mpps.

 

Info her:

https://bsdrp.net/documentation/technical_docs/performance

 

Mykje av dette er gamalt, og hardwaren har blitt betydeleg betre sidan den tid.

 

Nasa har også dokumentert at dei kan rute 100G med FreeBSD og commodity hardware.

https://www.nas.nasa.gov/SC16/demos/demo9.html

Jeg klarer ikke se noe som helst om at disse testene er gjort med NAT slik TS har behov for?

 

 

NAT krever masse CPU resursser ettersom hver eneste L3 pakke som ruteren mottar må endres før den kan sendes videre. Man må også lagre states slik at pakker kan rutes riktig gjennom NAT.

[siDDis]

Nå har eg ingen tal på NAT direkte, men NAT har relativ liten overhead samanlikna mot f.eks VPN. IPFW og PF har innebygd NAT og er bygd for å takle over 10 Mpps med ca 10-20 regler for hver pakke.

[MegaMann2]

Nå har eg ingen tal på NAT direkte, men NAT har relativ liten overhead samanlikna mot f.eks VPN. IPFW og PF har innebygd NAT og er bygd for å takle over 10 Mpps med ca 10-20 regler for hver pakke.

Å sammenligne mot VPN treffer ikke helt i denne sammenligningen da de aller aller aller fleste CPUene har hardware-støtte for å gjøre de fleste krypto algoritmene i dag.

 

Det finnes ikke NAT støtte i vanlig CPUer.

 

Selv med god rutingytelse som testene du linker til viser til, så kan de ikke brukes til å si noe om ytelsen hardwaren vil gi med NAT.

[siDDis]

Jo, det er god "NAT støtte" i dagens prosessorer, med Sandy Bridge så kom det noko som heiter DDIO som har gjort at det er heilt vanleg å levere enterprise rutere med Intel Xeon.

[MegaMann2]

Jo, det er god "NAT støtte" i dagens prosessorer, med Sandy Bridge så kom det noko som heiter DDIO som har gjort at det er heilt vanleg å levere enterprise rutere med Intel Xeon.

 

DDIO er en direkte minneaksess (DMA) teknologi, og det kan ikke sammenlignes med krypto støtten man finner på CPU instruksjonsnivå. Når jeg snakker om NAT støtte så mener jeg slik man finner i enterprise brannmurer.

 

 

Jeg har ikke hørt om Cumulus før, men på enterprise nivå skiller man som regel på en firewal/NAT device og en ruter. Jeg har lest litt om Cumulus nå, og den støtter ikke NAT. Jeg vet ikke helt hva du mener med at DDIO hjelper for NAT i Xeon, og så linker til Cumulus som ikke en gang støtter NAT? Klarer heller ikke søke meg til noe informasjon om at BSD kan bruke DDIO for å raskere gjøre NAT.

 

Etter det jeg kan se om DDIO brukt i nettverk er det for å la nettverkskort skrive rett til CPU cache - så det kan redusere en del latency, men fortsatt må alle pakker gjennom CPU for å behandles også sendes inn eller ut fra den NATede sonen, noe som krever mye resursser som nevnt tidligere.

[siDDis]

DDIO hjelper jo betydelig på å kopiere pakker til CPU for pakkeinspeksjon/behandling.

 

Jeg er rimelig sikker på at 10G NAT er ingen problem, men det er jo som du sier ingen informasjon å finne. Og da må jo en teste det selv. Får se til helga om jeg kan få satt opp et miljø å teste det med.

[tingo]

vi venter spent :-)

[ThaJaCkal]

Flott at dette er en diskusjon som har tatt av

 

Har nå en ide om at det kan gå med en relativt greit spekket server som jeg sikkert kan finne på finn.no fra tidligere litt større firma.

 

Ser for meg noe slikt som å ha denne med to 10Gb kort i seg som da går videre til en switch med samme interface kapasitet, men da brukes denne til å ta det hele fra ett single 10Gb til flere 1Gb porter. En port til hver bord switch (Da kan uansett ikke en bruker bruke mer en 1Gb, men det blir da kun mot internett, da hvert bord uansett har en 2Gb link til hovedswitch for intern trafikk.

 

Lager dette noe mening?

 

Så lengre oppe at du refererte til en bruker på nettet som hadde rutet litt over 6Gbit med en pfsense NAT server. Vet noen hva som makset ut først? Var det mangel på minne, eller CPU, eller??

[siDDis]

En NAT entry krever ca 160 bytes, så nok minne er ikke problem på servere. Men størrelsen kan ha betydning på ytelsen. RAM er som kjent 100x tregere enn L2 cache. Jeg fikk ikke tid til å teste i helgen, så får se i løpet av uken.

[MegaMann2]

Så lengre oppe at du refererte til en bruker på nettet som hadde rutet litt over 6Gbit med en pfsense NAT server. Vet noen hva som makset ut først? Var det mangel på minne, eller CPU, eller??

Det er CPU som er bottleneck.

 

Jeg har gjort litt mer reseach på dette og ser at Pfsense støtter Chelsio sine nettverkskort, og kan offloade NAT og VLAN til disse kortene. Med feks dette kortet (https://store.netgate.com/Chelsio/T520-CR.aspx) vil du fint kunne kjøre 10 Gbit pfsense ruter med NAT og VLAN uten å overbelaste CPU.

 

Funfact om Chelsio - snakket med noen folk fra dem på en messe i fjor, de sa at alle Netflix sine CDN servere benytter seg av nettverkskort fra dem

Sånn ser disse ut: https://i.imgur.com/DEaybRR.png

[siDDis]

Ja Chelsio og Mellanox er uten tvil ledende på hastigheter over 1Gbps idag.

[Lindsay]

Kjører både chelsio og mellanox i pfsense dog eldre enn link , men i nettverket mitt er det snurredisker som er flaskehalsen om en ikke akkurat får trøsket 1GB/ s inn og ut på server kjørende med 2x E5-2620.

 

10Gbps linje blir jo uansett en del år før det blir vanlig for Ola&Kari Nordmann.

[-Night-]

SIkker på at du ikke kan få låne flere iper? de fleste ISPer har noen subnett liggende ubrukt du kan låne. Har selv gjort dette.