Routing med flere ISP'r

[petterg]

Har fått en utfordring fra en kamerat som drifter et nett for en bedrift. Utfordringen ligger i å komme så nær 100% opptid på nettet som mulig.

De har hovedkontor i Oslo og avdelingskontor i Fredrikstad.

Både i Oslo og Fredrikstad er det sdsl forbindelse til verden.

Mellom de to kontorene går en direkte linje.

 

Over denne direktelinja går også en intern ip-telefon som er koblet til en telefonserver i oslo med 30 isdn linjer. (De er altså sin egen ip-telefon leverandør.)

 

Helt siden disse nettene ble satt opp har de vist seg å være for ustabile.

Tidligere denne uken var sdsl linja i oslo nede i nesten to døgn, slik at all trafikk fra Oslo ut til verden måtte routes via Fredrikstad-linja.

Forige uke var Oslo-Fredrikstad linja nede pga et strømbrudd på en sentral i Sarpsborg, dermed måtte all intern kommunikasjon (inkl intern og ekstern telefon i Fr.stad) routes over vpn mellom sdsl linjene begge steder.

 

Slik situasjonen er i dag må all endring i routingen gjøres manuellt. Det har vist seg å ta opptil en halv time å ordne alternativ routing når noe går ned. I tillegg må alle mailklienter endre smtp adresse for å få utgående mail når routing endres. (Det er forskjellig ISP på de to stedene.)

 

Telefonserveren er windows 2003 server. Brannmurer/routere er FreeBSD. Alle andre servere har windows 2000 server.

 

For å bøte på problemene blir det vurdert å ha to forskjellige ISP'er på hvert sted.

Tanken er da at en router på hvert sted som automatisk skal bytte til den linja som virker (isp1, isp2 eller via oslo-fredrikstad linja). Dette skulle ikke være noe stort problem. (Det er vel dette som kalles load balansing?)

Men hva med innkommende forbindelser? Hvordan får man fortalt verden om hvilken vei det skal routes for å komme inn? Med load balansing vil vel alle linjer brukes hele tiden. Med to forskjellige isp'r får man to forskjellige ip-adresser. Hvis noen da f.x. har en åpen sesjon mot en server, hvordan går det når ip-adressene plutselig endres?

 

Hvis Oslo-Fredirkstad linja faller ned må routerene på begge steder opprette en vpn forbindelse seg imellom. Hvordan kan man trigge en slik oppkobling? Om man har vpn oppe "konstant" vil den på ett eller annet tidspunkt miste fobindelsen. Noen smarte triks for å få den opp igjen når den faller ned?

 

Finnes noen "bokser" som kan gjøre dette, eller er en maskin med en eller annen form for linux veien å gå?

[^Sniper]

For å bøte på problemene blir det vurdert å ha to forskjellige ISP'er på hvert sted.

Tanken er da at en router på hvert sted som automatisk skal bytte til den linja som virker (isp1, isp2 eller via oslo-fredrikstad linja). Dette skulle ikke være noe stort problem. (Det er vel dette som kalles load balansing?)

 

Det er ikke load balancing.......

 

Load balancing vil splitte trafikken 50/50, går ene linja ned har du 0/100 eller 100/0 og ingen load balancing!

 

 

problemet du beskriver er det ELEMENTERE i Nettdrift.

Men nå bruker dere Linux til routing, det kan jeg ikke......

 

Cisco har løsninger for det meste men det koster Penger...............

[petterg]

Det er altså loadbalansing helt til linja går ned.

 

De må nok regne med at ting koster penger. Jeg kjenner ikke til noen bokser som klarer balansering/switching med to utgående linjer + en indirekte utgående linje, derfor trodde jeg linux var veien å gå. Hvis du kjenner til noen cisco (eller konkurerende) bokser som klarer slikt vil jeg gjerne tips om hva de heter.

[^Sniper]

IPX nettverk setter du routeren til Max antall hopp før routeren diregere trafikken til ett annet interface. Default 2 hopp

 

IGRP Nettverk bruker max båndbredde til og bestemme når loadbalancing trer i kraft! Så du kan for eks. sette når linje 1 nærmer seg 90 kapasitet da blir kommende trafikk sendt videre! og det flater ut til router 1 overtall all trafikk igjen!

(korteste vei, blir prioritert)

 

 

Små bedrifter Cisco 2500

mellomstore cisco 2600

store cisco 3600

 

+5000 ansatte cisco 4000 series og oppover!

 

Så treng du noen til og programmere dette, og en CCNP-Konsulent er ikke billig.

[CrZy_T]

Så treng du noen til og programmere dette, og en CCNP-Konsulent er ikke billig.

5041468[/snapback]

 

Det er ikke nedetid heller

Har dere ingen oppetidsgaranti fra leverandør da? Når en leverandør bruker 2 døgn på å fixe en feil vil jeg påstå at dere enten er en for liten kunde til at de gidder å bry seg, eller så har dere feil isp.

 

Går dere på ISP'er som Telenor eller Banetele vil jeg bli overrasket om dere vil slite med nedetid i det hele tatt. De bedriftene jeg kjenner med banetele-linje har aldri opplevd nedetid så lenge de har vært kunder. De er ikke billige, men du får hva du betaler for.

[petterg]

Sniper Takk for tips

Har du noen forslag når det gjelder automatisk bytte til vpn når direkte linja til fredrikstad går ned?

 

 

Crzy_t De skal bytte isp. Men selv med bytte er det fare for nedetid, så de vil ha dobbel linje. Når det gjelder linja til fr.stad er det flere leverandører, og svært varierende priser, men alle går via den sentralen i sarpsborg som stadig har problemer. Eneste alternativet (vi har funnet) som ikke går innom der er Hafslunds fiberkabel. De skal ha masse kr, og den ender på feil sted i fr.stad, så man må enten legge egen kabel siste biten, eller satse på trådløs....

[^Sniper]

ja, har det også jeg siden. linja ikke i noen tilfelle skal være lenger nede enn 3-4 timer for ett firma og siden ansvaret til stabil linje er ISP sitt ansvar.

Kan dere kjøre nedetid VPN via ISDN!

Men det spørst jo litt hva dere MÅ sende....

 

ellers er det jo bare og kjøre på flere alternative Routes.

 

med telenor får dere ett Punkt

 

trafikk hit|-------------------------x------------------------| trafikk hit

 

trafikk hit|-------------------------x------------- / (nede) -----------|

 

Så uansett kommer trafikken frem om det ikke er LINJA inn i bedriften som ryk. men da dett jo alt ned uansett.

[CrZy_T]

Crzy_t De skal bytte isp. Men selv med bytte er det fare for nedetid, så de vil ha dobbel linje. Når det gjelder linja til fr.stad er det flere leverandører, og svært varierende priser, men alle går via den sentralen i sarpsborg som stadig har problemer. Eneste alternativet (vi har funnet) som ikke går innom der er Hafslunds fiberkabel. De skal ha masse kr, og den ender på feil sted i fr.stad, så man må enten legge egen kabel siste biten, eller satse på trådløs....

5042394[/snapback]

 

Banetele kjører fiber og er neppe innom noen sentral med problemer, isåfall hadde Banetele hostet opp pengene det kostet å fixe dette.

[petterg]

Crzy_t Vet du at banetele fiber hele veien mellom oslo og fredrikstad? (Hvis de har det er det en som ikke har gjort leksa si, som har informert om at også den har en strømkrevende terminering i den problematiske sentralen i Sarpsborg.)

 

Sniper Å kjøre over ISDN er uaktuelt. Det krever litt for mange isdn-linjer for å få nok båndbredde. Man må ha minst 1 mbit begge veier.

[CrZy_T]

Crzy_t Vet du at banetele fiber hele veien mellom oslo og fredrikstad? (Hvis de har det er det en som ikke har gjort leksa si, som har informert om at også den har en strømkrevende terminering i den problematiske sentralen i Sarpsborg.)

 

Har NSB toglinje til Fredrikstad har Banetele fiber. Synes det høres tvilsomt ut at Banetele har termineringen sin i Telenor sin sentral isåfall da Banetele pleier å kjøre sitt eget løp med alt slikt.

[petterg]

Har sjekket med Banetele nå, de leier av Telenor på den strekningen.

[^Sniper]

 

Sniper Å kjøre over ISDN er uaktuelt. Det krever litt for mange isdn-linjer for å få nok båndbredde. Man må ha minst 1 mbit begge veier.

5047485[/snapback]

 

Nå er det midlertidig til linja er tilbake det er max snakk om noen få timer.

Hva trafikk generere 1mbit konstant.

Det er jo bare for att mail går gjennom direkte mens DSL linja er nede!

[petterg]

Det er et firma med spessielle behov. Derfor man også krever 100% oppetid i kontortiden. Hadde det bare vært snakk om mail ville man ikke betalt for å ha direkte linje mellom avdelingskontorene.

 

Kravene er ganske klare. Spørsmålet er hvordan få det til i praksis.

[tyldum]

Det er et firma med spessielle behov. Derfor man også krever 100% oppetid i kontortiden. Hadde det bare vært snakk om mail ville man ikke betalt for å ha direkte linje mellom avdelingskontorene.

 

Kravene er ganske klare. Spørsmålet er hvordan få det til i praksis.

5058609[/snapback]

 

Jeg er ikke lokalkjent der nede, men når jeg ser på kart så ser det ut som at radiolinje kan bli litt vanskelig på den strekningen. Synd, for det ville vært perfekt

 

Det burde ikke være noe problem å få til god nok redundans med 2 ISP'er. Problematikk som epost håndteres lett med å sette opp egne SMTP-servere. Litt kreativitet med heartbeat og/eller vpn og du skal kunne få ting til å bli rimelig transparent.

 

Uten å kjenne detaljene i nettene er det vanskelig å være konkret, men problemene burde være relativt greie å fikse.

[petterg]

Jeg sliter med 2 isp oppsettet. Har brukt eth0 for isp1, eth1 for isp2, eth3 for lokalt nett.

Jeg fulgte bl.a. denne guiden: http://www.ssi.bg/~ja/nano.txt

Problemet er at så fort jeg bruker nexthop parameteren blir det tull med source adressen på utgående pakker - pakker som sendes på eth1 får adressen til eth0 som avsender, og omvendt. Konsekvensen er selvsagt at pakker kommer ut, men ikke tilbake!

Alle routingtabeller ser riktige ut.

 

Jeg har prøvd flere guider, og også programmer / script som er ment for å gjøre det "enkelt" å sette opp slik routing. Det er det samme problemet med alle.

 

Jeg har prøvd både 2.6.12 og 2.6.13 kjerner.

[tyldum]

Du kan enten se på HA-løsninger som f.eks heartbeat, eller http://lartc.org/howto/lartc.rpdb.multiple-links.html.

Mulig løsningen din ligger i noe så enkelt som å angi kildeadresse for en rute (sakset fra linken over:)

ip route add $P1_NET dev $IF1 src $IP1

ip route add $P2_NET dev $IF2 src $IP2

 

Quick and dirty løsning: Oppsett som over og et script som sjekker pakketap via ISP1. Ved tap flyttes default route til ISP2.

[petterg]

Du kan enten se på HA-løsninger som f.eks heartbeat, eller http://lartc.org/howto/lartc.rpdb.multiple-links.html.

Mulig løsningen din ligger i noe så enkelt som å angi kildeadresse for en rute (sakset fra linken over:)

    ip route add $P1_NET dev $IF1 src $IP1

    ip route add $P2_NET dev $IF2 src $IP2

 

Quick and dirty løsning: Oppsett som over og et script som sjekker pakketap via ISP1. Ved tap flyttes default route til ISP2.

5229005[/snapback]

 

Japp, det er den løsningen som sender med feil src, selv om routingtabellen er riktig. Den gir altså perfekt utgående lastbalansering, men INGEN pakker klarer å komme i retur - selv ikke ACK!

[tyldum]

Hmm.. Kan du poste rutingtabellen? Anonymiser gjerne et oktett eller to om du vil

[petterg]

hmm. Jeg huska feil - Det er når man tar i bruk nexthop (avsnitt 4.2.2 hos lartc) at det blir tull med src. Ved å bare legge til ekstra routes skjer det hverken loadbalancing eller failover. Dvs det hendte EN gang (etter uker med testing) at den byttet til til en fungerende linje når den den brukte gikk ned.

 

Testmaskina er tatt ned nå, i påvente av glupe ideer, så jeg har ingen tabell å poste. Den var imidlertid nøyaktig slik den skulle være i følge lartc

[tyldum]

Men du skulle ha failover, ikke loadbalancing?

Men ellers er HA-løsninger som heartbeat beregnet på nettopp slike ting.