IP-adresse basert SPAM-filtrering

[G]

Dette er en undertråd av min tråd som kalles SPAM-filtrering, hva, hvordan og idéer

 

Her ønsker jeg å diskutere en idé jeg fikk for en stund tilbake. Jeg fant ut at e-post har ett meldingshode. Dette inneholder alltid en unik IP-adresse, hvor e-posten har passert gjennom opprinnelig. Denne er alltid omgitt av firkantklammer slik jeg har oppfattet det. Altså slik som ett eksempel:

 

Received: from [190.162.73.30] (helo=kykzsxmdd)

 

190.162.73.30 kan man taste inn i en søkedatabase som f.eks. RIPE for nord-amerika, LACNIC for Latin-amerika med flere. Da står det 2 bokstaver ved siden av Country: NO (her NO for Norge).

 

IP-adressen nevnt ovenfor gir CL som betyr Chile.

 

Idéen min vil jeg beskrive godt nok i min neste post i denne tråd.

Endret 16. juni 2009 av G

[G]

G skrev:

efikkan: du nevner IPv6. Har det virkelig bitt seg fast til nå? Jeg som sluttbruker ser ihvertfall sjelden noe annet enn IPv4 nettverksadresser. (Fra post #11)

 

efikkan skrev:

Det skyldes at IPv6 er så vidt tatt i bruk. Linux fikk støtte for IPv6 i 1996, da Windows så vidt hadde fått Internett, Microsoft testet IPv6 fra 2002, men støtten kom først i 2007. (Fra post #12)

 

G skrev:

Om IPv6. Vil vi se en gradvis eller brutal overgang til det nå snart da? Jeg ser bare for meg hvor mange flere IP-adresser SPAM'ere vil få tilgang til. Jeg håper inderlig at IPv6 aldri behøves å frigis til e-mail bruk. Dersom de fleste fortsetter å la andre host'e sin e-post som f.eks. hos Gmail og liknende så vil en vel fint klare seg med IPv4 veldig veldig lenge.

 

Når det blir noen flere millioner i de befolkningstetteste landene, så ser jeg for meg at fattigdommen bare vil øke der hvor de bor. Så jeg tror ikke behovet for at flere folk trenger ekpsansivt mange flere e-post adresser, ergo vil IPv4 vare veldig lenge. Og med apparater som eventuellt vil sende deg e-post varslinger, så ser jeg heller ikke noe behov for å måtte spise opp IP-adresse segmentene. Fordi en simpelthen ofte vil ønske å benytte den dynamiske (evt. statiske) IP-adressen som en låner hos sin bredbåndsleverandør til slik trafikk. (Fra post #17)

 

Xvani skrev:

Om IPv6. Vil vi se en gradvis eller brutal overgang til det nå snart da?

Gradvis. En får ikke alle til å bytte på en gang, og f.eks NAT hindret en brå overgang. Jeg, og mange andre ser for meg at det meste av overgangen vil skje gjennom tunellering.

 

Jeg ser bare for meg hvor mange flere IP-adresser SPAM'ere vil få tilgang til. Jeg håper inderlig at IPv6 aldri behøves å frigis til e-mail bruk. Dersom de fleste fortsetter å la andre host'e sin e-post som f.eks. hos Gmail og liknende så vil en vel fint klare seg med IPv4 veldig veldig lenge.

Du står fritt til å hoste en SMTP/IMAP server på "alle" IP-adresser... Hver person i verden kommer sannsynligvis aldri til å ha sin egen IMAP/SMTP server, så jeg skjønner egentlig ikke hva du lurer på =)

 

Når det blir noen flere millioner i de befolkningstetteste landene, så ser jeg for meg at fattigdommen bare vil øke der hvor de bor. Så jeg tror ikke behovet for at flere folk trenger ekpsansivt mange flere e-post adresser, ergo vil IPv4 vare veldig lenge.

IP har ingen ting med e-post adresser å gjøre, det har med IP(-adresser) å gjøre. De er IKKE det samme. Det er også langt flere fordeler ved IPv6 enn bare flere adresser..

 

Og med apparater som eventuellt vil sende deg e-post varslinger, så ser jeg heller ikke noe behov for å måtte spise opp IP-adresse segmentene. Fordi en simpelthen ofte vil ønske å benytte den dynamiske (evt. statiske) IP-adressen som en låner hos sin bredbåndsleverandør til slik trafikk.

Her snakker du så over evne at det er umulig å skjønne hva du prater om Still spørsmål istedet for å komme med påstander, så lærer du noe =) (Fra post #18)

 

 

efikkan skrev:

Hvis du ikke har fått det med deg, er det bare noen få IPv4-adresser igjen, noe må snart gjøres om flere skal få tilgang. Men utskifting har knapt startet. (Fra post #19)

 

G skrev:

Her kommer hovedidéen min

 

Stemmer efikkan. Fått dette med meg for lenge siden.

 

Jeg tror jeg har forstått mange ting. Men selvfølgelig ikke alt, og en kan for eksempel mangle oversikten over hvilke biter som mangler i sitt puslespill. Det sagt..

 

IPv6 gir så uhorvelig mange flere adresser enn IPv4. Dersom du studerer meldingshodet til en e-post adresse så vil du finne at den kom fra en gitt IPv4 adresse.

Eksempelet:

Linda Kendrick <[email protected]>

FW: Your university degree

 

Nå åpner jeg meldingshodet og finner at e-posten ble minst sendt gjennom denne IP-adressen som står på nøyaktig samme sted alltid og i firkantparantes (braketter), slik:

 

Received: from [213.37.219.123] (helo=investro8dc8d2)

 

Om jeg lyster kan jeg slå opp hvilken ISP som eier IP-adressen og låner den ut:

 

 

inetnum: 213.37.150.0 - 213.37.251.255

netname: MADRITEL

descr: PROVIDER

descr: Madritel

country: ES

admin-c: TA718-RIPE

tech-c: TA718-RIPE

status: ASSIGNED PA

mnt-by: ONO-MNT

source: RIPE # Filtered

 

role: Techauna AUNA

address: C/ Basauri, 7-9 La Florida, Aravaca

address: Aravaca (28023)

address: Spain

phone: +34911809300

fax-no: +34911809245

e-mail: [email protected]

admin-c: TA718-RIPE

tech-c: TA718-RIPE

nic-hdl: TA718-RIPE

mnt-by: ONO-MNT

remarks: --------------------------------------------------

remarks: for net abuse questions please contact:

remarks: [email protected]

Voila, Spania!! Nå kommer poenget mitt. Dersom SPAM'ere tillates å benytte IPv6 segmentene, så sier det seg selv at de får milliarder flere variasjoner. Men nå under IPv4 så kan en begrense SPAM'ernes muligheter til å leke seg. Altså om du studerer IP-informasjonen som LACNIC gir fra seg så ser du straks følgende om denne delen av Spanias mulighet til å boltre seg på 213.37.x.x. Mest sannsynlig så har Spania kun fått 213.37.150.x til 213.37.251 av det segmentet. altså står 213.37.252.x til 213.37.255.x og også 213.37.0.x til 213.37.149.x i noen andres makt (bruksrett).

 

La oss si nå at du var en ISP som måtte nødverge deg mot angrep derfra, så ser en fort hvilke konsekvenser det ville få om en stengte av 213.37.x.x. En ville også stenge av for andre land enn Spania. Så en mer finjustert aksjon må tas for å ikke lamme det andre landet.

 

Ett annet scenario. La oss si du var administrator av Gmail-kontoene til Google. Og du hadde samme type SPAM-utfordring, men ønsket nå å dele styrken av filtrering til Gmail-kundene dine. Du fikk ett team til å designe ett front-end som så ut som ett verdenskart. Hvert land var klikkbart, og med en radioknappe-dialog kunne brukeren bytte over fra landfokusering til verdensdelfokusering og også lage en kommunikasjon ved å hviteliste ett land. Team'et hos Google hadde på forhånd selvfølgelig laget hele IP-adresse strukturen bak hvert land, slik at brukeren skulle slippe å måtte bry seg med slikt.

 

Brukervennligheten var ypperlig. Kunde 1009 hadde venner i Tyskland, Singapore og Norge. Nå kunne kunde 1009 hake av at hele Afrika (og alle verdensdelene for den saks skyld), for så å hviteliste Tyskland, Singapore og Norge. Voila, 1009 brukeren var tilnærmet SPAM-fri. Men kunne nå med noen SPAM-slengere lese e-posten sin i fred.

 

Om en slenger på filteret som Gmail allerede benytter, så ville sjansen for at kunde 1009 noensinne fant SPAM-meldinger i innboksen sin være tilnærmet lik 0. (Fra post #20)

 

 

 

Lysgaard skrev:

Spamfilter fungerer mye smartere enn det du beskriver. De bygger på mattematiske språkmodeller for spam. Det er kanskje ikke så overraskende at en spammelding har mange ganger høyere sjanse for å inneholde ord som "free" og "viagra." Med litt statistikk regner du fort ut sjansen for at en melding er spam.

Du kan altså si at hver gang du merker en melding som spam "leser" pcen teksten i spammeldingen, lager en statistikk over bokstaver, sekvenser, ord og uttrykk og legger dette til den allerede tillærte databasen av spammeldinger. Utifra denne kalkulerer du hver innkommende meldings sjanse for å være en spammelding og er sjansen stor blir den merket som spam. Presisjonen til spamfilteret blir bedre jo flere spammeldinger det har "lært" og da ser du fort at filtrene som til selskapene til google er pinlig nøyaktige, de kan tross alt indexere all mailen som blir merket som spam på sine servere. (Fra post #22)

Endret 17. juni 2009 av G

[Xvani]

Har ikke finlest, men såvidt jeg forstå foreslår du å bruke IP-adresse basert SPAM-filtrering.

IP-adresse basert SPAM-filtrering er ikke noe nytt, bl.a spamhause og spamassassin benytter dette som en viktig del av sin filtrering.

 

Det er grunner til at dette alltid vil fungere litt, og aldri vil fungere 100% som alenemiddel mot spam. Jeg forklarer kort:

 

Hvorfor det ikke har noe å si at det kommer mange adresser:

1. Majoriten av spam spres over botnet o.l, ikke fra enkeltPCer. Det er også knot for spamselgerne å bytte IP'adresse hele tiden, og de vil uansett bli fort fanget opp.

 

Hvorfor det aldri vil fungere 100%:

- Igjen, pga botnet. En maskin blir tatt over, begynner sende spam (f.eks fra, hmm, NTNU sitt nett, som f.eks fører til at NTNU's mailgw blir merket som spam hos Gmail. Dette er et faktisk scenario for under 6mnd siden)

 

Grunnen til at det alltid vil fungere litt har med anti-spam teknikker å gjøre:

2. Anti-spammerne har boter som registrerer seg i hytt og pine på ting, og legger ut adressene på nett. Disse har som mål å samle opp så mye spam som mulig, og blokke IP'ene. Altså blir adressene samlet (og etterhvert slettet) på samme måte som før, og antallet IP-adresser har ingenting med saken å gjøre.

[nomore]

To andre løsninger basert på IP som fungerer greit er blokkering av dynamiske adresser og sjekk av rDNS.

[G]

Jeg antar at kanskje dere mener at hver og en IP-adresse som blir knyttet opp mot SPAM kan havne i ett svarteliste filter som følge av "analysen" som gjøres.

 

Jeg tenker at ikke bare på de som jobber i det som blir kulissene for den jevne e-post bruker, men gjerne på e-post brukerens eget ståsted.

 

Kulissene:

Da vil ikke IP-adresse filtrering per SPAM-melding som bakes inn i ett filter noensinne kunne gi 100 % filtrering, selv om ett samarbeid blant anti-spammerne kan hjelpe betraktelig.

 

Kombinere:

En må ikke glemme at en kan kombinere 2 filtermetoder ved å legge de i en fornuftig rekkefølge (den som passer brukeren).

 

Fra epost-brukerens sted:

Om du gir brukeren makten til å tøyle problemet med min tidligere beskrevet "verdenskart-tilnærming". Da får brukeren ett kjempeverktøy. Om en tenker seg at SPAM er noenlunde jevnt fordelt mellom verdensdelene, noe det sannsynligvis ikke er helt reelt, da:

Om du har Afrika, Asia, Europa, Nord-Amerika, Sør-Amerika, Oseania og Antarktis (omtrent en uaktuell verdensdel i dag, og jeg velger å ekskludere den), så har en 6 deler. Du bor i den ene av de seks. Du har mest venner i den du bor i (sannsynlig). Du filtrerer bort de andre 5. Da gir ett grovt regnestykke at du kun vil motta 16,7 % av den SPAM-mengden du mottok tidligere (i teorien min).

Endret 16. juni 2009 av G

[xcomiii]

Det du nevner er geografisk sperring av SMTP trafikk, riktig?

Selv om du sperrer dette, så er spredningen av spam så stor fra virusinfiserte privat PC'er, så det er vanskelig å finne noe felles multiplum her. Noen spamfiltre sjekker reverse DNS og trigger spam alarmen om hostname inneholder ord som Dynamic, ADSL eller DHCP.

 

Men fra teknikk til praktisk utnyttelse: Ser du for deg at vanlige brukere (mor og far, bestemor, og alle andre) vil ta slike ting aktivt i bruk? De aller fleste har lærevegring mot ting som er nytt og som ikke direkte gir de noen umiddelbare fordeler. Bare det å lære å sende mail tok noen år før det ble vanlig for alle. Og de fleste "dummy" brukerne der ute vil bare at ting skal funke og vil slippe å sette seg inn i enda mere teknisk materie internett og PC/Windows allerede er.

Men det er nå bare noe jeg tror da, med god erfaring fra min omgangskrets.

[G]

Jeg så for meg at det ble forhåndslaget, og at bestemødre med flere kunne hake av klikke på de regionene de ønsket å svarteliste og de regionene de ønsket å hviteliste:

 

Du fikk ett team til å designe ett front-end som så ut som ett verdenskart. Hvert land var klikkbart, og med en radioknappe-dialog kunne brukeren bytte over fra landfokusering til verdensdelfokusering og også lage en kommunikasjon ved å hviteliste ett land. Team'et hadde på forhånd selvfølgelig laget hele IP-adresse strukturen bak hvert land, slik at brukeren skulle slippe å måtte bry seg med slikt.

(opprinnelig skrev jeg ett Google team, men det kan jo være hvem som helst av de som tilbyr e-post)

[nomore]

Det er mange fallgruver her som gjør løsningen usikker:

- e-post ser ikke alltid ut til å komme i fra det landet det faktisk er sendt i fra.

- feil i geodataene dine kan gjøre at legitim e-post blir svartelistet.

- vanskelig å motta e-post i fra personer man ikke kjenner.

- spam blir ofte sendt ut i fra større botnet, som mest sannsynlig også inkluderer land som er "godkjent".

- krav til at brukeren selv er aktiv og tilpasser filteret til sitt behov.

- krav til kunnskap i fra brukeren sin side(både for å bruke kartet og for å vite hva som skal utelukkes eller ikke).

- stor risiko for å utestenge deler av e-postene som blir sendt i fra mobile brukere(som er i Afrika den ene uken, Tyskland neste osv).

[WhiteFire]

Grunnen at det i dag lønner seg å sende spam er at det er billig. Selv med 2 millioner utsendte e-poster holder det at en idiot kjøper. Hvis det ble innført en generell forsinkelse på utsendelse av e-post ville det kanskje blitt litt bedre. Innspill anyone?

[nomore]

Å bevisst forsinke utsendelse av e-post ser eg ikke noe poeng i. Dette vil kun gå ut over legitim e-post hvor innholdet/budskapet haster med å komme frem(hovedsaklig e-post til og fra bedrifter). De som sender ut SPAM har jo ikke hastverk. Hva gjør det for de om e-posten kommer 5 timer eller 2 dager for sent? Den ene idioten hadde fortsatt fått e-posten

 

Eg har vært borti flere bedriftskunder som klager over millisekunders forsinkelse på levering av e-post. Eg liker det ikke, men slik er dessverre bruken av e-post blitt.

[nomore]

I stede for å kun kritisere andre sine forslag så kan eg jo komme med mine

Til daglig jobber eg MYE med e-postkommunikasjon og har i løpet av min arbeidstid vært borti ett og annet spamtilfelle.

 

Antispam teknikkene som blir brukt i dag går som regel ut på å stoppe servere som kun sender ut SPAM, stoppe avsenderadresser som ikke eksisterer og bruke innholdsgjenkjenning for å se etter SPAM. Disse teknikkene fungerer, til en viss grad, og er velprøvde. Men alle disse krever at man abonnerer på antispam-lister(vi bruker Spamhaus) og/eller har dedikerte kraftige servere som kan sanntidsanalysere hver enkelt e-post. I tillegg kommer syntax-kontroll, svartelisting, hvitelisting, gråfiltrering osv osv. Listen over teknikker er lang og fornem.

 

Men, eg mener problemet er todelt. Vi må på den ene siden sørge for at det ikke blir sendt ut e-post som ikke er autentisert og ekte e-post. Dette må gjøres på avsenderens e-postserver. På den andre siden må vi sørge for å ikke motta e-post som ikke er autentisert eller garantert for. Og dette må gjøres via kjente og åpne løsninger.

 

På den ene siden, avsender, så må man sørge for at alle klienter/servere som skal sende ut e-post er godkjent og har nødvendige verktøy for å ikke bli spamrelay eller spambot. E-post som kommer i fra ikke-godkjente eller ukjente klienter/servere skal ikke sendes ut på internett. I tillegg bør leverandøren ta i bruk SPF(Sender Policy Framework) og/eller DomainKeys for å "verifisere" at e-posten er sendt i fra domeneeiers e-postsystem/leverandør.

 

På den andre siden, hos mottaker, så mener eg det må bli mer utbredt å sjekke at e-postserveren som sender ut e-post er legitim. Enten via reverse DNS, SPF eller DomainKeys. Problemet her, når det gjelder SPF og DomainKeys, er at det er så lite utbredt at man kan ikke bruke det til å blokkere e-post i fra brukere som ikke har dette satt opp(man er jo kvitt all SPAM(nesten), men samtidig utelukker man fort 40-70% legitim e-post). Og dette er vel også årsaken til at det er så lite populært å ta i bruk siden effekten/gevinsten kun kommer når alle andre gjør det også.

 

Og sist, men ikke minst. Eg ser så mange e-postleverandører som "fokuserer på e-postproblematikken" men som samtidig gir en stor f*** i hva de sender ut selv. Og dette er litt ironisk. Sørg for å filtrere BÅDE innkommende og utgående e-post for spam/virus.

[Xvani]

Å bevisst forsinke utsendelse av e-post ser eg ikke noe poeng i. Dette vil kun gå ut over legitim e-post hvor innholdet/budskapet haster med å komme frem(hovedsaklig e-post til og fra bedrifter). De som sender ut SPAM har jo ikke hastverk. Hva gjør det for de om e-posten kommer 5 timer eller 2 dager for sent? Den ene idioten hadde fortsatt fått e-posten

 

Det du skriver stemmer ikke. Les om greylisting:

http://en.wikipedia.org/wiki/Greylisting

 

edit: Eller jo, det du skriver stemmer, men det er noe som dette han som spurte først mener. 8)

Endret 23. juni 2009 av Xvani

[nomore]

Eg kjenner godt til greylisting(grålisting), og bruker det for hva det er verdt i bedriften vår. Men kunder har reagert på det, så det var ikke helt "greit" å aktivere det. Dog, dette tok veldig mye SPAM så det ble akseptert.

[G]

Stort anti-spamsystem stenger - (SORBS)

 

Anti-spamsystemet SORBS stenger nå dørene som følge av trøbbel med nettleverandøren. ..

 

.. "Listen består av av over 3 millioner IP-adresser som har sendt eller sender spam." ..

Endret 24. juni 2009 av G