Registrere hvilken web-crawler som besøker en side

[ilpostino]

På to av domenene mine har jeg noen skjemaer som kan brukes til å sende e-post til meg.

 

Jeg har brukt .htaccess til å hindre masse biots i å besøke sidene mine men det er er enkelte som slipper igjennom og bruker e-post skjemaene. Jeg har allerede gjort slik at ip-adressene til disse samles inn men jeg vil gjerne vite navnet på boten som brukes. For fremtiden ser jeg for meg at det er en bedre løsning enn å sperre alle ip-adressene det kommer fra.

 

noen tips?

[Gjest Slettet+9871234]

Det er en fånyttes sak fordi:

1. Der kommer nye dårlige boter fra nye Ip'er daglig.
   
2. De kan komme via stadig nye Ip adresser, selv om noen kan identifiseres.
   
3. De kan maskere seg.
   

Alternativt om du kun vil tillate Ip'er som du kjenner (har registrert seg med en relativt sikker registreringsprosedyre) kan du hviteliste i stedet for å svarteliste. Det blir da som et extranet.

[ilpostino]

Jeg vet ikke om du misforstår meg elelr om jeg forklarer meg dårlig men jeg vil gjerne unngå å sperre ip-adresser men heller blokkere selve bot'ene.

 

Det jeg ønsker er å få identifisert bot'ene ved å huke tak i navn/type på den.

[Gjest Slettet+9871234]

Jeg vet ikke om du misforstår meg elelr om jeg forklarer meg dårlig men jeg vil gjerne unngå å sperre ip-adresser men heller blokkere selve bot'ene.

 

Det jeg ønsker er å få identifisert bot'ene ved å huke tak i navn/type på den.

 

Du må skille mellom gode og dårlige boter. Dårlige boter respekterer ikke robots.txt. Gode gjør det og de er oftest kjente. I programvare som phpBB registreres for eksempel noen gode boter. Det er åpen kode.

 

Men kan ikke boten maskere seg ved å oppgi falsk user agent?

 

Identifiser dem. Det er jo mulig å lage spider feller av ulik type. En veldig enkel er å sette disallow i robots.txt på en mappe med skjult (null) innhold, for eksempel en mappe som kun inneholder et bilde på null (en) pixler (pixel). Så kan du registrere hvilke boter som besøker den mappen.

 

Hvordan skal du logge dette? Skal du se i loggen, bruke mer avanserte logg løsninger og rapportere det med en cron job. Der finnes mer avanserte spider feller.

Endret 2. august 2013 av Slettet+9871234