Stenge ute søkerobotter

[834HF42F242]

Serveren min er overbelastet med søkerobotter. Siden jeg kjører access-database, så dreper de hastigheten.

Jeg vet om koder for å forhindre søkerobotter i å indeksere/crawle dokumentene, men jeg ønsker at siden skal dukke opp i søketreff.

 

Derfor lurer jeg på følgende:

 

Kan jeg legge inn et script/en kode som gjør at kun en søkerobott kan crawle nettsiden min om gangen?

 

PS: Sidene mine er programert i ASP VBScript

 

Edit: Jeg er viderekommen i html og ASP, så ingen dumme svar takk!

Endret 29. mars 2005 av anth

[resol]

http://www.frc.ri.cmu.edu/~sworkman/no_robots.html

[objorkum]

Ein standard som alle skikkelege søkemotorar følger, er å sjekke om robots.txt finst i rota.

 

Sjekk http://www.searchengineworld.com/robots/robots_tutorial.htm

 

Der kan du bestemme kva som skal indekserast.

 

På mine sider bruker eg robots.txt til å kun tillate Googlebot å indeksere. Likar ikkje dei andre robotane, spesielt ikkje MSNbot, den berre indekserar i hytt og pine heile tida.

Endret 30. mars 2005 av objorkum

[Cucum(r)]

Er ikke sikker på om denne fungerer lenger, men du kan jo prøve:

<meta name="Revisit-After" content="x days" />

(Hvor x er antallet dager til neste besøk.)

 

Søkemotorene drar ikke mer bandwich enn hva en bruker gjør, så du kommer nok ikke til å merke store forskjeller ved å ekskludere dem.

[834HF42F242]

Jo, for jeg har opp til 10-15 søkemotorer på en gang inne på det meste, og det tåler ikke databasen. I tillegg spiser de opp 4 GB båndbredde i måneden, mens jeg kun har betalt for 3 GB. Uten søkemotorer tviler jeg på at tallet vil være så høyt.

 

Edit: Normalt er det et par gjester og en 3-4 brukere på en gang innom jevnt over.

Endret 30. mars 2005 av anth

[objorkum]

Du bør nok sjå på robots.txt-formatet.

 

Det er nok den vanlegaste måten å styre søkerobotar på mapper og filer. F.eks VG og Dagbladet bruker robots.txt.

[834HF42F242]

Jepp, men jeg har enda ikke funnet en kode som kun slipper gjennom en robot av gangen. Hvis det ikke er mulig, så blir det nok snakk om å stenge dem ute fra alle mappene med Disallow: /mappe/.

Fordelen med robotene er jo at mange finner sidene, men for mye loud gjør at de fort forlater dem igjen.