Google bot besøker min side

[ntec]

draglan.net - - [12/Jan/2006:06:33:52 +0100] "GET /robots.txt HTTP/1.1" 404 296 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

 

Denne linja fant jeg i loggen til websiden min. Det ser ut som at google søket etter robots.txt på mitt domene. Hva leter den etter i den fila? Hvordan kan jeg sette opp fila slik at google får hentet informasjonen den leter etter?

[aod]

robots.txt filen blir brukt av søketjenestenes roboter til å finne ut hva de ikke skal indeksere. Så om du lager en robots.txt fil og legger den på roten av nettstedet ditt, og har denne teksten i filen:

 

User-Agent: *

Disallow: /privatmappe/

 

så vil roboten ikke søke i mappen "privatmappe"

 

User-Agent: *

Disallow: /

 

tillater ingen ting.

 

User-Agent: *

Disallow:

 

tillater alt.

[ntec]

ah takk skal du ha:)

mens jeg like så godt er i gang, så kan jeg gå gjennom de andre spørringene websiden har på filer som ikke eksisterer:

 

- http://draglan.net/_vti_bin/owssvr.dll

- http://draglan.net/MSOffice/cltreq.asp

- http://draglan.net/stiler.css

- http://draglan.net/favicon.ico (denne har faktisk hatt 3000 spørringer til nå i mars) :O

[ntec]

robots.txt filen blir brukt av søketjenestenes User-Agent: *

Disallow: /privatmappe/

 

så vil roboten ikke søke i mappen "privatmappe"

5704504[/snapback]

 

hvis jeg skal hindre dem i å søke i to mapper, så blir filen slik?

User-Agent: *

Disallow: /privatmappe1/

Disallow: /privatmappe2/

Endret 5. mars 2006 av ntec

[aod]

Du kan legge inn flere mapper/filer etter hverandre slik at de ikke blir søkt i. F.eks:

 

User-Agent: *

Disallow: /_vti_bin/

Disallow: /MSOffice/

Disallow: /stiler.css

Disallow: /favicon.ico

 

Da burde ikke robotene søke etter disse, så sant om de bruker robots.txt filen. Om det er andre som spør etter filen, så er det ikke så mye du kan gjøre.

Endret 5. mars 2006 av aod

[Ueland]

ah takk skal du ha:)

mens jeg like så godt er i gang, så kan jeg gå gjennom de andre spørringene websiden har på filer som ikke eksisterer:

 

- http://draglan.net/_vti_bin/owssvr.dll

- http://draglan.net/MSOffice/cltreq.asp

- http://draglan.net/stiler.css

- http://draglan.net/favicon.ico (denne har faktisk hatt 3000 spørringer til nå i mars) :O

5704532[/snapback]

Favicon er noe som brukes for å lage et ikon til en side, og den etterspør alle nettlesere.

 

De andre er det virus og andre fysjne saker om etterspør da de leter etter sikkerhetshull som de kan bruke for å spre seg videre. Med andre ord bare saker du kan ignoere.