robots.txt

[<BøNilzen>]

Ser på statistikken for siden min at det er en del 404 feil der det har blitt sett etter robots.txt filen.

At jeg ikke hadde denne filen merket jeg ikke før nå

Hvor skal denne ligge og hvordan bør den se ut?

 

Edit : 2xleif

Endret 3. mai 2004 av <BøNilzen>

[Marvil]

Hæ?

 

Sjekk der du får feilmelding om det står en adresse der den leter etter robots.txt..

Om du hadde utdypa litt, så hadde det hjelpt..

[<BøNilzen>]

Altså:

Ser på statistikken, på hvilke/hvor mange errors den har hatt gjeldende måned.

 

Error 404 er som vi vet "page not found"

Jeg kan da gå inn og se hvilke sider det har blitt sett etter og som den ikke har funnet.

Der står det blant annet at noen har sett etter "/robots.txt "

(sannsynligvis en spider) men at den ikke er blitt funnet.

 

Så derfor er spørsmålet mitt følgende;

Hvor skal filen robots.txt ligge, og hva skal den inneholde?

At ikke botene finner den gjør vel at sidene ikke blir indeksert,

og det er jo en ulempe.

[Zethyr]

skal ligge i root - mappa, og man kan si til søkemotorer at 'Denne mappa kan ikke indexeres' -- f.eks. ei mappe med scripts eller mailadresser eller personlige bilder.... søk på forumet, så ser du noen tidliger poster...

[graskoweb]

Robots.txt instruerer søkemotorene/robotene hvordan siden din skal indekseres. Det er en helt vanlig tekstfil og utgangspunktet er:

User-agent: *

Her er det ingen restriksjoner og alle roboter kan indeksere hva de vil på nettstedet.

 

User-agent: *
Disallow: /minmappe/

Her kan alt indekseres untatt "minmappe"

 

User-agent: *
Disallow: /

Her gis det beskjed om at nettstedet IKKE skal indekseres av noen søkemotorer

 

User-agent: googlebot
Disallow: /

Siden skal ikke indekseres av Google

 

Flere eksempel finner du her

 

Som sagt tidligere i tråden plasseres robots.txt i rotmappen på nettstedet. Alle seriøse søkemotorer sjekker alltid robots filen før de starter å crawle websidene. Har du AWstats ser du dette under Robots/spider . Det kan se slik ut 10+5 - dette betyr at 10 sider er registrert og robots.txt er sjekket 5 ganger.

 

Får du besøk av roboter som ikke sjekker robots.txt og bare registrerer siden er det sansynligvis en "spamspider". De er etter å høste emailadresser eller spamme siden din på annet vis. Det kan være hendig å sette opp en "spidertrapp" og gjøre livet surt for slike besøk - men det er en annen sak.