Robots.txt

[Geir Willy Haugen]

Hva er disse robots.txt filene som ligger rundt forbi på diverse nettsteder?

 

En av de jeg så inneholdt:

 

User-agent: *

Disallow: /

[BBC]

Har ikke hørt om det/tenkt over det før, men ett lite søk på Google avslører at robots.txt forteller søkeroboter på Internett om å ikke indexere siden. Det er isåfall opp til søkeroboten å følge reglene i robots.txt.

[Geir Willy Haugen]

OK, ser ikke helt grunnen til å hindre noen å indeksere siden deres, men de har vell sine grunner.. :smile:

 

Takk for svaret!

[Razul]

Det er faktisk veldig praktisk å hindre søkeverktøy i å ikke indeksere sider. Dersom du for eksempel har et frameset med mange undersider, kan det jo hende at du ikke vil at alle disse sidene skal indekseres. Det kan også være at du legger ut testsider, eller annet som ikke alle uten videre skal kunne komme fram til. Praktisk hvis man driver å utvikler et nettsted for eksempel. Slipper at alle mulige folk roter seg innpå før det er klart.

[El Viking]

Robots.txt er en fil for ethvert domene/webside som forteller søkemotorene (egentlig søkemotorenes 'spiders') om hva som finnes på denne siden. Du kan fylle den opp med det som beskriver ditt domene (i keywords) eller rett og slett nekte adgang (til visse deler av eller hele domenet).

På denne måten slipper ditt domene (og en milliard andre domener) masse unødig trafikk. Noen av disse spiderne kan være ganske agressive og frekvente.