Validator - døde linker

[funkweb]

http://validator.w3.org/checklink

 

Når jeg sjekker så får jeg dette:

Error: 403 Forbidden by robots.txt

 

Hvorfor?

Hvordan kan jeg unngå at den ikke er forbidden.!! og hva er egentlig grunnen til den er forbidden??

[Loomy]

Er vel ettellerannet i robots.txt som blokker den da.. Hvis du ikke vet det er robots.txt en fil som ligger i rotmappen på webhotellet ditt.

[funkweb]

Hmm ikke altid man ser robots.txt i rota på webhotellet..!!

Hvorfor ikke? er den skjult?

 

Har dere noe linker som beskriver mer om robots.txt og hva man kan gjøre med den.!!