oblivian Skrevet 22. juni 2003 Del Skrevet 22. juni 2003 Jeg har et område på web serveren min som er begrenset med .htaccess. Jeg har også satt denne katalogen til disallow i robots.txt. Men det som er sprøtt er at spidere har indexert sider i det sperrede området. Dvs. hvis jeg f.eks. søker på google så får jeg hits og linker til materiale i de sperrede områdene. Når man trykker så kommer man selvsagt ikke inn, men hvordan er det mulig at robotene kommer seg forbi sperrene så de klarer å indexere? Lenke til kommentar
Anbefalte innlegg
Opprett en konto eller logg inn for å kommentere
Du må være et medlem for å kunne skrive en kommentar
Opprett konto
Det er enkelt å melde seg inn for å starte en ny konto!
Start en kontoLogg inn
Har du allerede en konto? Logg inn her.
Logg inn nå