[Løst] URL rewrite til annet domenes robots.txt

[jhhansen]

Hei,

 

Jeg ønsker å benytte en felles robots.txt med Deny all-funksjonalitet i stedet for å hele tiden måtte passe på at ingen utviklere på dev-siter erstatter sitens robots.txt.

 

Tenker derfor å ha den på en fast URL (SITE/robots.txt) og legge rewrite til denne i alle dev-siters vhost.

 

Har prøvd meg med denne:

 

RewriteEngine On

RewriteRule ^robots\.txt$ http://SITE/robots.txt [R]

 

der SITE er domenet som hoster filen.

 

Analyseverktøyet http://phpweby.com/services/robots bekrefter at robots.txt-filen fungerer på URLen hvor den er hostet, men rewrite fungerer ikke da andre siter som jeg har lagt rewrite i vhost fremdeles angir en tillatelse til å indeksere.

 

Noen som har tips til løsning? Eventuelt et forslag til en annen måte å nå målet på.

[BlueEAGLE]

Min mening er at rewrite ikke er løsningen. Den minst gale måten å løse dette er å ha dev-sitene i et nett som ikke er publisert mot internet men via VPN. Da kan utviklerene gjøre hva pokker de vil fordi robotene ikke har VPN-tilgangen. Alternativ to er å flytte de virituelle vertene til en ikke-standard port siden robotene kun kryper rundt på port 80.

 

Utviklingstjenere bør av sikkerhetsmessige grunner ikke være tilgjengelig for almenheten siden disse nødvendigvis vil inneholde usikret kode fra tid til annen. Det å sette dem på en ikke-standard port vil gjøre at du ungår at noen tilfeldigvis kommer inn på siden, men målrettede angrep vil ikke være påvirket.

[Kiff]

prøv å logge rewriten og se om den slår inn

 

RewriteLogLevel 3

RewriteLog /var/log/apache2/rewrite.log