Robots.txt og søkeverktøy

hemo · 3. juni 2003

Korleis kan eg fortelje søkemotorarskal utelatast i indeksen, med unnatak av to enkle mapper?

Desse skal indekserast:

http://www.domene.com/hund/

http://www.domene.com/katt/

Desse skal ikkje indekserast

http://www.domene.com/

http://www.domene.com/images/

http://www.domene.com/dokument/

osb...

Vidare står det eit domene på ein annan server som peiker rett på den "hemmelege" mappa /dokument. Dette heiter http://enkel.com -fil med følgande kode:

<html>

<head>

<title>Dokument</title>

</head>



<frameset framespacing="0" border="0" rows="*,1" frameborder="0">

 <frame name="Hoved" src="http://www.domene.com/dokument/" scrolling="auto">

 <frame name="bunntekst" scrolling="no" noresize target="hoved" src="ny_side_3.htm" marginwidth="0" marginheight="16">

 <noframes>

 <body>

 <p>Funka inte :s</p>

 </body>

 </noframes>

</frameset>

</html>

Vil då robotar sjå sida http://enkel.com

rvenes · 3. juni 2003

(blei det for mykje på ein gong no?)

Ja

Rob3rt · 3. juni 2003

(blei det for mykje på ein gong no?)

Ja

Utan tvil! :o

christt · 3. juni 2003

Du trenger en robots.txt fil ja. Du finner masse informasjon om dette hvis du søker på Google. Det er ikke alle søkemotorer som bryr seg om robots.txt fila, men jeg tror at bot'er som Googlebot gjør det.

Skal du være på den sikre siden kan du bruke apache mod_rewrite, men det krever at du drifter din egen server.

tvangsgreie · 3. juni 2003

robots.txt er har så tåpelig enkel syntax at om du gjør et søk etter f.eks. robots.txt syntax bør du klare å finne ut hvordan du skal bruke den selv. Du kan ikke gjøre alt du spør om med den.

oblivian · 3. juni 2003

Eksempler...

robots.txt

User-agent: *

Disallow: /images/

Disallow: /dokument/

Meta tags for robots: (header)

<title>VIKTIG</title>

<meta name="Robots" content="index,follow">

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<META HTTP-EQUIV="EXPIRES" CONTENT="0">

<META NAME="RESOURCE-TYPE" CONTENT="DOCUMENT">

<META NAME="DISTRIBUTION" CONTENT="GLOBAL">

<META NAME="AUTHOR" CONTENT="deg">

<META NAME="REVISIT-AFTER" CONTENT="1 DAYS">

<META NAME="RATING" CONTENT="GENERAL">

<meta name="description" content="VIKTIG">

<meta name="keywords" content="VIKTIG">

Vil du holde folk unna visse foldere, bruk .htaccess

EDIT: Eller så er det vel ISO-8859-4 hvis du har norsk tekst hvis jeg ikke husker feil...

hemo · 3. juni 2003

...men det krever at du drifter din egen server.

Eg har ein IIS med FP2002 (Server Extensions), men mangler driftserfaring. Det er eit hobbyprosjekt, og eg lære masse av detta!! :smile:

Men då er konklusjonen at eg ikkje kan sei Allow, og såleis må eg putta inn absolutt alle mapper som Disallow (med unnatak av akkurat dei to eg vil ha indeksert då..)

Vil du holde folk unna visse foldere, bruk .htaccess

Ikkje at eg kan .htaccess, men eg ønsker at alle som kjenner adressa fritt skal kunne surfa der. Søkemotorane skal ikkje indeksera, for eg ønsker ikkje at folk skal søka seg fram til sida.

Ingen passord eller brukarautentisering, mao.

oblivian · 3. juni 2003

Her finner du alt du trenger å vite om robots.txt

http://www.robotstxt.org/wc/meta-user.html

http://www.robotstxt.org/wc/norobots.html#examples

.htaccess funker ikke med IIS, bare med apache. Jeg er ikke sikker på hvordan man sikrer foldere med IIS...

Logg inn

Robots.txt og søkeverktøy

Anbefalte innlegg

hemo

Lenke til kommentar

Videoannonse

rvenes

Lenke til kommentar

Rob3rt

Lenke til kommentar

christt

Lenke til kommentar

tvangsgreie

Lenke til kommentar

oblivian

Lenke til kommentar

hemo

Lenke til kommentar

oblivian

Lenke til kommentar

Opprett en konto eller logg inn for å kommentere

Opprett konto

Logg inn

Hvem er aktive 0 medlemmer