Ikkeibruk Skrevet 9. november 2005 Del Skrevet 9. november 2005 Hei. Jeg har laget en side. Siden har robots.txt som stopper Søkemotorene å indexere siden disse mappene. Foresten er dette rett? Jeg håper med denne robots.txt at data/a/blogg/blog mappen ikke blir tatt med i indexteringen. Eller har jeg gjort det feil ? User-agent: * Disallow: Disallow: /data/ Disallow: /a/ Disallow: /blogg/ Disallow: /blog/ Men så leste jeg at det var lurt å legge til dette i <head>: <meta name="robots" content="all" /> Hva gjør den koden, indexterer søkemotorene alle sidene uansett om jeg har robots.txt ? Eller noe annet? TAkker for alle svart Lenke til kommentar
Ueland Skrevet 9. november 2005 Del Skrevet 9. november 2005 robots filen skal ligge på i root, ikke andre steder. f.eks:www.diskusjon.no/robots.txt Forøvrig skal det være User-agent: *Disallow: /data/ Disallow: /a/ Disallow: /blogg/ Disallow: /blog/ Finfint eksempel på robots.txt http://www.whitehouse.gov/robots.txt Lenke til kommentar
Ikkeibruk Skrevet 9. november 2005 Forfatter Del Skrevet 9. november 2005 okei Men hva med <meta name="robots" content="all" /> ? og hahah, det med det hvite hus Lenke til kommentar
Ueland Skrevet 9. november 2005 Del Skrevet 9. november 2005 Meta brukes ikke like aktivt lengre av robotene, både for robotenes del, og for din egen "sikkerhet" er det greiest å bare ha det i robots.txt, mer oversiktelig er det og Lenke til kommentar
Cucum(r) Skrevet 9. november 2005 Del Skrevet 9. november 2005 Finfint eksempel på robots.txthttp://www.whitehouse.gov/robots.txt 5128359[/snapback] Hm, merkelig, eg kjem ikkje inn på nokon av IRI-ane som inneheld "iraq" Lenke til kommentar
potetskrell Skrevet 9. november 2005 Del Skrevet 9. november 2005 Hvorfor repekterer robotene robots.txt? Har aldri satt meg inn i slikt. Lenke til kommentar
Ueland Skrevet 9. november 2005 Del Skrevet 9. november 2005 De respekterer robots.txt for at webmastere skal kunne si at foo og bar ikke skal bli indeksert av søkeroboter, da det ikke er alt som webmasterene vil skal bli indeksert. Det er og noe vi bruker på f.eks testområdene våre, for å hindre at søkemotoren indekserer unødvendig tull. F.eks så sendes alle sider Opera brukere surfer innom til Google, så det skal ikke mye til. Lenke til kommentar
potetskrell Skrevet 9. november 2005 Del Skrevet 9. november 2005 De respekterer robots.txt for at webmastere skal kunne si at foo og bar ikke skal bli indeksert av søkeroboter, da det ikke er alt som webmasterene vil skal bli indeksert. Det er og noe vi bruker på f.eks testområdene våre, for å hindre at søkemotoren indekserer unødvendig tull. F.eks så sendes alle sider Opera brukere surfer innom til Google, så det skal ikke mye til. 5129886[/snapback] Ja, men det er jo ganske selvforklarende. Jeg lurte på hvorfor søkeroboter skulle gidde dette, da noe informasjon ikke vil komme frem, i og med at folk har dette alternativet med robots.txt. Men de er vel bare grei da. Ble litt interessert, robotstxt.org har informasjon om dette emnet. Lenke til kommentar
Nervetattoo Skrevet 10. november 2005 Del Skrevet 10. november 2005 Det er ingen ting som stopper deg fra å skrive en robot som ikke bryr seg om robots.txt, men da har webmastere ikke noe annet valg enn å sperre hele roboten ute fra websiden om de ikke vil ha noe indeksert. Ergo så er det noe man har blitt enige om som er for alles beste. Søkemotorer etc tjener ikke på å bli bannet fra hele sider, så da må de godta litt begrensninger. Lenke til kommentar
Anbefalte innlegg
Opprett en konto eller logg inn for å kommentere
Du må være et medlem for å kunne skrive en kommentar
Opprett konto
Det er enkelt å melde seg inn for å starte en ny konto!
Start en kontoLogg inn
Har du allerede en konto? Logg inn her.
Logg inn nå