Enorm trafikk fra Google spider

[kjelle392]

Hei

 

Ble akkurat oppringt fra min webhost om at det gikk en enorm trafikk til/fra mitt område på serveren. Dette til tross for at jeg kun har en ordinær WordPress-blogg der.

 

Mens jeg snakket med han gikk jeg inn på bl.a. statistikken for WordPress, og la merke til at det var nesten 70000 hits fra Google spider bare siste døgn. Det "normale" har vært rundt en 4-5000 i måneden.

 

Det eneste jeg har endret på i WP, var å legge inn en RSS-feed i går. Når jeg slo av den så stoppet også trafikken.

 

Hva skjer egentlig?

[kjelle392]

I dag fikk jeg epost om at båndbredden også var sprengt. Om ikke det var nok, så ble hele bloggen stengt.

 

Er det ingen her med kompetanse som kan svare eller i det minste gi et hint på hva som kan være galt?

[kjelle392]

Tydelig at kompetansen her ikke strekker til.

Hvor kan jeg henvende meg for å kunne få svar?

[cruzader]

mangler litt info for og si hva problemet faktisk er da..

- har du laget sitemap fil som faktisk viser søkemotorer hvilke sider du har?

- har du laget en robots.txt?

- har du ført opp siden på google webmaster panelet?

- errorloggen for oppdateringer fra google webmaster panelet

 

i korte trekk når en søkemotor oppdaterer siden din om siden er www.johnny.com så går den rett på www.johnny.com/robots.txt hvor den får vite hva du gir den tillatelse til og gjøre på siden, du kan f.eks si nei fuck off slik:

# go away
User-agent: *
Disallow: /

 

vil du at google skal indeksere så må du lage et google sitemap så registrere deg samt siden din på google webmasters hvor du gir google adresse til sitemappet samt kan spesifisere hvor ofte du vil oppdateres, evnt problemer eller errorer google spidern treffer på vil også stå i loggen der.

 

uten error loggen fra google spidern er det veldig vanskelig si hvor problemet er siden den desverre ikke er av de glupeste robotene i skoffen, men gjengangeren er manglende sitemap samt korrupt sitemap.

[kjelle392]

Mine kunnskaper på dette området er meget begrenset - så hva skal jeg gjøre for å få fram det du spør etter?

 

Jeg vet ikke om det er interessant å utelukke søkemotorer heller, for det bør jo være mulig å få søkt fram det jeg har skrevet på bloggen.

 

Dette er snakk om en helt ordinær WordPress-blogg uten spesielle duppedingser. Min host stengte ned sida etter at båndbredden ble oppbrukt. Jeg er derfor ganske så irritert på det som medførte problemet.