Google knekker min katalog-nettside med millioner av undersider

[decode]

Hei!

 

Jeg har en nettside hvor man kan gjøre oppslag på en type serienummer.

Om vi har serienummer ABC123 og XXX321, så vil dette bli:

mittdomene.no/ABC123

mittdomene.no/XXX321

 

Hvert serienummer har sin egen underside, hvor det listes opp mye detaljert informasjon om dette.

Jeg ønsker at alle disse serienummerne skal være søkbare i Google.

 

Per i dag så er det sånn at Google besøker samtlige av mine undersider, og da gjerne fire ganger fra forskjellige enheter. Det ser ut til at det det crawles 15.000.000 sider per måned. Dette knekker webhotellet mitt, spesielt siden de gjerne crawler 30 sider per sekund, og sidene er PHP som leser fra MySQL-database med da mange millioner serienummer med tilhørende informasjon.

 

Har dere noen tanker om hvordan dette kan løses?

 

Noen ting jeg har tenkt på: 

* Informasjonen om serienummrene forandrer seg ikke nevneverdig, så det er for eksempel ikke nødvendig at den samme undersiden crawles flere ganger. Men hvordan spesifiserer jeg dette?

 

* Kunne jeg nektet crawling av undersidene, og heller laget "bla-gjennom" sider som lister opp alle serienummerne med litt informasjon med link til dem? Hvordan kan man gi "utdypende" informasjon i en <a> tag?

 

[vidor]

Som webmaster kan du be Google crawle raskere eller tregere.

https://support.google.com/webmasters/answer/48620?hl=en

[Matsemann]

Setter du riktig metadata, blant annet når en side sist ble oppdatert, og hvor ofte du mener den trengs å crawles?

 

Har du en indeks på databasen på serienummeret det slås opp på? Gjøres det mange tunge spørringer/joins som kanskje kunne vært strukturert annerledes (denormalisert), potensielt puttet i en dokumentbase i stedet for? Har du sett på caching, så ikke databasen trenger å kalles og kanskje ikke php en gang trenger gjøre særlig?

 

Hva slags webhotell er det snakk om? Er det et shitty 20kr/mnd får du hva du betaler for.

[quantum]

robots.txt ?

[siDDis]

Fyr opp ein Varnish instans, så knekker ikkje webhotellet ditt lenger.

[andreasn]

Du kan også se på om en Sitemap fil kan hjelpe: https://en.wikipedia.org/wiki/Sitemaps

 

Problemet er om alle produktene skal inn i denne filen, da vil den bli veldig stor.

[Gjest Slettet+1523]

Jeg er med siDDis når det gjelder Varnish, det kunne løst mye for deg.

 

Dagens litt voldsomme forslag: har du eventuelt vurdert å heller lage en webapplikasjon med en løsning på klientsiden, f.eks gjennom AngularJS eller et annet rammeverk, som kommuniserer med databasen gjennom et API? Da slipper du iallefall å ha de millionene av undersider, og med litt planlegging kan webappen gjøres søkbar som normalt.