Het crawlbudget is het aantal pagina’s dat Google binnen een bepaald tijdsbestek op een website zal crawlen. Dit is afhankelijk van twee factoren, zoals de crawlsnelheidslimiet en de crawlvraag. De limiet voor de crawlsnelheid is de limiet die Google-bots stellen om het crawlen van een website te controleren. Het kan helpen om overbelasting van een website te voorkomen.
Hoe werkt het?
Een crawler (spider of bot) krijgt een lijst met URL’s om op een website te crawlen en scant deze vervolgens grondig. Het scant ook af en toe de robots.txt-bestand van een website om er zeker van te zijn dat het nog steeds is toegestaan om elke URL te crawlen. Zodra een URL is gecrawld en de inhoud ervan is gelezen, voegt de spider de nieuwe URL’s toe die hij op die pagina heeft gevonden.
Er zijn verschillende factoren die van invloed kunnen zijn op het crawlbudget:
- Dubbele inhoud – Als Google duplicate content detecteert, kan dit een groot probleem zijn omdat het geen waarde biedt aan Google-gebruikers.
- Spam en inhoud van lage kwaliteit – De crawler kan het crawlbudget verlagen wanneer de berichten en/of pagina’s van lage kwaliteit zijn of spam bevatten.
- Server en hosting – Zowel de website als hosting moeten snel zijn. Als pagina’s binnen een website te langzaam worden geladen, kan de crawler stoppen met het weergeven en indexeren van deze pagina’s.
Crawlbudget optimaliseren
Er zijn verschillende manieren waarop crawlbudget kan worden geoptimaliseerd. Zo zijn er gratis tools om eventuele SEO-gerelateerde problemen op een site te achterhalen en deze op te lossen. Het beperken van omleidingen, het vermijden van het gebruik van URL-parameters en het oplossen van gebroken links helpt ook om een goed crawlbudget te behouden.
De andere factoren die het crawlbudget een boost geven, is het gebruik van zowel interne als externe links, een goede serversnelheid en het hebben van pagina’s in de cache om de pagina sneller te laden. Ook is het een pré om de websitesnelheid in PageSpeed Insights Tool te testen om meer te weten te komen over de paginasnelheid.
Crawlbudget controleren
Als je de status van het crawlbudget wilt inzien, moet Google Search Console worden bezocht. Nadat de gewenste website is gekozen, ga je naar Instellingen -> Crawlstatistieken. Daar zie je het aantal pagina’s dat Google per dag crawlt, de totale downloadgrootte en de gemiddelde reactietijd van de website. Op deze pagina kan ook de status van de host worden ingezien. Dit geeft een overzicht van de algemene beschikbaarheid in de afgelopen 90 dagen. Als er in deze periode beschikbaarheidsproblemen waren, zie je daarvan een waarschuwing.
Conclusie
Het crawlbudget en het optimaliseren hiervan is een wetenschap dat erg omslachtig kan zijn. Voel je je overweldigd door de stappen die nodig zijn om het crawlbudget te verbeteren en heb je hulp nodig? Neem contact met ons op, onze ervaren marketeers zijn je graag van dienst.
Denk jij precies te weten hoe Google een website crawlt en indexeert? Doe dan deze test!
