Wat is het crawl budget?
Het crawl budget verwijst naar de hoeveelheid pagina’s die zoekmachines, zoals Google, binnen een bepaalde periode kunnen crawlen op een website. Dit wordt bepaald door twee factoren:
- Crawlcapaciteit
Dit verwijst naar de technische beperkingen van een server en hoeveel verzoeken Googlebot of andere crawlers kunnen verwerken zonder prestatieproblemen te veroorzaken.
- Crawldoel
Dit wordt bepaald door de populariteit en relevantie van de inhoud. Pagina’s die meer waarde hebben, zoals goed presterende productpagina’s of nieuwe blogposts, worden vaker gecrawld.
Grote websites moeten hun crawl budget zorgvuldig beheren, omdat zoekmachines een limiet stellen aan het aantal pagina’s dat ze binnen een bepaalde tijd kunnen crawlen. Onnodige pagina’s kunnen ervoor zorgen dat belangrijke pagina’s niet worden geïndexeerd of niet op tijd worden gecrawld.
Hoe beïnvloeden faceted navigation en filters het crawl budget?
Faceted navigation en filters genereren vaak een groot aantal unieke URL’s op basis van de geselecteerde filtercombinaties. Voor elke nieuwe combinatie van filters (zoals kleur, maat, prijs) wordt een nieuwe URL aangemaakt. Dit kan resulteren in duizenden variaties van dezelfde productpagina, wat een aanzienlijke invloed heeft op je crawl budget. Hier zijn de belangrijkste manieren waarop dit je crawl budget kan beïnvloeden:
1. Crawlbloat en duplicate content
Wanneer faceted navigation wordt toegepast, creëert elk filter een unieke URL. Bijvoorbeeld, de pagina van een product kan verschillende URL’s hebben, afhankelijk van de toegepaste filters, zoals kleur of maat. Dit resulteert in wat bekend staat als crawl bloat, waarbij zoekmachines veel tijd besteden aan het crawlen van URL’s die bijna identieke inhoud hebben. Dit vertraagt het crawlen van de belangrijke pagina’s en kan leiden tot een inefficiënte indexering.
Een veelvoorkomend probleem is het ontstaan van duplicate content. Dit gebeurt wanneer verschillende URL’s dezelfde of zeer vergelijkbare inhoud hebben, wat de zoekmachine in verwarring kan brengen. Dit zorgt ervoor dat je website minder goed scoort, omdat zoekmachines moeite hebben om te bepalen welke URL ze moeten rangschikken.
2. Verspilling van crawl budget
Elke gegenereerde URL wordt gezien als een nieuwe pagina die Google moet crawlen. Als je faceted navigation ongecontroleerd blijft, kunnen er snel honderden of zelfs duizenden extra URL’s worden gegenereerd. Dit verbruikt een groot deel van je crawl budget zonder dat dit waarde toevoegt aan je SEO-prestaties, omdat de inhoud van de meeste van deze pagina’s vrijwel identiek is.
Google heeft een beperkt aantal verzoeken per website per dag. Als deze wordt opgebruikt aan faceted navigation-pagina’s, betekent dit dat belangrijke pagina’s, zoals nieuwe productpagina’s of belangrijke categoriepagina’s, mogelijk niet worden geïndexeerd.
3. Verlaging van de algehele siteprestaties
Naarmate faceted navigation meer URL’s genereert, wordt het voor zoekmachines steeds moeilijker om de echt waardevolle inhoud te vinden. Dit kan ertoe leiden dat zoekmachines minder vaak terugkomen om je site te crawlen, wat je zichtbaarheid en ranking negatief beïnvloedt.
Daarnaast kan het crawlen van te veel irrelevante pagina’s de link equity verdunnen. Dit betekent dat in plaats van dat waardevolle pagina’s sterker worden gemaakt door backlinks en interne links, de kracht wordt verspreid over veel vergelijkbare pagina’s, wat hun ranking in zoekmachines vermindert.
Hoe beheer je faceted navigation en bescherm je je crawl budget?
Hoewel faceted navigation waardevol is voor gebruikers, moet je maatregelen nemen om te voorkomen dat het je SEO schaadt. Hier zijn enkele technische oplossingen en best practices die je kunt toepassen:
1. Gebruik van canonical tags
Een van de meest effectieve manieren om duplicate content te beheren, is door canonical tags te gebruiken. Met een canonical tag geef je aan welke versie van een pagina de hoofdversie is die zoekmachines moeten indexeren. Zo voorkom je dat faceted URL’s als afzonderlijke pagina’s worden gezien, wat je crawl budget bespaart en de concurrentie tussen pagina’s vermindert.
2. Blokkeer irrelevante URL’s met robots.txt of noindex-tags
Je kunt specifieke faceted URL’s uitsluiten van het crawlen door deze te blokkeren in het robots.txt-bestand of ze een noindex-tag te geven. Dit zorgt ervoor dat zoekmachines deze pagina’s niet crawlen en indexeren. Het is echter belangrijk om dit zorgvuldig toe te passen, zodat belangrijke pagina’s niet per ongeluk worden geblokkeerd.
3. Gebruik van de URL-parameter tool in Google Search Console
Google biedt een tool in Search Console waarmee je kunt beheren hoe Google omgaat met URL-parameters. Hiermee kun je Googlebot vertellen om bepaalde URL-parameters te negeren, zodat deze pagina’s niet worden gecrawld of geïndexeerd. Dit is vooral nuttig als je veel filterparameters hebt die geen unieke inhoud genereren.
4. AJAX-implementatie
Een andere optie is om filters toe te passen via AJAX in plaats van via URL-parameters. AJAX stelt gebruikers in staat om filters toe te passen zonder dat er nieuwe URL’s worden gegenereerd, wat voorkomt dat onnodige pagina’s worden aangemaakt en gecrawld. Dit verbetert de gebruikerservaring zonder je crawl budget te belasten.
5. Sitemap optimalisatie
Zorg ervoor dat je XML-sitemap alleen de belangrijkste pagina’s bevat, zoals categoriepagina’s en belangrijke productpagina’s. Pagina’s die zijn gegenereerd door faceted navigation moeten doorgaans worden uitgesloten van de sitemap om ervoor te zorgen dat zoekmachines zich richten op de pagina’s die daadwerkelijk waardevol zijn voor SEO.
Best practices voor faceted navigation
Om het beste uit je faceted navigation te halen zonder je crawl budget te verspillen, zijn er enkele best practices die je kunt volgen:
- Beperk het aantal indexeerbare facetten
Laat alleen facetten toe die een duidelijke SEO-waarde hebben, zoals categorieën en prijsklassen.
- Voorkom over-categorisatie
Zorg ervoor dat je niet te veel facetten aanbiedt, omdat dit gebruikers kan overweldigen en het crawl budget kan verbruiken.
- Zorg voor een consistente URL-structuur
Behoud een vaste volgorde van facetten in je URL’s om duplicate content te vermijden.
Wil je hulp bij het beheren van je faceted navigation of heb je andere SEO-uitdagingen? Bij MarketingCollega bieden we specialistische SEO-diensten aan, waaronder het optimaliseren van e-commerce platformen zoals Magento en WooCommerce.
