Bewaarde resultaten van je online tool buiten Google houden, ook als PDF

Redactie MarketingCollega

Stel: je hebt een Nederlandse kluswebsite met een verfcalculator. Bezoekers berekenen hoeveel verf ze nodig hebben, bewaren hun uitkomst en downloaden een lijstje als PDF. De calculator moet nieuwe bezoekers aantrekken. Maar moet iedere opgeslagen berekening ook een zoekresultaat worden? En wat gebeurt er met het downloadbestand?

We gebruiken dit voorbeeld om Googles advies praktisch uit te werken. De belangrijkste keuze zit al vóór de technische instelling: rechtstreeks delen en publiceren voor zoekmachines verdienen elk een eigen beslissing.

Bij vertrouwelijke inhoud ligt de grens eerder. Google adviseert daarvoor wachtwoordbeveiliging, zodat alleen bevoegde gebruikers toegang hebben. Noindex, de instructie om content niet in zoekresultaten op te nemen, laat rechtstreeks bezoek via een link gewoon toe. Gebruik het dus niet als toegangsbeveiliging.

Welke gebruikerspagina's wil je vindbaar maken?

In zijn handleiding tegen gebruikersspam noemt Google expliciet deelbare pagina's, gegenereerde resultaten en interactieve tools. Website-eigenaren moeten afwegen of die content bedoeld is voor zoekmachines of alleen voor mensen met een link.

Google schrijft daarmee niet alle gebruikerscontent af. Dezelfde handleiding beschrijft bijvoorbeeld dat je bijdragen van nieuwe gebruikers eerst kunt uitsluiten en later indexatie kunt toestaan wanneer hun reputatie groeit.

Voor onze voorbeeldwebsite zouden we de openbare calculator en zorgvuldig uitgewerkte voorbeeldberekeningen beschikbaar houden voor Search. Een losse, niet-vertrouwelijke berekening die iemand alleen wil doorsturen, zouden we standaard buiten Google houden. Dat is een voorgestelde inrichting, geen constatering over bestaande Nederlandse websites.

De PDF krijgt een eigen controle

Hier wordt een instelling op één pagina al snel te klein voor het probleem. Volgens Googles technische documentatie werkt een robots meta tag, een instructie in de HTML, op een afzonderlijke pagina. Voor een PDF kan de server X-Robots-Tag: noindex meesturen in de HTTP-header: informatie die bij het bestand wordt geleverd.

Daaruit volgt een belangrijk controlepunt: een uitgesloten HTML-resultaatpagina bewijst niet dat het bijbehorende PDF-rapport ook is uitgesloten. Het zijn afzonderlijke URL's met afzonderlijke antwoorden van de server.

We zouden de publicatiekeuze daarom laten doorwerken naar alle uitvoervormen van hetzelfde resultaat:

• De deelpagina krijgt de gekozen indexatie-instructie.
• De PDF-export krijgt een bijpassende HTTP-header.
• Maakt je website ook een aparte printpagina aan? Neem die dan mee in dezelfde controle.

Pas dit gericht toe op de resultaatbestanden. Een algemene regel die alle PDF's uitsluit, zou ook bewust openbare handleidingen raken. Dat is een flinke omweg als je alleen opgeslagen berekeningen uit Google wilde houden.

Waarom robots.txt een andere uitkomst kan geven

Googles handleiding tegen gebruikersspam noemt zowel noindex als het blokkeren van crawling via robots.txt. De specifieke noindex-documentatie maakt duidelijk waarom die middelen niet uitwisselbaar zijn.

Google moet een pagina of bestand kunnen ophalen om de noindex-instructie te lezen. Blokkeer je diezelfde URL in robots.txt, dan kan Google de instructie niet verwerken. Volgens Google kan de URL vervolgens toch in zoekresultaten verschijnen, bijvoorbeeld doordat andere pagina's ernaar linken.

Voor een niet-vertrouwelijk resultaat dat bereikbaar mag blijven via een link, maar niet in Google hoort, zouden we daarom noindex gebruiken en Googlebot toegang geven om die instructie te lezen. Maak vertrouwelijke bestanden hiervoor nooit openbaar. Daar blijft toegangsbeveiliging de eerste stap.

Geef openbaar publiceren een eigen handeling

Een knop om een resultaat te delen hoeft niet tegelijk toestemming voor zoekvindbaarheid te betekenen. In ons ontwerp krijgt de verfcalculator daarom twee aparte handelingen: een resultaat delen en een berekening als openbaar voorbeeld publiceren.

Bij die tweede handeling zouden we controleren of de berekening ook zonder de oorspronkelijke gebruiker begrijpelijk en nuttig is. Welke aannames zijn gebruikt? Voor welk oppervlak geldt het voorbeeld? Welke uitleg heeft een nieuwe bezoeker nodig? Dit is onze inhoudelijke publicatiekeuze, niet een aanvullende eis van Google.

Laat vervolgens ook de sitemap aansluiten op die keuze. Google adviseert daarin de URL's op te nemen die je in zoekresultaten wilt zien. Wij zouden dus de calculator en goedgekeurde voorbeelden opnemen, niet automatisch iedere opgeslagen uitkomst. Gebruik die selectie naast de juiste indexatie-instellingen, niet als vervanging daarvan.

Controleer wat de server bij vrijgave terugstuurt

De overgang van gedeeld resultaat naar openbaar voorbeeld verdient een eigen test. Google beschrijft dat een robots meta tag of header die indexatie verbiedt, kan verhinderen dat een pagina in de wachtrij voor rendering komt. Tijdens rendering verwerkt Google de pagina en voert het JavaScript uit.

Daarom zouden we niet vertrouwen op een script dat een aanvankelijke noindex pas in de browser verwijdert. Laat de eerste HTML die je server terugstuurt al passen bij de gewenste publicatiestatus.

Controleer daarnaast de HTTP-headers. Volgens Google geldt bij conflicterende robotsregels de meest beperkende regel. Heb je de noindex uit de HTML verwijderd, maar stuurt de server nog een noindex-header mee? Dan kan die achtergebleven instructie de beoogde vrijgave blijven tegenhouden.

Wanneer past een canonical?

Een andere mogelijke oplossing klinkt aantrekkelijk: geef alle resultaten een canonical naar de calculator. Een canonical is een aanwijzing voor de voorkeursversie van dubbele of sterk vergelijkbare pagina's.

Maar Google garandeert niet dat het die voorkeur volgt. Bovendien is een berekening met ingevulde oppervlaktes niet automatisch een duplicaat van de algemene uitleg over de tool.

Onze afweging: gebruik een canonical wanneer je bij vergelijkbare openbare versies een voorkeur wilt aangeven. Wil je dat een resultaat helemaal niet in Google verschijnt, kies dan een daarvoor bedoelde uitsluitingsmaatregel. Een voorkeur aanwijzen biedt daarvoor onvoldoende zekerheid.

Controleer instellingen en verwerking apart

Een instelling aanpassen is één stap. Vaststellen dat Google die heeft verwerkt, is een volgende. Google moet de gewijzigde pagina immers opnieuw ophalen om een toegevoegde noindex te zien.

We zouden de controle zo opbouwen:

1. Neem verschillende situaties mee. Controleer een nieuw deelresultaat, de bijbehorende export en een zojuist vrijgegeven openbaar voorbeeld. Zo toets je ook de overgang tussen publicatiestanden.
2. Bekijk de werkelijk geleverde HTML en headers. Laat je ontwikkelaar controleren of iedere URL de bedoelde instructie teruggeeft. Een vinkje in het beheerscherm is daarvoor nog geen bewijs.
3. Controleer wat Google over de URL weet. URL-inspectie in Search Console biedt informatie over Googles geïndexeerde versie en kan testen of een URL indexeerbaar zou kunnen zijn. Houd die twee uitkomsten uit elkaar: een correcte huidige instelling bewijst op zichzelf niet dat een oude zoekvermelding al verdwenen is.

Google adviseert ook te letten op onverwachte groei in geïndexeerde pagina's, vertoningen en zoekopdrachten die niet bij je platform passen. Bekijk zo'n stijging eerst per paginatype. Groeit de openbare calculator, of groeit vooral de verzameling opgeslagen resultaten?

Andersom is een toename van uitgesloten pagina's niet automatisch een SEO-probleem. Google benadrukt dat niet iedere URL geïndexeerd hoeft te zijn. Bij bewust uitgesloten deelresultaten kan dat juist de gewenste uitkomst zijn.

Staat een ongewenst resultaat al in Google?

Inventariseer eerst welke URL's bij het resultaat horen, inclusief eventuele exports. Herstel daarna de structurele instellingen. Bij vertrouwelijke inhoud betekent dat eerst de toegang beperken.

Moet een zoekvermelding dringend weg, dan kan de verwijdertool van Search Console voor een eigen property als overbrugging dienen. Google beschrijft dit als een tijdelijke verwijdering van ongeveer zes maanden; voor blijvende verwijdering zijn aanvullende maatregelen nodig.

De nuttigste opdracht aan je ontwikkelaar is dus concreter dan ‘zet de resultaten op noindex’. Leg vast wat er bij delen, downloaden en openbaar publiceren moet gebeuren, en controleer die handelingen afzonderlijk. Dan blijft de openbare tool beschikbaar voor Search, zonder dat iedere bewaarde uitkomst automatisch dezelfde behandeling krijgt.