Waarom llms.txt voor SEO en AI-zichtbaarheid veel minder belangrijk is dan wordt beweerd

Rond AI Search wordt een nieuw bestand, stukje markup of technisch vinkje al snel een ‘must-have voor GEO’. llms.txt is daar een goed voorbeeld van. Het idee klinkt logisch: je geeft AI-systemen een overzichtelijk Markdown-bestand en wordt daardoor vaker genoemd in ChatGPT, Claude, Perplexity of Google AI. Alleen volgt die laatste stap niet uit de officiële documentatie.

Google Search zegt inmiddels zelfs expliciet dat het llms.txt-bestand wordt genegeerd. OpenAI, Anthropic en Perplexity documenteren hun crawlers en de crawlvoorkeuren die website-eigenaren via robots.txt kunnen aangeven, maar noemen llms.txt niet als voorwaarde of signaal voor een hogere zichtbaarheid. Tegelijk publiceren deze bedrijven zelf een llms.txt voor hun ontwikkelaarsdocumentatie.

Dat is niet tegenstrijdig. Een bestand kan handig zijn als inhoudsopgave voor een agent die er bewust naar kijkt, zonder een rankingfactor of standaard onderdeel van AI-zoekmachines te zijn.

Het korte antwoord: voor de meeste bedrijfswebsites en webshops is llms.txt op dit moment geen belangrijke SEO- of GEO-optimalisatie. Het kan in specifieke situaties een handige technische extra zijn, vooral bij omvangrijke softwaredocumentatie. Er is alleen geen officiële onderbouwing dat het de kans op rankings, vermeldingen of bronverwijzingen verhoogt.

Wat is llms.txt precies?

llms.txt is een voorstel van Jeremy Howard, voor het eerst gepubliceerd op 3 september 2024. De website van het voorstel omschrijft het nog steeds als een proposal: een voorgestelde conventie om agents te helpen een website te gebruiken. Ook de W3C Introduction Layer Community Group noemt llms.txt opkomend en zegt expliciet dat er geen formele standaard is.

Het bestand staat meestal op domein.nl/llms.txt en is geschreven in Markdown. Versie 2 staat ook bestanden op subpaden toe, zoals /docs/llms.txt. Het bevat een titel en omschrijving, eventueel extra context en vooral gecureerde links naar belangrijke informatie — bij voorkeur ook naar schone Markdown-versies van pagina’s.

Het doel is niet om alle URL’s op te sommen; daar is een XML-sitemap voor. llms.txt is een compacte, door de website-eigenaar samengestelde routekaart. Een agent kan die openen, bepalen welke bron relevant is en alleen die informatie ophalen.

Het voorstel is op 10 augustus 2026 bijgewerkt naar versie 2. Daarin staat dat het formaat vooral wordt gebruikt voor softwaredocumentatie. Dat is logisch: een coding agent heeft meer aan een verwijzing naar de juiste API-documentatie dan aan een volledige website met menu’s, scripts en visuele elementen.

Belangrijk: llms.txt is geen toestemmingsbestand. Het bepaalt niet welke bots je website mogen crawlen, het blokkeert geen gebruik voor modeltraining en het vervangt robots.txt niet. In het voorstel staat bovendien dat het bestand vooral bedoeld is voor gebruik tijdens het ophalen van actuele context — inference — en niet primair voor training.

robots.txt en sitemap.xml hebben een vastgelegde functie. llms.txt is een optioneel voorstel zonder officiële status.

De denkfout: publiceren, kunnen lezen en daadwerkelijk gebruiken zijn drie verschillende dingen

Veel positieve verhalen over llms.txt slaan een belangrijke tussenstap over. Ze zien dat een AI-bedrijf het bestand publiceert of dat een taalmodel het kan lezen, en trekken daaruit de conclusie dat het plaatsen ervan de AI-zichtbaarheid van iedere website verbetert.

Die conclusie volgt er niet automatisch uit:

Voor een claim als ‘hierdoor word je vaker genoemd in ChatGPT’ is bewijs nodig van die derde stap: het betreffende platform moet het bestand ophalen, verwerken én gebruiken bij de selectie van bronnen. Voor gewone websites is dat door de grote AI-zoekplatforms niet officieel gedocumenteerd.

Stap 1 en 2 zijn aantoonbaar. Juist stap 3 — het bestand daadwerkelijk gebruiken bij bronselectie — is niet officieel gedocumenteerd.

Wat zeggen Google, ChatGPT, Claude en Perplexity officieel?

De openbare richtlijnen zijn een stuk nuchterder dan veel blogs, plugins en GEO-scans doen vermoeden.

Google is het duidelijkst: llms.txt wordt genegeerd

In de actuele Google Search-gids voor generatieve AI zegt Google expliciet dat Search llms.txt niet gebruikt en dat het bestand de zichtbaarheid of rankings niet helpt én niet schaadt.

Google kan zo’n URL nog steeds tegenkomen, crawlen of als gewoon tekstbestand indexeren. In dezelfde uitleg waarschuwt Google dat dit niet betekent dat het bestand een speciale behandeling krijgt. Een bezoek van Googlebot aan /llms.txt is dus geen bewijs dat de inhoud als GEO-signaal wordt verwerkt.

Dat geldt ook voor de generatieve onderdelen van Google Search. Volgens de documentatie over AI Overviews en AI Mode moet een pagina geïndexeerd zijn en met een snippet in Search mogen verschijnen; aanvullende technische eisen of een speciaal AI-bestand zijn er niet. Google voegde de verduidelijking over llms.txt op 15 juni 2026 toe, blijkt uit het officiële documentatie-overzicht. Voor de waarde van llms.txt binnen Google Search is de officiële positie daarmee duidelijk.

OpenAI documenteert robots.txt, niet llms.txt als zichtbaarheidssignaal

OpenAI maakt in zijn officiële crawlerdocumentatie onderscheid tussen OAI-SearchBot voor ChatGPT Search, GPTBot voor mogelijke modeltraining en ChatGPT-User voor bezoeken na een gebruikersactie. Wie als bron in ChatGPT-zoekantwoorden wil kunnen verschijnen, moet OAI-SearchBot niet blokkeren; crawltoegang is geen garantie op selectie. Een geblokkeerde site kan volgens OpenAI nog wel als navigatielink verschijnen. OpenAI publiceert zelf een llms.txt voor zijn API-documentatie, maar zegt niet dat OAI-SearchBot zulke bestanden op gewone websites automatisch gebruikt.

Bij Anthropic en Perplexity zien we hetzelfde onderscheid

Anthropic documenteert aparte bots voor training, zoeken en gebruikersbezoeken, plus de relevante robots.txt-regels. Perplexity verwijst naar PerplexityBot, robots.txt en officiële IP-adressen. Beide bedrijven publiceren een documentatie-index in llms.txt (Anthropic, Perplexity), maar koppelen die niet aan betere selectie, rangschikking of bronvermelding van externe websites.

Het is onmogelijk om op basis van openbare documentatie uit te sluiten dat een losse agent het bestand nu of in de toekomst ophaalt. Maar ‘een systeem zou het kunnen gebruiken’ is iets heel anders dan ‘dit is een belangrijke optimalisatie’. Voor die tweede claim ontbreekt de onderbouwing.

Wat zien we daadwerkelijk terug in serverlogs?

Naast de officiële richtlijnen is inmiddels ook praktijkonderzoek beschikbaar. Een grootschalig openbaar logonderzoek van Ahrefs keek in mei 2026 naar 137.210 domeinen met verkeer in Ahrefs Web Analytics. Bij ongeveer 38.000 domeinen retourneerde /llms.txt een 200-status en was het bestand geen gewone of soft 404. Ahrefs controleerde niet of ieder bestand inhoudelijk aan het voorstel voldeed.

Van die bestanden kreeg 97% in de hele maand geen enkel verzoek. Van de verzoeken naar bestanden die wél verkeer kregen, kwam slechts 1,1% van AI-retrievalbots, zoals OAI-SearchBot en PerplexityBot. SEO-audittools waren goed voor 21,7%; daarvan kwam 10,6 procentpunt van Ahrefs’ eigen crawlers en 11,1 procentpunt van andere SEO-tools. Er waren dus wel bezoeken van AI-bots: het onderzoek bewijst niet dat geen enkel systeem het bestand ooit leest.

Cijfers uit het serverlogonderzoek van Ahrefs (mei 2026, 137.210 domeinen).

De beperkingen zijn belangrijk. De steekproef bestaat uit Ahrefs-gebruikers, de meting besloeg één maand en vond plaats vóór versie 2 van het voorstel. Bovendien bewijst een request alleen dat een bestand is opgehaald — niet dat de inhoud is gevolgd, gebruikt of geciteerd. Toch onderstreept het onderzoek de kern van het probleem: er wordt veel over llms.txt gecontroleerd en geschreven, maar aantoonbaar gebruik door AI-zoekmachines is nog bijzonder beperkt.

Maar waarom staat llms.txt dan in Lighthouse en PageSpeed Insights?

Chrome heeft sinds 2026 een experimentele Lighthouse-categorie voor agentic browsing, waarin ook naar llms.txt wordt gekeken. De officiële uitleg noemt het een ‘emerging convention’ en zegt dat het bestand optioneel is. Ontbreekt het en geeft je website een normale 404-status terug, dan is de audit niet van toepassing. Alleen een serverfout kan een melding opleveren. De hele categorie is experimenteel, gebaseerd op voorgestelde standaarden en geeft geen gewogen score van 0 tot 100, maar alleen een fractionele passratio en auditstatussen.

Een melding in PageSpeed Insights betekent dus niet dat je een SEO-fout hebt gevonden. Chrome onderzoekt hoe browseragents met websites kunnen omgaan; Google Search bepaalt hoe pagina’s worden gevonden en gerangschikt. Dat zijn twee verschillende toepassingen binnen hetzelfde concern.

Wat doet een llms.txt-bestand niet?

Een llms.txt:

• geeft geen toestemming om je website te crawlen;
• bevat geen gestandaardiseerde crawlerregels waarmee je bots blokkeert;
• zorgt niet dat pagina’s worden geïndexeerd;
• is geen aangetoonde rankingfactor;
• garandeert geen vermelding of bronlink in een AI-antwoord;
• bepaalt niet of je content voor modeltraining mag worden gebruikt;
• maakt zwakke, verouderde of inwisselbare content niet waardevoller.

De vergelijking met ‘een robots.txt voor AI’ is daarom misleidend. Met het formeel vastgelegde Robots Exclusion Protocol, RFC 9309 kunnen website-eigenaren crawlers verzoeken bepaalde URL-paden wel of niet te bezoeken. Het protocol is overigens geen toegangsbeveiliging. llms.txt biedt alleen een gecureerde inhoudsopgave aan een agent die besluit het bestand te gebruiken.

Moet je llms.txt aan je website toevoegen?

Het bestand is niet per definitie onzin. De waarde zit alleen ergens anders dan vaak wordt beloofd.

llms.txt kan nuttig zijn wanneer:

• je een grote API-, software- of productdocumentatie beheert die agents vaak raadplegen;
• je een eigen agent of RAG-systeem bouwt dat expliciet is ingesteld om het bestand te lezen;
• je CMS het bestand automatisch, correct en zonder noemenswaardig onderhoud genereert;
• je voor een concreet systeem hebt vastgesteld dat het formaat daadwerkelijk wordt gebruikt.

Voor een gewone bedrijfswebsite of webshop blijft de praktische waarde waarschijnlijk beperkt. Genereert een betrouwbare plugin automatisch een actuele versie, dan hoef je die niet te verwijderen: Google zegt dat het bestand de zichtbaarheid in Google Search niet helpt of schaadt. Handmatig bouwen en bij iedere wijziging bijhouden is een ander verhaal. Een verouderde routekaart helpt ook de agents die er wél naar kijken niet.

Ons advies is daarom eenvoudig: voeg llms.txt alleen toe wanneer dit vrijwel geen tijd kost of wanneer je een concrete gebruiker van het bestand kunt aanwijzen. Presenteer het niet als bewijs dat een website ‘GEO-geoptimaliseerd’ is.

Waar kun je je tijd beter in steken?

Voor Google zijn onderstaande basispunten expliciet gedocumenteerd. Bij de andere AI-platforms is in elk geval de crawltoegang officieel beschreven:

1. Controleer crawltoegang per bot. Zoekcrawlers en trainingscrawlers hebben verschillende functies. Kijk bewust naar onder meer Googlebot, OAI-SearchBot, Claude-SearchBot en PerplexityBot, en controleer ook je CDN of firewall.
2. Maak belangrijke pagina’s indexeerbaar en intern vindbaar. Een goede websitestructuur, duidelijke interne links, correcte canonicals en een actuele XML-sitemap zijn zinvoller dan een los AI-bestand.
3. Publiceer informatie die niet overal hetzelfde is. Google adviseert voor generatieve zoekresultaten expliciet unieke, deskundige en niet-inwisselbare content. Eigen ervaringen, onderzoek, voorbeelden en controleerbare bronnen geven een systeem meer reden om jouw pagina te gebruiken.
4. Zet belangrijke informatie als echte tekst op de pagina. Zorg dat prijzen, voorwaarden, productspecificaties, auteursinformatie en conclusies niet alleen in afbeeldingen of moeilijk bereikbare interfaces staan.
5. Gebruik structured data waarvoor het bedoeld is. Correcte structured data kan zoekmachines helpen content te begrijpen en rich results mogelijk maken. Ook hiervoor bestaat geen speciaal ‘AI-schema’ en markup moet overeenkomen met wat bezoekers zien.
6. Meet het resultaat in plaats van het vinkje. Kijk naar echte AI-verwijzingen, bronvermeldingen, serverlogs en — waar beschikbaar — rapportages van de platformen. De aanwezigheid van een bestand zegt op zichzelf niets over het gebruik ervan.

Dit sluit aan op een bredere les binnen GEO: de basis van goede AI-zichtbaarheid bestaat voor een groot deel uit degelijke SEO, sterke inhoud en aantoonbare autoriteit. In ons artikel met 17 feiten en fabels over GEO behandelen we meer claims die overtuigend klinken, maar niet altijd door bewijs worden gedragen.

Conclusie: niet nutteloos, wel zwaar overschat

llms.txt heeft een echte nichetoepassing als compacte documentatie-index voor agents. Dat OpenAI, Anthropic en Perplexity het voor hun technische documentatie aanbieden, laat dat zien. Maar Google Search negeert het bestand expliciet, de andere grote AI-platforms documenteren geen effect op rankings of citaties en Lighthouse behandelt het als optioneel en experimenteel.

Het bestand is dus niet onder alle omstandigheden waardeloos; er wordt vooral veel interessanter over gedaan dan het bewijs rechtvaardigt. Wie beperkte tijd en budget heeft, kan het onderaan de prioriteitenlijst zetten en eerst verbeteren wat zoekmachines en AI-platforms aantoonbaar gebruiken.

Wil je weten welke verbeteringen voor jouw website daadwerkelijk verschil kunnen maken in Google én AI Search? Tijdens onze gratis SEO- en GEO-analyse kijken we naar de techniek, content en autoriteit van je site. Zonder een automatisch rapport vol hippe vinkjes, en zonder vervelende verkoopgesprekken achteraf.

Primaire en officiële bronnen

• Het llms.txt-voorstel (versie 2)
• W3C Community Group: llms.txt is opkomend en geen formele standaard
• Google: optimaliseren voor generatieve AI-functies in Search
• Google: AI Overviews, AI Mode en je website
• OpenAI: overzicht van crawlers en user-agents
• Anthropic: crawlers en blokkeren via robots.txt
• Perplexity: officiële crawlerdocumentatie
• Chrome Lighthouse: de optionele llms.txt-audit
• IETF: Robots Exclusion Protocol (RFC 9309)

Aanvullend praktijkonderzoek

• Ahrefs: serverlogonderzoek naar 137.210 domeinen