ClaudeBot is in november 2026 de crawler waarmee Anthropic webcontent kan verzamelen die mogelijk bijdraagt aan de training van hun generatieve AI-modellen. In het Privacy Center van Anthropic staat dat dit iets anders is dan Claude-User, die sites kan ophalen als een gebruiker van Claude een vraag stelt, en iets anders dan Claude-SearchBot, die het web gebruikt om de kwaliteit van zoekantwoorden te verbeteren. De drie bots hebben elk een eigen user-agent, zodat je per doel een keuze kunt maken. Anthropic schrijft dat hun bots de robots.txt volgen, inclusief een “do not crawl”-signaal, en dat ze geen CAPTCHA’s omzeilen. Dat is een andere indeling dan bij GPTBot of PerplexityBot, die over andere merken gaan.
Drie bots, drie gevolgen als je ze uitzet
Als je ClaudeBot beperkt, signaleert dat volgens Anthropic dat toekomstig materiaal van de site buiten hun trainingsdatasets hoort te blijven. Als je Claude-User uitzet, kan hun systeem je inhoud niet ophalen als antwoord op een gebruikersvraag, wat je zichtbaarheid bij dat soort zoekacties kan verminderen. Als je Claude-SearchBot uitzet, wordt je inhoud niet geïndexeerd voor hun zoekoptimalisatie, wat eveneens zichtbaarheid en nauwkeurigheid in gebruikerszoekresultaten kan verminderen, schrijft Anthropic. Dat zijn hun woorden, geen belofte dat toestaan automatisch een vermelding oplevert.
Zet de drie niet op één regel, en verwar ze niet met “gevonden worden in Claude” als onderwerp van zichtbaarheid. Hoe je in antwoorden van Claude terechtkunt, is een andere vraag, beschreven in gevonden worden in Claude. Deze tekst gaat over de bots en over robots.txt.
Zo zet je het in robots.txt
Anthropic geeft als voorbeeld om een bot voor de hele site te blokkeren, per subdomein dat je wilt uitsluiten:
User-agent: ClaudeBot
Disallow: /
Zij ondersteunen ook de niet-standaard Crawl-delay, bijvoorbeeld:
User-agent: ClaudeBot
Crawl-delay: 1
Vervang de naam door Claude-User of Claude-SearchBot als die keuze je doel is. Een Allow of een gerichtere Disallow op een pad werkt volgens dezelfde logica: specifieke blokken per user-agent, niet alles op User-agent: * gooien als je alleen training wilt beperken en zoekophaalacties wilt houden, of omgekeerd. Test of /robots.txt bereikbaar is. Anthropic waarschuwt dat het blokkeren van IP-adressen alleen niet betrouwbaar of blijvend een opt-out garandeert, onder meer omdat hun bots je robots.txt dan mogelijk niet meer kunnen lezen. Kopieer geen oude IP-lijst uit een blog; als Anthropic een lijst publiceert, is die officiële lijst de bron, en die kan wijzigen.
Een algemener “geen training”-signaal, en wie voorgaat
Sinds 30 oktober 2026, schrijft Anthropic, zijn zij een machineleesbaar signaal gaan herkennen waarmee site-eigenaren een voorkeur kunnen uitspreken over training van AI-modellen, gebaseerd op werk in de IETF-werkgroep aipref. Zij rollen dat in de loop van de tijd uit, en de manier waarop zij het lezen kan nog wijzigen, omdat de standaard in ontwikkeling is. Voor een gegeven pad geldt volgens hen: als robots.txt ClaudeBot met name noemt, volgen zij die regel, ook als het algemene signaal iets anders zegt. Als robots.txt ClaudeBot niet noemt, volgen zij het algemene signaal. Wie training wil sturen, is dus het duidelijkst door ClaudeBot zelf te benoemen.
Vragen of meldingen over crawlers die zich niet aan de beschrijving houden, richt Anthropic aan claudebot@anthropic.com, vanuit een e-mailadres dat het betreffende domein bevat, schrijft de pagina. Dat is hun kanaal, geen vervanging van je eigen logboeken.
Veelgemaakte fouten in robots.txt
De eerste fout is alle drie de bots op één User-agent-regel zetten, of alleen User-agent: * bewerken en denken dat training daarmee netjes is afgebakend. Een regel voor * raakt elke bot die zich daaraan houdt, inclusief zoekmachines die je misschien wél wilt houden. Wie alleen ClaudeBot wil beperken, noemt ClaudeBot. Wie ook Claude-User of Claude-SearchBot wil sturen, maakt daar aparte blokken voor. Typ de namen precies, inclusief het koppelteken in Claude-User en Claude-SearchBot.
De tweede fout is één host vergeten. Anthropic zegt dat je de regel zet op elk subdomein dat je wilt uitsluiten. Een robots.txt op www.voorbeeld.nl is niet automatisch dezelfde file als op blog.voorbeeld.nl of op het kale domein. Zet het bestand waar de bot het zoekt, meestal op de wortel van die host, en test of het zonder inlog bereikbaar is. Een 404 of een loginmuur op /robots.txt is geen helder signaal.
Logs, IP’s en onderhoud
In je serverlogs zoek je naar de user-agent, niet naar een ip-lijst die je ooit ergens hebt gekopieerd. Anthropic waarschuwt dat het blokkeren van IP-adressen alleen geen betrouwbare, blijvende opt-out is, onder meer omdat hun bots je robots.txt dan mogelijk niet meer lezen. Houd dat bestand leesbaar. Als Anthropic zelf een lijst publiceert, is díe lijst de bron, en die kan wijzigen; deze gids kopieert hem niet.
Plan een korte controle als de standaard of de pagina van Anthropic wijzigt, vooral het algemene trainingssignaal dat zij sinds 30 oktober 2026 noemen. Dat signaal is volgens hen in ontwikkeling. Een regel die ClaudeBot met name noemt, blijft volgens de huidige tekst de duidelijkste manier om training te sturen. Meldingen over crawlers die zich niet aan de beschrijving houden, gaan naar het adres dat Anthropic zelf noemt, vanuit een mailbox op het betreffende domein, naast je eigen logboek.
Praktisch
- ClaudeBot is de trainingscrawler; Claude-User ondersteunt gebruikersvragen; Claude-SearchBot werkt aan zoekkwaliteit.
- Anthropic zegt dat deze bots robots.txt honoreren, en geen CAPTCHA’s omzeilen.
- Zet per bot een eigen blok in robots.txt, op elk subdomein dat je wilt sturen.
- Een regel die ClaudeBot met name noemt, gaat volgens Anthropic boven een algemeen trainingssignaal.
- IP-blokkades alleen zijn volgens hen geen betrouwbare, blijvende opt-out; houd robots.txt leesbaar.
Veelgestelde vragen
Traint ClaudeBot op mijn content?
ClaudeBot verzamelt volgens Anthropic webcontent die mogelijk bijdraagt aan de training. Als je hem in robots.txt beperkt, is het signaal dat toekomstig materiaal buiten die trainingsdatasets hoort te blijven.
Volgen deze bots robots.txt?
Ja, volgens de officiële Privacy Center-pagina. Anthropic noemt dat honoring of industry standard directives, inclusief “do not crawl”.
Is één regel genoeg voor alle drie?
Nee. Het zijn drie user-agents, met drie verschillende gevolgen als je ze uitzet. Regel ze apart als je ze verschillend wilt behandelen.
Word ik vaker in Claude genoemd als ik ze toesta?
Dat belooft Anthropic niet. Uitzetten kan zichtbaarheid bij gebruikersvragen of zoekresultaten verminderen, schrijven zij. Toestaan is geen garantie op een vermelding.
Bronnen
- Anthropic Privacy Center, Does Anthropic crawl data from the web, and how can site owners block the crawler? (geraadpleegd 16 november 2026)



