Robots IA et robots.txt : qui autoriser, qui bloquer, ligne par ligne
GPTBot et OAI-SearchBot sortent des mêmes serveurs, chez OpenAI. Le premier collecte des pages pour l'entraînement des modèles, le second alimente l'index de recherche de ChatGPT. Les bloquer ensemble d'un même geste protège vos textes de l'entraînement et vous retire des réponses citées, le même jour. L'erreur est courante, et elle coûte cher aux sites qui voulaient défendre leur travail sans renoncer à être cité par ChatGPT et Perplexity.
Vingt jetons user-agent, répartis sur sept éditeurs, figurent dans les documentations publiques de ces éditeurs. Voici ce que fait chacun d'après cette documentation, ce que produit chaque blocage, et une configuration à recopier. Liste vérifiée en septembre 2026.
Ce qu'un robots.txt contrôle et ce qu'il ne contrôle pas
Le fichier déposé à la racine d'un domaine énonce une consigne : les robots choisissent de l'appliquer. Aucun verrou réseau, aucune clé, aucune authentification n'empêche un programme de télécharger une page listée derrière un Disallow. Un robot respectueux lit le fichier avant sa première requête, repère le bloc qui porte son nom et s'abstient. Un aspirateur agressif le lit aussi, parfois pour repérer directement les répertoires que vous cherchiez à cacher.
Les robots d'exploration et d'entraînement des grands éditeurs déclarent tous respecter le protocole. OpenAI, Google, Anthropic, Apple, Meta et Common Crawl l'écrivent noir sur blanc dans leurs documentations. Les mêmes éditeurs exploitent une deuxième catégorie d'agents, déclenchés par une personne au cours d'une conversation : ChatGPT-User, Perplexity-User, meta-externalfetcher. Leurs documentations précisent que ces agents peuvent passer outre les règles du fichier, parce que la demande vient d'un utilisateur qui a réclamé une adresse précise, pas d'une exploration systématique.
Un robots.txt ne cache rien non plus. Une page interdite d'exploration reste accessible dans n'importe quel navigateur à qui connaît son adresse, et les moteurs peuvent même afficher cette URL nue si d'autres sites pointent vers elle. Un espace client, une facture, un brouillon : ça se protège par un mot de passe ou un contrôle d'accès serveur, jamais par une ligne de texte publique.
Les trois familles de robots IA
Trois familles suffisent à décider. La famille détermine la décision, le nom de l'éditeur ne détermine rien : OpenAI, Anthropic et Meta font tourner chacun des robots des trois types.
Les robots d'entraînement. Ils explorent largement et en continu pour constituer les corpus qui servent à ajuster les paramètres des modèles de fondation. Le texte collecté disparaît dans l'apprentissage : aucun lien, aucune citation, aucun visiteur en retour. GPTBot, ClaudeBot, meta-externalagent et CCBot relèvent de cette famille.
Les robots d'index de recherche. Ils alimentent les moteurs de réponse et les fonctions de recherche intégrées aux assistants. Quand un utilisateur pose une question, le moteur pioche dans cet index pour construire son résumé et afficher les sources cliquables. Fermer la porte à ces agents vous retire des citations et des liens qui les accompagnent. OAI-SearchBot, PerplexityBot, Claude-SearchBot, meta-webindexer, Googlebot et Applebot travaillent pour cette famille.
Les robots de récupération à la demande. Ils entrent en action quand quelqu'un colle une URL dans une conversation ou demande à l'assistant de lire un article précis. Le robot agit par procuration, pour le compte d'une personne connectée. La plupart des éditeurs considèrent que les interdictions d'exploration périodique ne valent pas pour cette lecture unitaire, et ils l'écrivent.
Le tableau des robots par éditeur, en septembre 2026
Les noms s'écrivent au caractère près : un jeton mal orthographié rend la règle muette. Le tableau reprend les statuts déclarés par chaque éditeur dans sa documentation.
| Éditeur | Jeton user-agent | Famille | Ce qu'il fait | Respecte le robots.txt |
|---|---|---|---|---|
| OpenAI | GPTBot | Entraînement | Collecte des pages pour l'entraînement des modèles. Le bloquer indique que le contenu ne doit pas servir à cet usage. | Oui |
| OpenAI | OAI-SearchBot | Index de recherche | Alimente la recherche de ChatGPT. OpenAI écrit que les sites qui l'excluent ne sont pas montrés dans les réponses de ChatGPT search. | Oui |
| OpenAI | ChatGPT-User | Récupération à la demande | Va chercher une page réclamée par un utilisateur. N'intervient pas dans la décision d'apparaître en recherche. | Peut l'ignorer |
| OpenAI | OAI-AdsBot | Vérification publicitaire | Visite les pages de destination soumises comme publicités. | Non précisé par OpenAI |
| Perplexity | PerplexityBot | Index de recherche | Fait remonter et lier des sites dans Perplexity. N'est pas utilisé pour entraîner des modèles. | Oui |
| Perplexity | Perplexity-User | Récupération à la demande | Lit une adresse précise saisie par un utilisateur dans l'interface. | Ignore en général |
| Anthropic | ClaudeBot | Entraînement | Collecte des pages web. Le bloquer signale que les contenus futurs du site doivent être exclus des jeux d'entraînement. | Oui |
| Anthropic | Claude-SearchBot | Index de recherche | Explore les pages pour l'index de recherche. Le bloquer réduit la visibilité dans les résultats vus par les utilisateurs. | Oui |
| Anthropic | Claude-User | Récupération à la demande | Récupère une page demandée par un utilisateur dans Claude. | Oui |
| Googlebot | Index de recherche | Indexe le web pour Google Search, y compris ce qui alimente les AI Overviews et le mode IA. | Oui | |
| Google-Extended | Contrôle d'entraînement | Jeton sans user-agent propre : il contrôle l'usage du contenu pour l'entraînement des modèles Gemini et pour le grounding. Aucun effet sur l'inclusion dans Google Search ni sur le classement. | Oui | |
| Google-CloudVertexBot | Agents d'entreprise | Sert aux agents construits sur Vertex AI. Aucun effet sur Google Search. | Oui | |
| Apple | Applebot | Index de recherche | Indexe les pages pour Spotlight, Siri et Safari. | Oui |
| Apple | Applebot-Extended | Contrôle d'entraînement | Jeton de contrôle qui ne crawle pas lui-même. Refuse l'entraînement des modèles de fondation d'Apple. Une page qui l'interdit reste dans les résultats de recherche. | Oui |
| Meta | facebookexternalhit | Aperçus de partage | Génère les aperçus des liens partagés sur les plateformes du groupe. Peut contourner le fichier pour des vérifications de sécurité. | Peut contourner |
| Meta | meta-webindexer | Index de recherche | Alimente l'index de recherche de Meta AI pour citer et lier des contenus. | Oui |
| Meta | meta-externalagent | Entraînement et indexation | Explore le web pour l'entraînement des modèles ou pour une indexation directe. | Oui |
| Meta | meta-externalfetcher | Récupération à la demande | Récupère des pages précises pour les capacités d'agent. Peut contourner le fichier. | Peut contourner |
| Meta | meta-externalads | Vérification publicitaire | Contrôle les pages de destination associées aux campagnes publicitaires. | Oui |
| Common Crawl | CCBot | Entraînement par des tiers | Constitue un corpus ouvert du web, réutilisé par des tiers, y compris pour entraîner des modèles. | Oui |
Les éditeurs publient aussi les adresses de leurs serveurs, ce qui permet de vérifier qu'un robot est bien celui qu'il prétend être. OpenAI met en ligne gptbot.json, searchbot.json et chatgpt-user.json sur openai.com. Perplexity publie perplexitybot.json et perplexity-user.json sur perplexity.com. Anthropic maintient bots.json sur claude.com. Common Crawl signale que des robots se font passer pour CCBot et publie ses plages dans ccbot.json.
Ce que produit chaque choix, décision par décision
Chaque ligne ferme un canal précis, et un seul.
Bloquer GPTBot. Vos pages cessent d'alimenter l'entraînement des modèles d'OpenAI. Vos citations dans ChatGPT quand la recherche web est active ne bougent pas, parce que ce travail-là revient à OAI-SearchBot.
Bloquer OAI-SearchBot. OpenAI écrit que les sites qui excluent ce robot ne sont pas montrés dans les réponses de ChatGPT search. Vous sortez des sources citées, sans rien gagner du côté de l'entraînement. Le raisonnement vaut pour les concurrents : une marque qui veut être référencée sur Perplexity laisse PerplexityBot circuler, sachant que Perplexity déclare ne pas l'utiliser pour entraîner ses modèles.
Bloquer Google-Extended. Vos contenus sortent de l'entraînement des modèles Gemini et du grounding. Google écrit que ce jeton n'a aucun effet sur l'inclusion dans Google Search ni sur le classement. Le crawl continue avec les user-agents Google existants, puisque Google-Extended n'explore rien par lui-même.
Bloquer Googlebot. Vous disparaissez de Google Search, des AI Overviews et du mode IA, d'un coup. Personne ne fait ça par erreur deux fois.
Bloquer CCBot. Vous fermez la porte à un corpus ouvert que beaucoup de laboratoires et d'éditeurs réutilisent. Aucun moteur de réponse grand public ne s'appuie sur Common Crawl pour ses résultats en direct : votre visibilité du jour ne change pas.
Bloquer les robots à la demande. ChatGPT-User, Perplexity-User et meta-externalfetcher déclarent qu'ils peuvent passer outre. Écrire la règle ne coûte rien, mais ne comptez pas dessus.
Une configuration type qui ouvre la recherche et ferme l'entraînement
Cette configuration tient en trois blocs : les robots d'entraînement dehors, les robots de recherche dedans, les répertoires privés fermés à tout le monde.
Le premier bloc liste les agents d'entraînement, chacun dans son propre groupe User-agent, suivi d'un Disallow portant sur la racine du site, donc sur la totalité des pages. Six noms y figurent : GPTBot pour OpenAI, ClaudeBot pour Anthropic, meta-externalagent pour Meta, CCBot pour Common Crawl, puis les deux jetons de contrôle Google-Extended et Applebot-Extended. Ces deux derniers n'explorent rien : la même ligne de Disallow leur sert d'interdiction d'usage pour l'entraînement des modèles Gemini et des modèles de fondation d'Apple, sans toucher à Google Search, aux AI Overviews, à Siri ni à Spotlight.
Le deuxième bloc reprend les robots d'index de recherche, un groupe User-agent par nom, avec un Allow sur la racine. Six noms : OAI-SearchBot, PerplexityBot, Claude-SearchBot, meta-webindexer, Googlebot et Applebot. Ces lignes ne servent pas à débloquer quoi que ce soit, puisque l'absence de règle vaut autorisation ; elles rendent votre position lisible pour la personne qui reprendra le fichier dans six mois. Une précision qui compte : un robot qui trouve un groupe à son nom ne lit que ce groupe et ignore le bloc générique. Les interdictions des répertoires privés se répètent donc dans chacun de ces groupes, sinon elles n'existent plus pour lui.
Le troisième bloc s'adresse à tous les robots, via l'astérisque, et conserve vos interdictions habituelles : espace connecté, back-office, scripts internes, panier, pages de résultats de recherche interne. Ces règles-là n'ont rien à voir avec l'IA et elles restent valables.
# Robots d'entraînement : fermés
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: CCBot
Disallow: /
# Jetons de contrôle de l'entraînement (aucune exploration propre)
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
# Robots d'index de recherche : ouverts, répertoires privés répétés
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: meta-webindexer
User-agent: Googlebot
User-agent: Applebot
Allow: /
Disallow: /app/
Disallow: /admin/
# Tous les autres robots : répertoires privés
User-agent: *
Disallow: /app/
Disallow: /admin/
Sitemap: https://www.votresite.com/sitemap.xml
C'est une position défendable parmi d'autres. Une marque qui vit des citations et de la notoriété de ses idées peut tout ouvrir, entraînement compris, et considérer que ses textes dans les modèles valent de la diffusion. Un éditeur de données payantes peut tout fermer, recherche comprise, et assumer de ne plus apparaître dans les réponses conversationnelles. Décidez de la position avant d'écrire les lignes.
Les vérifications après modification
Trois choses peuvent rendre un fichier correct parfaitement inutile.
Ouvrez d'abord l'adresse publique, votresite.com/robots.txt, dans une fenêtre de navigation privée. Vous devez y voir vos dernières règles, encodées en UTF-8, sans caractère invisible en tête de fichier. Beaucoup de CMS servent un robots.txt virtuel qui écrase le fichier déposé sur le serveur : la version affichée à cette adresse fait foi.
Vérifiez ensuite vos couches de sécurité. Un pare-feu applicatif, une extension de sécurité ou une règle de votre hébergeur filtre souvent le trafic non humain par défaut. Si OAI-SearchBot ou PerplexityBot se prend une erreur de connexion avant même d'atteindre votre serveur, vos autorisations n'existent pas. Ajoutez les robots que vous autorisez aux listes blanches de ces outils.
Comparez enfin les adresses IP des visites à celles que publient les éditeurs. Des programmes se déclarent Googlebot ou PerplexityBot pour contourner des filtres basiques, et Common Crawl signale explicitement le problème pour CCBot. Les fichiers JSON cités plus haut servent exactement à ça.
Notez la date de votre dernière vérification en commentaire, en tête du fichier. Les noms changent : un jeton renommé rend votre règle transparente, et le robot passe.
Questions fréquentes
Faut-il bloquer tous les robots IA ?
Tout dépend de ce que vous attendez de ces plateformes. Bloquer tout protège vos textes de l'entraînement et vous retire des réponses de ChatGPT search, de Perplexity et de Claude. Une marque qui cherche des visiteurs qualifiés ferme l'entraînement et laisse passer les robots d'index de recherche.
Un robots.txt protège-t-il du scraping ?
Non. Le protocole ne bloque aucun flux réseau : il énonce une consigne que les éditeurs sérieux appliquent et que les autres lisent parfois pour repérer vos répertoires sensibles. Contre l'aspiration non désirée, il faut un pare-feu applicatif qui filtre sur le comportement et les adresses IP.
Que se passe-t-il si un nom est mal orthographié ?
La règle est ignorée et le robot passe. Les agents cherchent une chaîne exacte : « GPT-Bot » ou « claudebot » écrits de travers ne correspondent à rien, le robot retombe sur le bloc générique et continue d'explorer. Recopiez les jetons depuis la documentation de l'éditeur, jamais de mémoire.
À quelle fréquence relire la liste ?
À chaque annonce d'un nouveau robot par un des grands éditeurs, et au minimum deux fois par an. Les acteurs de l'IA séparent régulièrement leurs fonctions d'exploration en plusieurs jetons, comme OpenAI l'a fait entre GPTBot et OAI-SearchBot. Une revue semestrielle des documentations suffit à garder le fichier à jour.
Pour aller plus loin
Ouvrez votre robots.txt aujourd'hui, comparez les jetons présents au tableau ci-dessus et corrigez les noms obsolètes avant la fin du mois. Contenax écrit des contenus de marque assez structurés pour être repris par les moteurs de réponse, une fois que vos robots ont le droit de les lire : voir les solutions.
