Le fichier robots.txt vient de devenir une décision stratégique
Pendant la majeure partie de son histoire, robots.txt était un fichier de maintenance. Vous bloquiez l'accès des crawlers aux pages d'administration, aux environnements de préproduction et aux chemins de contenu dupliqué. Si vous faisiez une erreur, vous perdiez quelques pages de l'index Google. Ennuyeux, mais réparable en un cycle d'exploration.
Cette dynamique a changé lorsque les entreprises d'IA ont commencé à envoyer des crawlers sur le web. GPTBot, ClaudeBot, PerplexityBot, Bytespider, Google-Extended. Chacun d'eux vérifie votre robots.txt avant de décider de lire vos pages ou non. Votre robots.txt ne concerne plus seulement l'indexation par les moteurs de recherche. C'est la porte d'entrée de la visibilité IA. Une erreur, et vous disparaissez silencieusement des réponses générées par l'IA. Une erreur commise par négligence, et vous bloquez Googlebot au passage.
Votre robots.txt est désormais une décision commerciale, pas une corvée technique. Chaque règle Disallow que vous écrivez détermine si votre marque apparaît dans les réponses IA de ChatGPT, Perplexity, Gemini, Claude, DeepSeek, Grok et Google AI Overviews, ou si elle en disparaît.
Le point délicat : les crawlers IA et les crawlers de recherche traditionnels utilisent le même mécanisme d'accès mais servent des objectifs différents. Googlebot indexe les pages pour les résultats de recherche. GPTBot lit le contenu pour l'entraînement des modèles et la récupération en temps réel. Google-Extended gère les données d'entraînement IA séparément de l'indexation de recherche habituelle. Bloquer le mauvais user-agent a des conséquences que vous n'aviez pas prévues.
Ce guide couvre chaque chaîne user-agent des principaux crawlers IA, présente des configurations robots.txt précises pour les scénarios courants et signale les erreurs qui coûtent leur visibilité aux sites.
Voir aussi: Liste des crawlers AI 2026 : chaque bot qui explore votre site (et ce qu'il en fait)
Ce que robots.txt contrôle réellement (et ce qu'il ne contrôle pas)
Avant d'écrire des règles pour les bots IA, il faut comprendre les limites de ce que ce fichier peut faire.
robots.txt est un protocole volontaire. Il indique aux crawlers les chemins auxquels ils ne devraient pas accéder. Le mot « devraient » est important ici. Les crawlers conformes lisent le fichier et suivent les règles. Les non-conformes l'ignorent. Aucun mécanisme d'application n'est intégré au protocole.
Pour la recherche traditionnelle, cela posait rarement problème. Googlebot et Bingbot respectent fiablement robots.txt. Les scrapers malhonnêtes l'ont toujours ignoré, et cela a été accepté comme le prix de la présence sur le web ouvert.
Ce que robots.txt contrôle
- Quels chemins d'URL un crawler spécifique peut explorer
- Quels chemins d'URL sont interdits à tous les crawlers via des règles génériques
- L'emplacement du sitemap (à titre informatif, pas directif)
Ce que robots.txt NE contrôle PAS
- Si le contenu déjà collecté est supprimé des jeux de données d'entraînement
- Comment un bot utilise le contenu qu'il a collecté avant que votre règle n'existe
- Le taux ou la fréquence d'exploration (la directive Crawl-delay existe, mais tous les bots ne la respectent pas)
- L'accès des bots qui ne s'identifient pas ou falsifient leur user-agent
- Votre contenu sur des sites tiers, les réseaux sociaux ou les flux syndiqués
robots.txt est prospectif, pas rétroactif. Si GPTBot a exploré votre site le mois dernier, ajouter un Disallow aujourd'hui stoppe les visites futures. Cela ne supprime pas ce qui a déjà été collecté. Pour une suppression rétroactive, vous devez contacter directement l'entreprise d'IA.
Cette distinction est importante. De nombreux propriétaires de sites bloquent les crawlers IA en s'attendant à ce que leur contenu disparaisse des réponses de ChatGPT ou Perplexity. Ce ne sera pas le cas. Le blocage empêche uniquement les nouvelles visites d'exploration à venir.
User-agents des crawlers IA : la référence complète
Chaque entreprise d'IA utilise une ou plusieurs chaînes user-agent pour identifier ses crawlers. Vous avez besoin de ces chaînes pour écrire des règles robots.txt ciblées. Voici tous les principaux crawlers IA actifs en 2026.
OpenAI
| Bot | Chaîne User-Agent | Objectif |
|---|---|---|
| GPTBot | GPTBot |
Données d'entraînement + récupération en direct pour ChatGPT |
| OAI-SearchBot | OAI-SearchBot |
Recherche web en temps réel pour la fonctionnalité de recherche ChatGPT |
| ChatGPT-User | ChatGPT-User |
Mode navigation (visites d'URL initiées par l'utilisateur) |
GPTBot est le crawler principal. OAI-SearchBot gère les requêtes de recherche en temps réel dans ChatGPT. ChatGPT-User s'active lorsque quelqu'un demande explicitement à ChatGPT de parcourir une page spécifique. Bloquer GPTBot seul ne bloque pas tous les accès d'OpenAI. Vous devez traiter les trois user-agents séparément.
Anthropic
| Bot | Chaîne User-Agent | Objectif |
|---|---|---|
| ClaudeBot | ClaudeBot |
Collecte de données d'entraînement pour les modèles Claude |
| anthropic-ai | anthropic-ai |
Ancien identifiant de crawler Anthropic |
ClaudeBot est le crawler principal actuel. L'identifiant anthropic-ai est plus ancien et apparaît moins fréquemment dans les journaux, mais se manifeste encore sur certains sites.
| Bot | Chaîne User-Agent | Objectif |
|---|---|---|
| Google-Extended | Google-Extended |
Données d'entraînement IA pour Gemini, distinctes de la recherche |
| Googlebot | Googlebot |
Indexation de recherche traditionnelle + AI Overviews |
Cette paire est la plus mal comprise. Googlebot gère à la fois l'indexation de recherche traditionnelle et Google AI Overviews. Google-Extended gère uniquement l'entraînement des modèles IA. Bloquer Google-Extended n'affecte ni votre classement de recherche ni votre apparition dans les AI Overviews. Bloquer Googlebot tue toute votre présence sur la recherche Google. Sachez lequel vous visez.
Perplexity
| Bot | Chaîne User-Agent | Objectif |
|---|---|---|
| PerplexityBot | PerplexityBot |
Récupération en direct pour les réponses de Perplexity |
PerplexityBot explore pour la récupération en direct, pas pour l'entraînement massif. Il récupère les pages lorsqu'un utilisateur pose une question qui correspond à votre contenu.
ByteDance
| Bot | Chaîne User-Agent | Objectif |
|---|---|---|
| Bytespider | Bytespider |
Données d'entraînement pour les produits IA de ByteDance |
Bytespider est l'un des crawlers les plus agressifs du web en volume brut de requêtes.
Autres bots notables
| Bot | Chaîne User-Agent | Objectif |
|---|---|---|
| CCBot | CCBot |
Jeu de données Common Crawl (utilisé par de nombreuses entreprises d'IA) |
| Applebot-Extended | Applebot-Extended |
Fonctionnalités Apple Intelligence |
| cohere-ai | cohere-ai |
Entraînement des modèles Cohere |
| Diffbot | Diffbot |
Extraction de données structurées pour produits IA |
| FacebookExternalHit | FacebookExternalHit |
Fonctionnalités Meta AI |
| ImagesiftBot | ImagesiftBot |
Analyse d'images pour systèmes IA |
| Timpibot | Timpibot |
Moteur de recherche décentralisé Timpi |
Pour une analyse complète de chaque bot, y compris les plages d'adresses IP, les schémas de fréquence d'exploration et les historiques de conformité, consultez notre référence complète des crawlers IA.
Configuration par défaut vs configuration recommandée
La plupart des sites entrent dans l'un des trois scénarios. Voici la bonne approche robots.txt pour chacun.
Scénario 1 : Visibilité IA maximale (recommandé pour la plupart des marques)
Si votre objectif est d'apparaître dans le plus grand nombre possible de réponses générées par l'IA, autorisez tous les principaux crawlers IA. Ne bloquez que les bots d'entraînement agressifs qui consomment de la bande passante sans fournir d'attribution.
# Moteurs de recherche
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
# Crawlers IA, autorisés pour la visibilité
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
# Bloquer les crawlers d'entraînement agressifs
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
# Règle par défaut
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /staging/
Sitemap: https://votresite.com/sitemap.xml
Ceci ouvre votre contenu à toutes les plateformes IA qui offrent une visibilité directe à la marque : ChatGPT, Claude, Perplexity, Gemini, Google AI Overviews, Apple Intelligence. Les crawlers d'entraînement massif restent en dehors de votre serveur.
Scénario 2 : Accès IA sélectif (récupération uniquement, pas d'entraînement)
Vous voulez que votre contenu soit cité dans les réponses IA, mais pas ingéré pour l'entraînement des modèles. La frontière entre entraînement et récupération est floue pour certains crawlers, mais vous pouvez vous en rapprocher :
# Moteurs de recherche
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
# Bots IA orientés récupération, autorisés
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
# Crawlers orientés entraînement, bloqués
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/
Sitemap: https://votresite.com/sitemap.xml
Le compromis est réel : bloquer GPTBot peut réduire votre visibilité dans ChatGPT au fil du temps. OpenAI utilise GPTBot à la fois pour l'entraînement et pour une partie de la récupération. Ce scénario privilégie la protection du contenu sur la portée maximale.
Scénario 3 : Bloquer tous les crawlers IA
Valable pour les éditeurs ayant des préoccupations de licence. Déconseillé si vous voulez de la visibilité IA :
# Autoriser uniquement les moteurs de recherche
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
# Bloquer tous les crawlers IA connus
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: Diffbot
Disallow: /
User-agent: *
Disallow: /admin/
Allow: /
Sitemap: https://votresite.com/sitemap.xml
Bloquer tous les crawlers IA ne rend pas votre contenu invisible à l'IA. Votre texte peut toujours émerger via les archives Common Crawl collectées avant le blocage, via la syndication tierce, les copies en cache et les partages sur les réseaux sociaux. L'invisibilité IA totale est pratiquement impossible par robots.txt seul.
Cinq erreurs courantes (et comment les corriger)
Erreur 1 : Blocage générique qui attrape Googlebot
La plus dommageable et la plus courante :
# À NE PAS FAIRE
User-agent: *
Disallow: /
Ceci bloque tous les crawlers sur Internet, y compris Googlebot. Votre site disparaît des résultats de recherche. Si vous voulez bloquer les crawlers IA, listez-les individuellement par nom d'user-agent. N'utilisez jamais un Disallow générique sur le chemin racine sans règles Allow explicites pour les crawlers dont vous avez besoin.
Comment corriger : Ajoutez des règles Allow explicites pour Googlebot et Bingbot au-dessus de tout Disallow large. Mieux encore, évitez complètement les blocages racine génériques et nommez chaque bot individuellement.
Erreur 2 : Confondre Google-Extended avec Googlebot
Google-Extended contrôle uniquement les données d'entraînement IA. Le bloquer ne touche ni à votre classement de recherche ni à votre visibilité dans les AI Overviews. Mais certains propriétaires de sites bloquent à la fois Google-Extended et Googlebot, pensant être rigoureux.
Résultat : leur site disparaît de la recherche Google. Complètement.
Comment corriger : Si vous voulez rester dans la recherche Google et les AI Overviews mais exclure votre contenu de l'entraînement Gemini, bloquez uniquement Google-Extended. Laissez Googlebot tranquille.
Erreur 3 : Oublier OAI-SearchBot
GPTBot reçoit toute l'attention, mais OAI-SearchBot est un user-agent distinct pour la recherche en temps réel de ChatGPT. Bloquer GPTBot et laisser OAI-SearchBot sans traitement ? ChatGPT peut toujours puiser dans vos pages via sa fonction de recherche.
Comment corriger : Si vous voulez bloquer tous les accès OpenAI, incluez des règles pour GPTBot, OAI-SearchBot et ChatGPT-User. Les trois.
Erreur 4 : Ne pas vérifier après le déploiement
Vous avez sauvegardé le fichier et êtes passé à autre chose. Mais le changement a-t-il pris effet ? Modes d'échec courants : votre CDN met en cache l'ancien robots.txt pendant des heures. Le fichier a un mauvais encodage. Il a été déployé dans le mauvais répertoire. Une boucle de redirection existe sur /robots.txt.
Comment corriger : Après chaque changement, récupérez votresite.com/robots.txt directement dans un navigateur. Vérifiez les en-têtes de réponse pour les directives de cache. Utilisez le testeur robots.txt de Google Search Console pour la validation Googlebot. Surveillez les journaux du serveur pendant 48 heures.
Erreur 5 : Traiter robots.txt comme une couche de sécurité
robots.txt n'est pas un contrôle d'accès. C'est une requête polie. Il n'authentifie pas les crawlers, ne chiffre pas le contenu et n'empêche aucun bot de lire vos pages s'il décide d'ignorer le fichier.
Comment corriger : Pour le contenu sensible, utilisez des contrôles au niveau serveur : authentification, listes d'adresses IP autorisées, règles WAF ou paywalls. robots.txt gère les bots bien élevés. Les pare-feu gèrent tout le reste.
robots.txt indique aux bots bien élevés ce que vous préférez. Il n'applique rien. Pour la protection du contenu, vous avez besoin de contrôles d'accès au niveau serveur, pas d'un fichier texte dans votre répertoire racine.
Tester votre configuration
Après avoir écrit ou mis à jour des règles, validez avant de déployer.
Étape 1 : Validation de la syntaxe
Utilisez le testeur robots.txt de Google Search Console. Entrez votre URL et vérifiez que Googlebot peut accéder à vos pages clés. Cet outil ne teste que les règles Googlebot, mais il attrape les erreurs de syntaxe qui affectent tous les bots.
Étape 2 : Simulation manuelle d'user-agent
Utilisez curl pour voir comment votre serveur répond aux différents identifiants de bots :
curl -A "GPTBot" https://votresite.com/robots.txt
curl -A "ClaudeBot" https://votresite.com/robots.txt
curl -A "PerplexityBot" https://votresite.com/robots.txt
Le contenu du fichier est identique quel que soit le demandeur, mais parcourir mentalement les règles pour chaque user-agent vous aide à détecter les erreurs de logique avant qu'elles ne vous coûtent de la visibilité.
Étape 3 : Surveillance des journaux
Après le déploiement, vérifiez les journaux d'accès de votre serveur pour détecter l'activité des crawlers IA. Recherchez les chaînes user-agent listées dans cet article. Si vous avez bloqué PerplexityBot mais que vous le voyez toujours frapper vos pages 48 heures plus tard, soit votre CDN sert un robots.txt obsolète, soit le bot n'obéit pas à vos règles.
Champs à surveiller :
- Chaîne user-agent dans les en-têtes de requête
- Chemins d'URL demandés (le bot accède-t-il à des chemins bloqués ?)
- Codes de réponse HTTP (200, 403, 429 ?)
- Fréquence des requêtes (a-t-elle changé depuis votre mise à jour ?)
Étape 4 : Revue trimestrielle
Les entreprises d'IA lancent de nouveaux crawlers, renomment les existants et changent régulièrement de comportement. Révisez votre robots.txt chaque trimestre. Vérifiez la liste actuelle des crawlers IA pour les nouveaux ajouts. Une configuration écrite en janvier peut avoir des angles morts d'ici juin.
Le cadre de décision
Vous n'êtes pas sûr de quelle approche adopter ? Parcourez ces quatre questions.
Voulez-vous que votre marque soit citée dans les réponses générées par l'IA ? Si oui, autorisez GPTBot, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot et Applebot-Extended. C'est la voie de la visibilité maximale et la bonne valeur par défaut pour la plupart des marques.
Êtes-vous préoccupé par l'entraînement des modèles ? Si oui mais que vous voulez toujours des citations IA, autorisez les bots de récupération (OAI-SearchBot, ChatGPT-User, PerplexityBot) et bloquez les bots d'entraînement (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider). Acceptez que la frontière soit imparfaite.
Êtes-vous un éditeur avec des préoccupations de licence ? Bloquez tous les crawlers IA. Explorez les accords de licence directe avec les entreprises d'IA. OpenAI, Google et Apple ont tous des programmes de partenariat éditeur qui rémunèrent l'utilisation du contenu selon des termes négociés.
Vous n'êtes pas sûr ? Commencez par la visibilité maximale. Surveillez pendant 30 jours. Vérifiez si les plateformes IA citent votre marque plus souvent. Si la valeur de citation est positive, gardez la configuration ouverte. Vous pouvez resserrer les règles plus tard. Les desserrer est plus difficile car vous perdez de l'élan d'exploration pendant le blocage.
La position par défaut pour la plupart des marques en 2026 : autoriser les crawlers IA, surveiller ce qui se passe, ajuster en fonction des données. Bloquer par défaut signifie se retirer d'un canal de distribution qui croît chaque trimestre, alors que le trafic de recherche traditionnel plafonne.
Voir aussi: E-E-A-T et visibilité AI : pourquoi le cadre qualité de Google compte pour le GEO