Guide · 9 min de lecture

robots.txt et bots IA : qui laisser entrer, qui bloquer

Vos règles robots.txt bots IA décident quels assistants peuvent lire votre site, et beaucoup d'entreprises bloquent les mauvais robots sans s'en rendre compte. Ce guide liste les robots que chaque éditeur d'IA documente, distingue ceux qui entraînent des modèles de ceux qui alimentent les réponses, et propose trois fichiers à copier avec ce que chacun vous coûte en visibilité.

Trois offres mensuelles, de 390 à 1 490 € par mois, avec un engagement minimum de trois mois.

Robots.txt bots IA: robots.txt et bots IA : qui laisser entrer, qui bloquer

Ce que le robots.txt fait, et ce qu'il ne fait pas

Le robots.txt est un fichier texte placé à la racine de votre domaine. Il indique aux robots quels chemins ils peuvent explorer. Chaque bloc commence par une ligne User-agent qui nomme un robot, suivie de lignes Allow et Disallow.

Avant de modifier quoi que ce soit, gardez en tête trois limites :

  • C'est une demande, pas un verrou. Les robots sérieux la respectent ; un scraper qui l'ignore n'est pas arrêté par elle.
  • Il contrôle l'accès, pas la mémoire. Bloquer un robot aujourd'hui n'efface pas ce qu'il a déjà collecté.
  • Chaque robot suit uniquement le groupe qui le nomme le plus précisément. Si vous créez un groupe pour GPTBot, celui-ci ignore tout ce qui figure sous User-agent: *. C'est l'erreur la plus fréquente.

Les changements ne sont pas immédiats non plus. OpenAI parle d'environ 24 heures pour sa recherche, et Meta indique que ses robots peuvent garder le fichier en cache jusqu'à une journée.

Robots d'entraînement, de recherche et d'utilisateur

Chaque éditeur d'IA utilise désormais plusieurs robots aux rôles différents. Les confondre, c'est le moyen le plus sûr de disparaître de ChatGPT en croyant s'être seulement retiré de l'entraînement.

  • Les robots d'entraînement collectent des pages susceptibles de servir à entraîner de futurs modèles. Les bloquer vous retire de l'entraînement ; à lui seul, ce blocage ne vous retire pas des réponses.
  • Les robots de recherche indexent des pages pour que l'assistant puisse les afficher et les citer. Les bloquer, c'est ce qui vous fait disparaître de ces réponses.
  • Les robots d'utilisateur ouvrent une page parce qu'une personne l'a demandé à l'assistant. Plusieurs éditeurs préviennent que le robots.txt peut ne pas s'appliquer à eux, la visite venant d'un humain.
  • Les jetons de contrôle sont des noms utilisables dans le robots.txt qui n'explorent rien. Ils indiquent à un éditeur ce qu'il peut faire de ce que son robot principal a déjà collecté.

robots.txt bots IA : la liste par éditeur

Voici les noms que chaque éditeur publie dans sa propre documentation. Écrivez-les tels quels : la casse n'a pas d'importance, l'orthographe si.

  • OpenAI. GPTBot explore des contenus susceptibles de servir à entraîner ses modèles. OAI-SearchBot fait apparaître des sites dans la recherche de ChatGPT. ChatGPT-User gère les visites déclenchées par les utilisateurs, et OpenAI précise que le robots.txt peut ne pas s'y appliquer. Selon OpenAI, chaque réglage est indépendant : vous pouvez autoriser OAI-SearchBot et bloquer GPTBot. Source : robots d'OpenAI.
  • Anthropic. ClaudeBot collecte des contenus pouvant servir à l'entraînement. Claude-SearchBot indexe des pages pour améliorer les résultats de recherche. Claude-User ouvre des pages quand quelqu'un interroge Claude ; si vous le bloquez, Claude ne peut plus lire votre site pour répondre. Source : centre d'aide d'Anthropic.
  • Perplexity. PerplexityBot affiche et cite des sites dans les résultats de Perplexity, qui affirme ne pas l'utiliser pour entraîner des modèles. Perplexity-User visite des pages lors d'actions d'utilisateurs et, selon Perplexity, ignore en général le robots.txt.
  • Google. Google-Extended est un jeton de contrôle sans robot propre. Il décide si ce que Googlebot a exploré peut servir à entraîner Gemini et à ancrer les réponses dans l'application Gemini et Vertex AI. Il n'a aucun effet sur la recherche Google. Les AI Overviews et le mode IA s'appuient sur l'index habituel : c'est donc Googlebot qui compte. Source : fonctionnalités d'IA de Google et votre site.
  • Apple. Applebot explore pour Siri, Spotlight et Safari. Applebot-Extended n'explore rien : le bloquer retire votre contenu de l'entraînement des modèles d'Apple, et Apple précise que ces pages peuvent rester dans ses résultats de recherche.
  • Microsoft. Il n'existe pas de jeton propre à Copilot. Les réponses sourcées de Copilot s'appuient sur Bing, exploré par Bingbot, et Bing Webmaster Tools affiche désormais les citations dans Copilot. Bloquer Bingbot vous fait perdre les deux.
  • Common Crawl. CCBot constitue une archive ouverte du web, utilisée par de nombreux jeux de données d'IA. Common Crawl indique un groupe Disallow pour CCBot comme moyen de s'en retirer.
  • Meta. Meta-ExternalAgent explore pour des usages comme l'entraînement de modèles ou l'indexation de contenus pour ses produits. Meta-ExternalFetcher ouvre des liens à la demande d'un utilisateur et, selon Meta, peut contourner le robots.txt.

D'autres robots apparaissent dans les journaux serveur, et de longues listes circulent en ligne. Nous ne retenons ici que les noms confirmés dans la documentation de chaque éditeur.

Trois fichiers robots.txt à copier

Chaque élément des listes correspond à un groupe. Dans le vrai fichier, mettez chaque directive sur sa propre ligne et laissez une ligne vide entre les groupes. Remplacez l'URL du sitemap par la vôtre.

Option 1, tout autoriser. C'est celle que nous utilisons sur notre site :

  • User-agent: * · Allow: /
  • Sitemap: https://www.exemple.fr/sitemap.xml

Inutile de créer un groupe par robot pour l'autoriser : le joker les couvre tous. Certains sites les listent quand même, pour que l'intention soit lisible par quiconque ouvre le fichier.

Option 2, autoriser la recherche et les réponses, bloquer l'entraînement :

  • User-agent: GPTBot · Disallow: /
  • User-agent: ClaudeBot · Disallow: /
  • User-agent: Google-Extended · Disallow: /
  • User-agent: Applebot-Extended · Disallow: /
  • User-agent: CCBot · Disallow: /
  • User-agent: Meta-ExternalAgent · Disallow: /
  • User-agent: * · Allow: /

OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot et Applebot relèvent du joker et restent autorisés.

Option 3, bloquer les robots d'IA et garder la recherche classique :

  • User-agent: GPTBot · Disallow: /
  • User-agent: OAI-SearchBot · Disallow: /
  • User-agent: ChatGPT-User · Disallow: /
  • User-agent: ClaudeBot · Disallow: /
  • User-agent: Claude-SearchBot · Disallow: /
  • User-agent: Claude-User · Disallow: /
  • User-agent: PerplexityBot · Disallow: /
  • User-agent: Perplexity-User · Disallow: /
  • User-agent: Google-Extended · Disallow: /
  • User-agent: Applebot-Extended · Disallow: /
  • User-agent: CCBot · Disallow: /
  • User-agent: Meta-ExternalAgent · Disallow: /
  • User-agent: Meta-ExternalFetcher · Disallow: /
  • User-agent: * · Allow: /

Ce que chaque option vous coûte en visibilité

L'option 1 laisse toutes les portes ouvertes. Vos pages peuvent être indexées par les moteurs d'IA, lues quand quelqu'un pose une question sur vous et intégrées à des données d'entraînement. Pour une entreprise qui veut être recommandée, c'est en général le bon point de départ.

L'option 2 est un compromis raisonnable. Vous restez citable dans ChatGPT, Claude, Perplexity, Copilot et les AI Overviews. En contrepartie, les futurs modèles apprennent moins de choses sur vous à partir de votre site, et bloquer Google-Extended limite aussi l'ancrage dans l'application Gemini, qui est un lieu de réponses et pas seulement d'entraînement.

L'option 3 vous retire de la plupart des réponses sourcées, et les robots d'utilisateur peuvent continuer à passer selon la façon dont les éditeurs les traitent. Elle ne vous retire pas des AI Overviews : celles-ci dépendent de Googlebot, et bloquer Googlebot vous retire aussi de Google. Pour limiter ce que Google affiche, utilisez nosnippet ou noindex sur des pages précises.

Si vous vendez quelque chose que les gens recherchent en interrogeant un assistant, bloquer les robots de recherche est rarement un bon calcul. Ce sont vos concurrents qui seront cités.

Vérifier ce que fait votre robots.txt aujourd'hui

  1. Ouvrez votredomaine.fr/robots.txt dans un navigateur. Vérifiez qu'il répond avec un code 200 et qu'il ne s'agit pas d'une page d'erreur HTML.
  2. Repérez chaque groupe qui nomme un robot d'IA. Un groupe nommé remplace le joker pour ce robot : un Disallow oublié à cet endroit l'emporte.
  3. Cherchez les règles trop larges comme Disallow: / sous User-agent: *, souvent héritées d'un site de préproduction.
  4. Utilisez le rapport robots.txt de Google Search Console pour voir la version lue par Google et les éventuelles erreurs.
  5. Consultez les journaux du serveur ou du CDN pour GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot et Bingbot, en notant les codes de réponse. Des 403 ou 429 répétés signalent qu'autre chose que le robots.txt les bloque.
  6. Demandez à ChatGPT, Claude ou Perplexity d'ouvrir une URL précise de votre site et de la résumer. S'ils n'y arrivent pas, cherchez la cause avant d'accuser le contenu.

Le blocage invisible : CDN et pare-feu

Une configuration robots.txt bots IA propre peut échouer quand même si votre CDN ou votre pare-feu renvoie les robots avant qu'ils n'atteignent le fichier. Le robot reçoit une erreur ou une page de vérification, et rien dans le robots.txt ne vous en avertit.

Cloudflare, par exemple, propose des règles d'accès pour les robots et agents d'IA dans ses paramètres de sécurité. Vous choisissez une action distincte pour la recherche, les agents et l'entraînement : bloquer, bloquer seulement sur les pages avec publicité, autoriser ou, pour l'entraînement, un signal d'interdiction. Sa documentation indique que les nouveaux domaines démarrent sur autoriser, mais un choix fait il y a des mois, une règle WAF ou la protection anti-robots de l'hébergeur peuvent toujours bloquer ceux qui vous intéressent.

  • Passez en revue toutes les règles liées aux robots dans le CDN, le WAF et le panneau de l'hébergeur, pas seulement le robots.txt.
  • Vérifiez que la recherche est autorisée si vous voulez apparaître dans les réponses d'IA.
  • Après chaque changement, relisez les journaux et confirmez des réponses 200 pour les robots qui comptent pour vous.

La place du robots.txt bots IA dans le GEO

L'accès est la première condition du GEO. Si un assistant ne peut pas lire vos pages, rien de ce que vous y publiez ne peut être cité. Régler vos règles robots.txt bots IA prend peu de temps, et c'est la première chose que nous vérifions dans l'audit GEO gratuit. La maintenance technique, qui couvre ces règles, fait partie de toutes nos offres, à partir de 390 € par mois hors taxes.

L'accès est nécessaire, pas suffisant. Viennent ensuite des pages qui répondent à de vraies questions, comme nous l'expliquons dans écrire du contenu cité par l'IA, un fichier llms.txt facultatif et un moyen de savoir si quelque chose change, détaillé dans mesurer sa visibilité dans l'IA.

Questions fréquentes

Faut-il bloquer GPTBot ?

Seulement si vous ne voulez pas que votre contenu serve à entraîner les modèles d'OpenAI. Bloquer GPTBot ne vous retire pas de la recherche de ChatGPT ; celle-ci dépend d'OAI-SearchBot, qu'OpenAI traite comme un réglage séparé.

Bloquer Google-Extended me retire-t-il des AI Overviews ?

Non. Google indique que Google-Extended n'a pas d'effet sur la recherche, et les AI Overviews utilisent l'index exploré par Googlebot. Pour limiter ce qui s'affiche, utilisez des contrôles par page comme nosnippet. Plus de détails dans apparaître dans les AI Overviews.

Faut-il un groupe par robot d'IA pour l'autoriser ?

Non. Un groupe User-agent: * avec Allow: / couvre tous les robots qui n'ont pas de groupe propre. Les groupes séparés servent quand vous voulez traiter un robot différemment des autres.

Pourquoi certains robots d'IA ignorent-ils le robots.txt ?

OpenAI, Perplexity et Meta décrivent leurs robots d'utilisateur comme agissant pour une personne qui a demandé une page précise, d'où l'avertissement que le robots.txt peut ne pas s'appliquer. Pour les arrêter, il faut agir au niveau du serveur ou du CDN.

À quelle fréquence revoir ses règles robots.txt bots IA ?

À chaque annonce d'un nouveau robot par un éditeur, et au minimum plusieurs fois par an. Un nom que vous n'avez pas listé tombe sous vos règles du joker.

Les quatre chantiers du GEO : mesurer les réponses de l'IA, contenu citable, présence externe et GEO technique
Assistants IA suivis chaque mois : ChatGPT, Gemini, Perplexity, Claude, Copilot et Google AI Overviews
Méthode GEO mensuelle : mesurer, corriger, publier et rendre compte

Paiement avec Stripe

Sur le site final, ce bouton mène directement au paiement sécurisé par carte (Stripe). Ce prototype ne débite encore rien.

Défiler vers le haut