Guía · 9 min de lectura

robots.txt para bots de IA: a quién dejar pasar y a quién no

Configurar el robots.txt para bots de IA decide qué asistentes pueden leer tu web, y muchas empresas bloquean a los equivocados sin darse cuenta. Aquí tienes los rastreadores que documenta cada empresa de IA, cuáles entrenan modelos y cuáles alimentan respuestas, y tres archivos listos para copiar con lo que cada uno te cuesta en visibilidad.

Ver planes y precios

robots.txt para bots de IA: a quién dejar pasar y a quién no

Qué hace el robots.txt y qué no

El robots.txt es un archivo de texto en la raíz de tu dominio. Indica a los rastreadores qué rutas pueden visitar. Cada bloque empieza con una línea User-agent con el nombre del rastreador y sigue con líneas Allow y Disallow.

Antes de tocar nada, conviene tener claros tres límites:

  • Es una petición, no un candado. Los rastreadores serios la respetan; un scraper que la ignora no se detiene por ella.
  • Controla el acceso, no la memoria. Bloquear hoy a un rastreador no borra lo que ya recogió.
  • Cada rastreador sigue solo el grupo que lo nombra de forma más específica. Si creas un grupo para GPTBot, GPTBot deja de leer lo que pusiste bajo User-agent: *. Es el error más habitual.

Los cambios tampoco son inmediatos. OpenAI habla de unas 24 horas para que se apliquen en su buscador, y Meta dice que sus rastreadores pueden guardar el archivo en caché hasta un día.

Rastreadores de entrenamiento, de búsqueda y de usuario

Cada empresa de IA tiene ya varios bots con funciones distintas. Confundirlos es la forma más rápida de desaparecer de ChatGPT creyendo que solo te habías salido del entrenamiento.

  • Los de entrenamiento recogen páginas que pueden usarse para entrenar modelos futuros. Bloquearlos es salir del entrenamiento; por sí solo no te saca de las respuestas.
  • Los de búsqueda indexan páginas para que el asistente pueda mostrarlas y citarlas. Bloquearlos es lo que te hace desaparecer de esas respuestas.
  • Los de usuario entran en una página porque alguien le pidió al asistente que la mirara. Varias empresas avisan de que el robots.txt puede no aplicarse a ellos, porque la visita la origina una persona.
  • Los tokens de control son nombres que usas en el robots.txt pero que no rastrean nada. Le dicen a una empresa qué puede hacer con lo que ya recogió su rastreador principal.

robots.txt para bots de IA: la lista por empresa

Estos son los nombres que publica cada empresa en su propia documentación. Escríbelos tal cual: las mayúsculas dan igual, la ortografía no.

  • OpenAI. GPTBot rastrea contenido que puede usarse para entrenar sus modelos. OAI-SearchBot muestra webs en la búsqueda de ChatGPT. ChatGPT-User atiende visitas que piden los usuarios, y OpenAI advierte que el robots.txt puede no aplicarse. Según OpenAI, cada ajuste es independiente: puedes permitir OAI-SearchBot y bloquear GPTBot. Fuente: rastreadores de OpenAI.
  • Anthropic. ClaudeBot recoge contenido que podría servir para entrenar. Claude-SearchBot indexa páginas para mejorar los resultados de búsqueda. Claude-User entra en páginas cuando alguien pregunta a Claude; si lo bloqueas, Claude no puede leer tu web para responder. Fuente: centro de ayuda de Anthropic.
  • Perplexity. PerplexityBot muestra y enlaza webs en los resultados de Perplexity, que asegura no usarlo para entrenar modelos. Perplexity-User visita páginas durante acciones de usuario y, según la propia Perplexity, por lo general ignora el robots.txt.
  • Google. Google-Extended es un token de control sin rastreador propio. Decide si lo que rastreó Googlebot puede usarse para entrenar Gemini y para fundamentar respuestas en la app de Gemini y en Vertex AI. No afecta a la Búsqueda de Google. Las AI Overviews y el modo IA usan el índice normal, así que ahí lo que cuenta es Googlebot. Fuente: funciones de IA de Google y tu web.
  • Apple. Applebot rastrea para Siri, Spotlight y Safari. Applebot-Extended no rastrea: bloquearlo saca tu contenido del entrenamiento de los modelos de Apple, y Apple aclara que esas páginas pueden seguir apareciendo en su buscador.
  • Microsoft. No existe un token propio de Copilot. Las respuestas con fuentes de Copilot se apoyan en Bing, que rastrea Bingbot, y Bing Webmaster Tools ya informa de las citas en Copilot. Si bloqueas Bingbot, pierdes las dos cosas.
  • Common Crawl. CCBot construye un archivo abierto de la web que han usado muchos conjuntos de datos de IA. Common Crawl indica que la forma de excluirse es un grupo Disallow para CCBot.
  • Meta. Meta-ExternalAgent rastrea para usos como entrenar modelos o indexar contenido para sus productos. Meta-ExternalFetcher abre enlaces a petición de un usuario y, según Meta, puede saltarse el robots.txt.

En los registros del servidor aparecen más bots, y circulan listas largas por internet. Aquí solo incluimos los nombres que hemos podido confirmar en la documentación de cada empresa.

Tres archivos robots.txt para copiar

Cada punto de las listas es un grupo. En el archivo real, pon cada directiva en su propia línea y deja una línea en blanco entre grupos. Cambia la URL del sitemap por la tuya.

Opción 1, permitir todo. Es la que usamos en nuestra web:

  • User-agent: * · Allow: /
  • Sitemap: https://www.ejemplo.com/sitemap.xml

No hace falta un grupo por cada bot para permitirlo: el comodín los cubre. Hay webs que aun así los listan para que la intención quede clara a quien lea el archivo.

Opción 2, permitir búsqueda y respuestas, bloquear entrenamiento:

  • User-agent: GPTBot · Disallow: /
  • User-agent: ClaudeBot · Disallow: /
  • User-agent: Google-Extended · Disallow: /
  • User-agent: Applebot-Extended · Disallow: /
  • User-agent: CCBot · Disallow: /
  • User-agent: Meta-ExternalAgent · Disallow: /
  • User-agent: * · Allow: /

OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot y Applebot quedan bajo el comodín y siguen pudiendo entrar.

Opción 3, bloquear los rastreadores de IA y mantener el buscador clásico:

  • User-agent: GPTBot · Disallow: /
  • User-agent: OAI-SearchBot · Disallow: /
  • User-agent: ChatGPT-User · Disallow: /
  • User-agent: ClaudeBot · Disallow: /
  • User-agent: Claude-SearchBot · Disallow: /
  • User-agent: Claude-User · Disallow: /
  • User-agent: PerplexityBot · Disallow: /
  • User-agent: Perplexity-User · Disallow: /
  • User-agent: Google-Extended · Disallow: /
  • User-agent: Applebot-Extended · Disallow: /
  • User-agent: CCBot · Disallow: /
  • User-agent: Meta-ExternalAgent · Disallow: /
  • User-agent: Meta-ExternalFetcher · Disallow: /
  • User-agent: * · Allow: /

Lo que te cuesta cada opción en visibilidad

La opción 1 deja todas las puertas abiertas. Tus páginas pueden indexarse en los buscadores de IA, leerse cuando alguien pregunta por ti y entrar en datos de entrenamiento. Para una empresa que quiere que la recomienden, suele ser el punto de partida correcto.

La opción 2 es un término medio razonable. Sigues pudiendo salir citado en ChatGPT, Claude, Perplexity, Copilot y AI Overviews. A cambio, los modelos futuros aprenden menos de ti a partir de tu web, y bloquear Google-Extended también limita la fundamentación en la app de Gemini, que es un lugar donde se responde, no solo entrenamiento.

La opción 3 te saca de la mayoría de respuestas con fuentes, y los bots de usuario pueden seguir entrando por cómo los tratan sus empresas. No te saca de las AI Overviews: dependen de Googlebot, y bloquear Googlebot te saca también de Google. Para limitar lo que muestra Google, usa nosnippet o noindex en páginas concretas.

Si vendes algo que la gente investiga preguntando a un asistente, bloquear los rastreadores de búsqueda casi nunca compensa. Los citados serán tus competidores.

Cómo comprobar qué hace tu robots.txt hoy

  1. Abre tudominio.com/robots.txt en el navegador. Comprueba que carga con código 200 y que no es una página de error en HTML.
  2. Busca todos los grupos que nombran a un bot de IA. Recuerda que un grupo con nombre sustituye al comodín para ese bot, así que un Disallow olvidado ahí manda.
  3. Revisa reglas amplias como Disallow: / bajo User-agent: *, muy típicas cuando se hereda el archivo de un entorno de pruebas.
  4. Usa el informe de robots.txt de Google Search Console para ver la versión que leyó Google y si hay errores.
  5. Mira los registros del servidor o del CDN buscando GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot y Bingbot, y fíjate en los códigos de respuesta. Muchos 403 o 429 indican que algo distinto del robots.txt los está frenando.
  6. Pide a ChatGPT, Claude o Perplexity que abran una URL concreta de tu web y la resuman. Si no pueden, investiga antes de culpar al contenido.

El bloqueo silencioso: CDN y cortafuegos

Puedes tener bien escrito el robots.txt para bots de IA y que aun así no funcione, porque el CDN o el cortafuegos los echa antes de que lleguen. El bot recibe un error o una página de verificación, y el robots.txt no te avisa de nada.

Cloudflare, por ejemplo, tiene políticas de acceso para rastreadores y agentes de IA en los ajustes de seguridad. Eliges una acción por separado para búsqueda, agentes y entrenamiento: bloquear, bloquear solo en páginas con anuncios, permitir o, para entrenamiento, una señal de no acceso. Su documentación dice que en dominios nuevos la opción por defecto es permitir, pero un ajuste elegido hace meses, una regla del WAF o la protección antibots del hosting pueden seguir bloqueando a los que te interesan.

  • Revisa todas las reglas de bots del CDN, del WAF y del panel del hosting, no solo el robots.txt.
  • Asegúrate de que la búsqueda está permitida si quieres aparecer en respuestas de IA.
  • Después de cada cambio, vuelve a mirar los registros y confirma respuestas 200 para los rastreadores que te importan.

Dónde encaja esto en el GEO

El acceso es la primera condición del GEO. Si un asistente no puede leer tus páginas, nada de lo que publiques en ellas puede citarse. Dejar bien el robots.txt para bots de IA lleva poco tiempo, y es lo primero que revisamos en la auditoría GEO gratis. El mantenimiento técnico, que incluye estas reglas, va en todos los planes, desde 390 € al mes + IVA.

El acceso es necesario, pero no basta. Después vienen páginas que respondan preguntas reales, como explicamos en cómo escribir contenido que cite la IA, un archivo llms.txt opcional y una forma de saber si algo cambia, que tienes en cómo medir tu visibilidad en IA.

Preguntas frecuentes

¿Debo bloquear GPTBot?

Solo si no quieres que tu contenido se use para entrenar los modelos de OpenAI. Bloquear GPTBot no te saca de la búsqueda de ChatGPT; eso depende de OAI-SearchBot, que OpenAI trata como un ajuste aparte.

¿Bloquear Google-Extended me saca de las AI Overviews?

No. Google dice que Google-Extended no afecta a la Búsqueda, y las AI Overviews usan el índice que rastrea Googlebot. Para limitar lo que aparece, usa controles por página como nosnippet. Lo ampliamos en cómo aparecer en AI Overviews.

¿Necesito un grupo para cada bot de IA para permitirlo?

No. Un grupo User-agent: * con Allow: / cubre a todos los rastreadores que no tienen grupo propio. Los grupos separados sirven cuando quieres tratar a un bot de forma distinta.

¿Por qué algunos bots de IA ignoran el robots.txt?

OpenAI, Perplexity y Meta describen sus bots de usuario como si actuaran en nombre de una persona que pidió una página concreta, y por eso dicen que el robots.txt puede no aplicarse. Si necesitas frenarlos, tiene que ser en el servidor o en el CDN.

¿Cada cuánto conviene revisar el robots.txt para bots de IA?

Cada vez que una empresa anuncia un rastreador nuevo y, como mínimo, varias veces al año. Un nombre que no hayas listado queda bajo tus reglas del comodín.

Comprueba si los asistentes pueden leer tu web

Ver planes y precios
Los cuatro frentes del GEO: medir respuestas de IA, contenido citable, presencia externa y GEO técnico
Asistentes de IA que medimos cada mes: ChatGPT, Gemini, Perplexity, Claude, Copilot y Google AI Overviews
Proceso mensual de GEO: medimos, corregimos, publicamos e informamos

Pago con Stripe

En la web final este botón te lleva directo al pago seguro con tarjeta (Stripe). En este prototipo todavía no cobra.

Scroll al inicio