robots.txt y bots de IA: qué permitir y qué bloquear en tu web
Guía práctica para decidir qué bots de IA dejar entrar a tu web con robots.txt: OAI-SearchBot, GPTBot, Google-Extended y Cloudflare, sin perder visibilidad.
Un lunes revisas ChatGPT y, cuando preguntas por tu tipo de negocio en tu ciudad, aparecen tres competidores y tú no. Abres tu archivo robots.txt y encuentras una línea que alguien puso hace un año: “bloquear toda la IA”. Con buena intención, cerró la puerta a quienes podían recomendarte.
La solución es distinguir qué bot hace qué y decidir uno por uno. Aquí tienes cómo.
¿Todos los bots de IA hacen lo mismo?
No: unos buscan para mostrar tu sitio en respuestas y otros recogen contenido para entrenar modelos. Según la documentación de OpenAI, OAI-SearchBot sirve para que los sitios aparezcan en las funciones de búsqueda de ChatGPT, GPTBot rastrea contenido que puede usarse para entrenar sus modelos, y ChatGPT-User actúa cuando una persona pide visitar una página.
Esa diferencia es la base de la decisión: puedes querer aparecer en las respuestas (búsqueda) y a la vez no aportar contenido al entrenamiento.
¿Qué pasa si bloqueo cada bot?
Cada bloqueo tiene un efecto diferente, y solo uno te saca de las respuestas de búsqueda. Esto dicen las fuentes oficiales:
| Bot o token | Para qué sirve | Si lo bloqueas |
|---|---|---|
| OAI-SearchBot | Búsqueda en ChatGPT | Tu sitio no se muestra en las respuestas de búsqueda de ChatGPT |
| GPTBot | Entrenamiento de modelos de OpenAI | Indicas que tu contenido no debe usarse para entrenar |
| ChatGPT-User | Acciones que pide una persona | OpenAI aclara que robots.txt puede no aplicar |
| Google-Extended | Control de uso de IA de Google (Gemini) | No afecta tu inclusión ni tu ranking en Google Search |
Sobre la última fila, Google lo explica así: Google-Extended es un token de control, no un rastreador de búsqueda, y no se usa como señal de ranking.
Error común: pegar una regla genérica de “bloquear IA” copiada de un foro. Si incluye OAI-SearchBot, dejas de aparecer en la búsqueda de ChatGPT sin darte cuenta.
¿Cómo se ve un robots.txt equilibrado?
Un robots.txt equilibrado permite los bots de búsqueda y decide aparte sobre el entrenamiento. Un ejemplo para quien quiere aparecer en respuestas pero no entrenar modelos:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Decidir si bloqueas o no el entrenamiento es una decisión de negocio: si vives de tu contenido original, quizá quieras proteger; si buscas visibilidad máxima, puedes permitirlo. Lo que no debes hacer es mezclar ambas cosas sin saberlo. Si quieres entender por qué aparecer en esas respuestas importa, lee qué es GEO.
¿Cuánto tarda en aplicarse el cambio?
Para la búsqueda de ChatGPT, puede tardar cerca de 24 horas. OpenAI lo indica en su documentación: después de actualizar robots.txt, sus sistemas necesitan ese tiempo para ajustarse. Publica el cambio, verifica que tudominio.com/robots.txt muestre el archivo nuevo y espera un día antes de concluir que algo falló.
Si además acabas de lanzar o mover tu web, repasa qué hacer con Search Console y el sitemap para que Google encuentre todo.
¿Qué hago si necesito bloquear de verdad?
Usa una capa de seguridad delante de tu sitio, como Cloudflare. robots.txt es una petición que los rastreadores responsables respetan, no una barrera. Según la documentación de Cloudflare, en Security Settings puedes configurar políticas de bots de IA por categoría (búsqueda, agente y entrenamiento) y elegir bloquear, bloquear solo en páginas con anuncios o permitir.
Cloudflare también indica que desde el 15 de septiembre de 2026 los dominios nuevos bloquean por defecto los bots de entrenamiento y de agente en páginas con anuncios, y permiten los de búsqueda. Revisa la configuración de tu dominio y, si aún no conoces la herramienta, mira qué incluye el plan gratis de Cloudflare. Para complementar tu visibilidad, también existe llms.txt, una propuesta que resume tu sitio para los agentes de IA.
En resumen
Volvamos al lunes: lo que sacó a tu negocio de ChatGPT pudo ser una sola línea heredada. Separa búsqueda de entrenamiento, escribe una regla por bot y verifica el resultado después de un día. Si quieres que revisemos tu robots.txt y tu estrategia de visibilidad en IA, conoce nuestro servicio de SEO y GEO para IA.
Preguntas frecuentes
¿Si bloqueo GPTBot desaparezco de ChatGPT?
No necesariamente. Según OpenAI, bloquear GPTBot indica que tu contenido no debe usarse para entrenar modelos. La aparición en la búsqueda de ChatGPT depende de OAI-SearchBot.
¿Google-Extended afecta mi posición en Google?
No. Google indica que Google-Extended no afecta la inclusión de un sitio en Google Search ni se usa como señal de ranking.
¿Cuánto tarda en aplicarse un cambio en robots.txt?
OpenAI indica que, para los resultados de búsqueda, puede tardar cerca de 24 horas desde la actualización del robots.txt.
¿robots.txt obliga a los bots a obedecer?
Es una señal que los rastreadores responsables respetan. Para bloquear de forma activa existen herramientas como las políticas de bots de Cloudflare.
No te quedes con la teoría: aplícalo a tu negocio
Implementamos SEO y GEO con IA de punta a punta, con tu operación real. La primera conversación no tiene costo.
