Preparación técnica
¿Está tu web bloqueando los rastreadores de IA? Una comprobación de 10 minutos
Una web puede bloquear los rastreadores de IA en robots.txt, en los ajustes de bots de su CDN o en un firewall, a menudo sin que nadie lo haya decidido. Tres comprobaciones que llevan 10 minutos.
Resumir con IA
¿Poco tiempo? Abre este artículo en tu asistente de IA con una instrucción ya preparada.
- ChatGPT (se abre en una pestaña nueva con una instrucción de resumen)
- Perplexity (se abre en una pestaña nueva con una instrucción de resumen)
- Grok (se abre en una pestaña nueva con una instrucción de resumen)
Claude y Gemini se abren con la instrucción copiada: pégala para empezar.
En esta página
- ¿Dónde puede una web bloquear los rastreadores de IA?
- ¿Qué rastreadores de IA deciden si te citan?
- Paso 1: ¿Qué dice realmente tu robots.txt? (3 minutos)
- Paso 2: ¿Qué decidió tu CDN por ti? (3 minutos)
- Paso 3: ¿Deja tu firewall pasar al rastreador? (3 minutos)
- ¿Qué deberías permitir y qué bloquear?
- ¿Cómo ayuda ContentMas con el bloqueo de rastreadores de IA?
- Conclusiones clave
- Preguntas frecuentes
Respuesta breve
En resumen: el bloqueo de rastreadores de IA puede producirse en tres sitios: el archivo robots.txt, los ajustes de bots del CDN y el firewall del servidor o el plugin de seguridad, y la mayoría de los propietarios solo revisa el primero. A menudo los ajustes los eligió el proveedor de hosting o un valor por defecto, no tú: Cloudflare asigna ahora a cada dominio nuevo uno de dos ajustes predefinidos según muestre anuncios o no, y en septiembre de 2026 migró todos los dominios con el antiguo "Block AI Bots" a las nuevas reglas,1 y el propio consejo de Google para aparecer en sus funciones de IA es asegurarse de que "el rastreo está permitido en robots.txt y por cualquier CDN o infraestructura de hosting".2 Cada empresa de IA utiliza rastreadores distintos para el entrenamiento, la búsqueda y las peticiones de usuarios, cada uno con su propio interruptor,3 así que la comprobación confirma que los rastreadores que deciden si te citan no están atrapados en una regla pensada para otra cosa. Los tres pasos siguientes llevan unos diez minutos.
Lees que los asistentes de IA envían visitas, lo compruebas, y tu web nunca aparece. El robots.txt parece inofensivo, así que la conclusión es "nuestro contenido no es lo bastante bueno".
Muchas veces el rastreador nunca llegó a entrar. Un interruptor del CDN elegido al darte de alta, un plugin de seguridad que bloquea "bots maliciosos" por user agent, o un límite de velocidad que devuelve 403 a todo lo que descarga rápido pueden dejar fuera a los rastreadores de búsqueda de ChatGPT, Claude, Perplexity y Google sin una sola línea en robots.txt.
Esta guía trata solo del acceso. Si el rastreador puede leer lo que encuentra (JavaScript, noindex, redirecciones) es el tema de la comprobación técnica de 10 minutos.
¿Dónde puede una web bloquear los rastreadores de IA?
En tres capas, y un rastreador tiene que pasar las tres. La primera es solo una petición; las otras dos se imponen.
| Capa | Qué hace | Quién suele configurarla | Cómo lo ve un rastreador bloqueado |
|---|---|---|---|
| robots.txt | Pide a los rastreadores que no entren en ciertas rutas o en toda la web | El desarrollador, un plugin de SEO o el CDN en tu nombre | Lee la regla y se va (si la respeta) |
| Ajustes de bots del CDN (Cloudflare, Vercel y otros) | Bloquea o somete a verificación las peticiones por categoría de bot antes de que lleguen a tu servidor | Quien configuró el DNS, o un valor por defecto al darse de alta | 403, una página de verificación o una conexión cortada |
| Firewall, WAF, plugin de seguridad, límites de velocidad | Bloquea por user agent, rango de IP o velocidad de las peticiones en el servidor | El proveedor de hosting o un plugin de seguridad | 403, 401, 429 o un tiempo de espera agotado |
La primera capa es voluntaria por diseño. Los rastreadores que descargan una página porque una persona lo ha pedido lo dicen en su propia documentación: OpenAI señala que, en el caso de ChatGPT-User, "Como estas acciones las inicia un usuario, puede que las reglas de robots.txt no se apliquen",3 y Perplexity dice de Perplexity-User que "Como el usuario ha solicitado la descarga, este fetcher generalmente ignora las reglas de robots.txt".4 La segunda y la tercera capa son donde las webs se bloquean sin querer, porque las reglas que hay allí están escritas para los "bots" en general.
Lo que dice robots.txt y lo que hace el servidor son dos cosas distintas, en ambas direcciones. La comprobación tiene que cubrir las dos.
¿Qué rastreadores de IA deciden si te citan?
Los rastreadores de búsqueda y de usuario, no los de entrenamiento. Todas las grandes empresas de IA dividen su tráfico en user agents separados, y cada uno tiene su propio ajuste.
| Empresa | Rastreador de entrenamiento | Rastreador de búsqueda o indexación | Fetcher activado por el usuario | Qué dice la documentación |
|---|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User | "Cada ajuste es independiente de los demás"; las webs que excluyen OAI-SearchBot "no se mostrarán en las respuestas de búsqueda de ChatGPT"3 |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User | Desactivar Claude-SearchBot "puede reducir la visibilidad y la precisión de tu web en los resultados de búsqueda de los usuarios"6 |
| Perplexity | Ninguno indicado; PerplexityBot "no se usa para rastrear contenido para modelos fundacionales de IA" | PerplexityBot | Perplexity-User | Recomienda permitir PerplexityBot y sus rangos de IP publicados4 |
| Google-Extended (solo un token de robots.txt) | Googlebot | No se trata aquí | Las reglas de robots.txt para Googlebot son "el control" para AI Overviews y AI Mode2; Google-Extended "no afecta a la inclusión de una web en la Búsqueda de Google"7 |
Dos detalles importan para la comprobación. Primero, una web que excluye OAI-SearchBot puede "seguir apareciendo como enlaces de navegación", pero no en las respuestas de búsqueda,3 así que un bloqueo del bot equivocado no se ve como un bloqueo en tus registros: el tráfico simplemente nunca llega. Segundo, Google-Extended "no tiene una cadena de user agent de petición HTTP separada"; "el token de user-agent de robots.txt se usa como mecanismo de control".7 Una regla de firewall nunca puede coincidir con él, y una regla de robots.txt para él no cambia nada en la Búsqueda: solo controla si Google usa tus páginas para el entrenamiento y el grounding de sus modelos Gemini.7
Bloquear los rastreadores de entrenamiento es una decisión legítima. El error es una regla escrita para GPTBot o para los "bots de IA" que arrastra en silencio a OAI-SearchBot, Claude-SearchBot y PerplexityBot.
Paso 1: ¿Qué dice realmente tu robots.txt? (3 minutos)
Abre yourdomain.com/robots.txt en un navegador y después descárgalo desde la línea de comandos para ver el código de estado que recibe un rastreador:
curl -s -o /dev/null -w "%{http_code}\n" https://yourdomain.com/robots.txt
curl -s https://yourdomain.com/robots.txt
Fíjate en cuatro cosas.
1. Reglas generales
User-agent: * seguido de Disallow: / bloquea a todos los rastreadores que lo respetan, buscadores incluidos. Un Disallow: / bajo un bot de IA con nombre bloquea solo a ese bot. Lee cada bloque User-agent: una regla para GPTBot está bien si es lo que querías; una regla para OAI-SearchBot o PerplexityBot significa que has renunciado a que te citen.
2. Líneas que no escribiste
Tu CDN puede añadir líneas a este archivo, y también quitarlas. HasData encontró una directiva de exclusión de IA en el robots.txt archivado de 118 webs detrás de Cloudflare en julio de 2026 y en ninguna de esas webs el 16 de septiembre de 2026; entre las webs detrás de Cloudflare, la proporción que prohibía GPTBot cayó del 17.1% al 9.9% entre las dos instantáneas, mientras que las webs que no están detrás de Cloudflare pasaron del 18.7% al 18.6%.5 Si aparece o desaparece una línea que tú nunca editaste, el ajuste que la genera vive en el panel del CDN, no en el archivo.
3. El código de estado
Google trata "todos los errores 4xx, excepto 429, como si no existiera un archivo robots.txt válido", así que un archivo ausente significa que no hay restricciones.8 Un 5xx es lo contrario: "Durante las primeras 12 horas, Google deja de rastrear la web pero sigue intentando descargar el archivo robots.txt", y después usa la última versión válida durante un máximo de 30 días.8 Un robots.txt que agota el tiempo de espera o devuelve un error de servidor por una regla del firewall es una parada del rastreo de toda la web, y en tu navegador parece un archivo normal.
4. Cuánto tarda un cambio
Google "generalmente guarda en caché el contenido del archivo robots.txt durante un máximo de 24 horas".8 OpenAI dice que "pueden pasar ~24 horas desde la actualización del robots.txt de una web hasta que nuestros sistemas se ajusten" para la búsqueda,3 y Perplexity dice que los cambios pueden tardar "hasta 24 horas" en reflejarse.4 Corrige el archivo y espera un día antes de juzgar el resultado.
Paso 2: ¿Qué decidió tu CDN por ti? (3 minutos)
Abre la sección de bots o de rastreadores de IA del panel de tu CDN y lee el estado actual de cada categoría. Aquí es donde más probable es que se tomara una decisión sin contar contigo.
Cloudflare
Cloudflare sustituyó su interruptor de un clic "Block AI Bots" (bloquear bots de IA) por tres políticas: "Search" (búsqueda: rastreo para construir un índice de búsqueda), "Training" (entrenamiento: rastreo para entrenar o ajustar un modelo) y "Agent" (agente: agentes dirigidos por el usuario que visitan una página en nombre de una persona).1 Desde el 15 de septiembre de 2026, a cada dominio nuevo se le ofrece uno de dos ajustes predefinidos. Una web que "no se monetiza con anuncios" recibe Search, Training y Agent en Allow (permitir); una web "monetizada con anuncios" recibe Search en Allow, Training en "Disallow AI Training" (no permitir el entrenamiento de IA) y Agent en "Block on pages with ads" (bloquear en páginas con anuncios).1
Los clientes existentes fueron migrados. Un dominio que nunca tocó los controles granulares y tenía activado el antiguo interruptor "Block AI Bots" tiene ahora Search en Allow, Training en Disallow AI Training y Agent en Block on pages with ads.1 Es una buena noticia para quien activó el interruptor en 2025 y luego se preguntó por qué ChatGPT dejó de citarlo: el rastreo para búsqueda vuelve a estar permitido. Pero lee la fila Search por tu cuenta, porque "Block y Block on pages with ads se aplican ahora a los rastreadores de uso mixto, incluidos Applebot, Bingbot y Googlebot", de modo que "cualquiera de los dos ajustes afecta tanto a la búsqueda como al entrenamiento".1 Un Block en Search te oculta también de Google. Para mantener la búsqueda y detener el entrenamiento, el ajuste es Disallow AI Training: "Con Disallow AI Training pueden seguir rastreando tu web para la búsqueda".1
Vercel
El AI Bots Managed Ruleset de Vercel está "inactivo por defecto", se muestra como Allow, y te permite "bloquear las categorías AI Crawlers o AI Assistants de forma independiente",9 es decir, rastreadores de IA y asistentes de IA. Las categorías son precisas: "AI Crawlers: bots que rastrean y recopilan contenido para el entrenamiento" y "AI Assistants: bots que recuperan páginas en respuesta a acciones del usuario o las usan para consultas de búsqueda".9 Poner Deny (denegar) en AI Assistants "bloquea todo el tráfico identificado como procedente de bots de IA de esa categoría",9 que es el tráfico de búsqueda que quieres. Deny solo en AI Crawlers es la exclusión limitada al entrenamiento.
Otros CDN y proveedores de hosting
Las mismas dos preguntas valen en todas partes: ¿hay una categoría de bots que cubra los rastreadores de búsqueda o de asistentes, y cuál es su acción? Si el panel solo ofrece "bloquear bots de IA" como un único interruptor, da por hecho que bloquea también a los rastreadores de búsqueda hasta que la documentación del proveedor diga lo contrario.
Paso 3: ¿Deja tu firewall pasar al rastreador? (3 minutos)
Descarga tu página de inicio dos veces: una como navegador y otra con el user agent real de un rastreador de IA, y compara los códigos de estado.
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" https://yourdomain.com/
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" https://yourdomain.com/
La segunda cadena es el user agent publicado de OAI-SearchBot;3 repite con PerplexityBot/1.04 y ClaudeBot.6 Ambas peticiones deberían devolver 200. Si la petición del rastreador devuelve 403, 401 o 429, o una página de verificación, algo en el servidor o en el WAF está coincidiendo con el user agent. Esta es la prueba que HasData hizo a gran escala, la que encontró una diferencia de 30 puntos entre los navegadores y GPTBot en las webs de los medios.5
Un 403 es el peor de los tres para la búsqueda, porque los rastreadores lo leen como "el contenido no existe". Google es directo: "Google no usa el contenido de las URL que devuelven códigos de estado 4xx", y "el proceso de indexación elimina la URL del índice si estaba indexada previamente".10 También advierte: "No uses los códigos de estado 401 y 403 para limitar la frecuencia de rastreo".10 Un 429 o un 5xx se interpreta en cambio como sobrecarga: estos errores "hacen que los rastreadores de Google reduzcan temporalmente la velocidad de rastreo", y las URL ya indexadas "se conservan en el índice, pero acaban eliminándose".10 Una regla amplia que coincide con la palabra "bot" en cualquier user agent le hace esto también a Googlebot y a Bingbot.
Tres sitios donde mirar cuando la prueba falla:
- El WAF o el plugin de seguridad. Busca en sus reglas "user agent", "bad bots", "AI bots" y "crawler". Si el plugin tiene una lista de user agents que bloquea, ábrela y comprueba si aparece en ella algún rastreador de motores de búsqueda con IA.
- Límites de velocidad. Los rastreadores descargan muchas páginas en poco tiempo. Si el límite devuelve
403en lugar de429, cada página con la que choca se da por desaparecida.10 - Bloqueos por IP. OpenAI, Anthropic y Perplexity publican los rangos de IP que usan sus rastreadores, así que puedes verificar que un rastreador es real en lugar de adivinarlo por el user agent;364 Perplexity señala que "Cada bot tiene sus propios rangos de IP, así que compara cada User-Agent con sus propios rangos de IP".4 Usa las listas para permitir, no como tu forma de exclusión: Anthropic advierte de que bloquear sus direcciones IP "puede no funcionar correctamente ni garantizar una exclusión persistente, porque impide que leamos tu archivo robots.txt".6
¿Qué deberías permitir y qué bloquear?
Decide por finalidad, no por empresa. Los rastreadores de búsqueda y de usuario consiguen que te citen; el entrenamiento es una cuestión aparte con un interruptor aparte en cada proveedor.3647
| Objetivo | robots.txt | CDN | Firewall |
|---|---|---|---|
| Que te citen los asistentes de IA y mantener Google | Permitir OAI-SearchBot, Claude-SearchBot, PerplexityBot y Googlebot | Categoría Search o Assistants en Allow | Ninguna regla de user agent o de velocidad les devuelve 403 |
| Mantener eso, pero excluirte del entrenamiento de modelos | Añadir Disallow: / para GPTBot, ClaudeBot y Google-Extended | Training en Disallow AI Training (Cloudflare) o Deny en AI Crawlers (Vercel) | Nada más |
| Quedar fuera de las respuestas de IA por completo | Prohibir también los rastreadores de búsqueda | Bloquear la categoría Search o Assistants | Opcional, para los rastreadores que ignoran robots.txt |
Solo la tercera fila cuesta visibilidad en los motores de búsqueda con IA. La segunda sale gratis: Google dice que Google-Extended "no se usa como señal de posicionamiento en la Búsqueda de Google",7 y OpenAI dice que una web puede "permitir OAI-SearchBot para aparecer en los resultados de búsqueda y al mismo tiempo no permitir GPTBot".3
¿Cómo ayuda ContentMas con el bloqueo de rastreadores de IA?
ContentMas es una herramienta SEO impulsada por IA que audita tu web para Google y los motores de búsqueda con IA, y te muestra exactamente qué corregir para posicionarte mejor y conseguir que te citen. Sus comprobaciones de Preparación técnica miran si los rastreadores pueden llegar a cada página y leerla: las reglas de robots.txt que se aplican a los rastreadores de búsqueda y de IA, el código de estado que devuelven el archivo y las páginas, las redirecciones y cuánto del contenido está en el HTML que envía el servidor. Su pilar de Preparación SEO y GEO (visibilidad en Google y en los motores de búsqueda con IA; GEO significa Generative Engine Optimization) comprueba que las páginas que pasan puedan encontrarse y citarse.
Cada hallazgo llega con su evidencia y una corrección, ordenados por impacto, en seis pilares y 600+ KPI. El plan gratuito lee hasta 10 páginas por análisis, 3 análisis cada 24 horas. Consulta cómo puntuamos o haz una auditoría.
Conclusiones clave
- Una web puede bloquear los rastreadores de IA en robots.txt, en los ajustes de bots del CDN y en el firewall; robots.txt es orientativo, los otros dos se imponen, y hay que revisar los tres.345
- Los rastreadores de entrenamiento, de búsqueda y de usuario son user agents separados con interruptores separados en OpenAI, Anthropic y Perplexity; Google-Extended es un token de robots.txt sin user agent, y nunca afecta a la Búsqueda de Google.3647
- HasData encontró que el 39.5% de las webs que prohíben GPTBot siguen sirviéndole páginas, y que los medios responden al user agent de GPTBot 30 puntos menos a menudo que a un navegador: el archivo y el servidor se contradicen en ambas direcciones.5
- Cloudflare divide ahora el tráfico de IA en Search, Training y Agent, migró los antiguos dominios con "Block AI Bots" a Search en Allow, y advierte de que un Block en Search bloquea también a Googlebot y Bingbot.1
- Un
403del firewall le dice a Google que la página no existe y la elimina del índice; un429solo ralentiza el rastreo.10 Prueba con el user agent de un rastreador real y espera un200.3
Diez minutos bastan para saber si el problema es tu contenido o tus puertas. Abre el archivo, abre el panel, lanza dos peticiones. Si las tres capas dejan pasar a los rastreadores de búsqueda, lo que queda es una cuestión de contenido.
Lecturas relacionadas: ¿Pueden los rastreadores de IA leer tu web? Una comprobación técnica de 10 minutos y Cómo afecta la seguridad web al posicionamiento y a la confianza de tus clientes
Las guías de los seis pilares: Técnica · Calidad del contenido · Confianza · Actualidad · Seguridad · SEO y GEO · Cómo puntúa ContentMas cada pilar
Preguntas frecuentes
¿Bloquear GPTBot deja mi web fuera de la búsqueda de ChatGPT?
No. OpenAI usa GPTBot para el entrenamiento y OAI-SearchBot para la búsqueda, y dice que "Cada ajuste es independiente de los demás".3 Solo las webs que excluyen OAI-SearchBot "no se mostrarán en las respuestas de búsqueda de ChatGPT", aunque "pueden seguir apareciendo como enlaces de navegación".3
¿Bloquear Google-Extended elimina mis páginas de AI Overviews?
No. Google dice que Google-Extended "no afecta a la inclusión de una web en la Búsqueda de Google ni se usa como señal de posicionamiento", y solo controla si el contenido rastreado se usa para el entrenamiento y el grounding de los modelos Gemini.7 El control para AI Overviews y AI Mode es la regla de robots.txt para Googlebot, y Google pide que el rastreo esté permitido también "por cualquier CDN o infraestructura de hosting".2
Activé "Block AI Bots" de Cloudflare en 2025. ¿Sigue bloqueando los rastreadores de búsqueda?
Probablemente no. Cloudflare migró los dominios que nunca usaron los controles granulares a Search en Allow, Training en "Disallow AI Training" y Agent en "Block on pages with ads".1 Abre la política Search y confirma que dice Allow, porque un Block ahí se aplica ahora también a Googlebot, Bingbot y Applebot.1
¿Cuánto tarda un rastreador en notar un cambio en robots.txt?
Alrededor de un día. Google guarda en caché el robots.txt "durante un máximo de 24 horas",8 OpenAI dice que sus sistemas de búsqueda tardan "~24 horas" en ajustarse,3 y Perplexity dice que los cambios pueden tardar "hasta 24 horas".4 Un cambio en el firewall surte efecto en la siguiente petición.
¿Puede un firewall bloquear los rastreadores de IA que ignoran robots.txt?
Sí, y es la herramienta adecuada para los fetchers activados por el usuario, como ChatGPT-User y Perplexity-User, cuya propia documentación dice que las reglas de robots.txt pueden no aplicarse a ellos.34 Identifícalos por user agent y por los rangos de IP que publican los proveedores,34 y devuelve un 403 solo a los rastreadores que de verdad quieras rechazar, nunca a los rastreadores de búsqueda.10
Referencias
Cada número del artículo enlaza con su fuente más abajo.
-
Cloudflare — Have it both ways: stay discoverable in search while disallowing AI training (se abre en una pestaña nueva), septiembre de 2026. ↩
-
Google Search Central — AI features and your website (se abre en una pestaña nueva), diciembre de 2025. ↩
-
OpenAI — Overview of OpenAI Crawlers (se abre en una pestaña nueva), consultado en noviembre de 2026. ↩
-
Perplexity — Perplexity Crawlers (se abre en una pestaña nueva), consultado en noviembre de 2026. ↩
-
HasData — The AI Crawler Block Index (se abre en una pestaña nueva), octubre de 2026. ↩
-
Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? (se abre en una pestaña nueva), octubre de 2026. ↩
-
Google Search Central — Google's common crawlers (se abre en una pestaña nueva), octubre de 2026. ↩
-
Google Search Central — How Google interprets the robots.txt specification (se abre en una pestaña nueva), octubre de 2026. ↩
-
Vercel — WAF Managed Rulesets (se abre en una pestaña nueva), septiembre de 2026. ↩
-
Google Search Central — How HTTP status codes affect Google's crawlers (se abre en una pestaña nueva), febrero de 2026. ↩
Sobre este artículo
Escrito por Nasir Ali Joiya, CEO y cofundador de ZAPTA Technologies. Revisado por el equipo de ContentMas, que desarrolla ContentMas, una herramienta de auditoría SEO impulsada por IA que analiza los sitios en seis pilares para Google y los motores de búsqueda con IA. Los datos y las cifras enlazan a sus fuentes originales en las Referencias. ¿Has visto algo desactualizado? Escríbenos y lo corregiremos.
Auditoría web gratuita
Descubre qué puntuación obtiene tu web en los buscadores y los asistentes de IA.
Una puntuación global, seis puntuaciones de pilar y una lista de correcciones priorizada en pocos minutos. Sin tarjeta de crédito.
Empezar auditoría gratuita