Answer Engines Optimization
English Explorar el directorio
Volver al blog
9 min de lectura

Rastreadores de IA y AEO: qué permitir, bloquear y medir

Guía práctica de acceso para rastreadores de IA en AEO: separa bots de entrenamiento y búsqueda, evita bloqueos accidentales y mide si el acceso se convierte en citas.

  • AEO
  • Rastreadores de IA
  • Robots.txt
  • SEO técnico
Ilustración editorial de rastreadores de IA pasando por reglas de acceso hacia sistemas de búsqueda, citación de respuestas y entrenamiento de modelos

El acceso de los rastreadores de IA es un control de AEO, no un ajuste técnico menor: si los bots adecuados de búsqueda y recuperación no pueden llegar a tus páginas útiles, esas páginas tendrán menos opciones de ser citadas por motores de respuesta. La regla práctica consiste en separar acceso para entrenamiento y acceso para respuestas, documentar la decisión en robots.txt y en las reglas del WAF, y medir después si esa elegibilidad se convierte en citaciones, menciones y recomendaciones.

Aquí es donde muchos equipos cometen un error caro. O permiten cualquier bot sin saber qué hace cada uno, o bloquean todos los rastreadores de IA y sacan sin querer sus mejores páginas de ChatGPT search, Claude search, Perplexity u otras superficies de respuesta. El AEO no exige apertura ciega. Exige una política de acceso clara.

La distinción útil: entrenamiento, búsqueda y fetch de usuario

Un rastreador de IA no es una sola cosa. La misma empresa puede operar agentes separados para entrenamiento de modelos, indexación de búsqueda y recuperación iniciada por un usuario. Esas tareas tienen implicaciones de negocio distintas. Un bot de entrenamiento puede recopilar páginas públicas para mejorar modelos futuros. Un bot de búsqueda puede indexar o recuperar páginas para que un motor de respuesta las cite. Un agente de usuario puede visitar una URL porque una persona ha pedido explícitamente al asistente que lea o use esa página.

En AEO, el valor por defecto más prudente no es 'permitir IA' ni 'bloquear IA'. Es 'permitir la recuperación que quieres medir y bloquear entrenamiento solo si esa es una decisión deliberada de política de contenidos'.

OpenAI ilustra bien la separación. Su documentación distingue OAI-SearchBot para rastreo relacionado con búsqueda, GPTBot para contenido que puede usarse en entrenamiento de modelos fundacionales y ChatGPT-User para acciones iniciadas por usuarios. Anthropic usa un patrón parecido con ClaudeBot, Claude-SearchBot y Claude-User. La documentación pública de Perplexity presenta PerplexityBot como un bot para mostrar y enlazar sitios web en resultados de Perplexity, no para entrenar modelos fundacionales. Google es distinto: Google-Extended es un token de producto en robots.txt, no un user agent HTTP separado, y Google afirma que no afecta a la inclusión ni al ranking en Google Search.

Una matriz práctica de rastreadores para equipos AEO

  • Visibilidad en OpenAI search: permite OAI-SearchBot en las páginas que deberían poder aparecer en respuestas de ChatGPT search.
  • Control de entrenamiento en OpenAI: decide por separado si GPTBot puede acceder a contenido que podría usarse para entrenar modelos futuros.
  • Acciones de usuario en OpenAI: entiende que ChatGPT-User puede activarse por acciones del usuario y no equivale al rastreo automatizado de búsqueda.
  • Visibilidad en Claude search: permite Claude-SearchBot donde Claude debería poder descubrir e indexar contenido para respuestas de búsqueda.
  • Control de entrenamiento en Claude: decide por separado si ClaudeBot puede acceder a contenido para datasets de entrenamiento.
  • Acciones de usuario en Claude: trata Claude-User como una vía de recuperación para solicitudes dirigidas por usuarios, no como sustituto de Claude-SearchBot.
  • Visibilidad en Perplexity: permite PerplexityBot y verifica el acceso en el WAF con sus rangos de IP publicados si las citas en Perplexity importan.
  • Control de IA en Google: usa Google-Extended como token específico de política para usos relacionados con Gemini, entrenamiento y grounding, manteniendo Googlebot separado para Search.

Esta matriz es deliberadamente operativa. No afirma que permitir un bot garantice una citación. Solo mantiene tus páginas elegibles al alcance del sistema. A partir de ahí, los motores de respuesta siguen eligiendo fuentes por relevancia, facilidad de extracción, autoridad, frescura cuando procede y evidencia que puedan citar con seguridad.

Robots.txt es necesario, pero no agota la capa de acceso

Robots.txt es el lugar donde expresas intención ante rastreadores que respetan directivas. También es el archivo más fácil de auditar públicamente. Para una marca que quiere visibilidad AEO, el archivo no debería depender de una regla comodín vaga y esperar que cada sistema de IA la interprete bien. Conviene listar de forma explícita los user agents de IA importantes y hacer coincidir esas decisiones con el CDN, el WAF, el producto de gestión de bots y los logs del servidor.

Esa última parte importa. Un sitio puede mostrar un robots.txt permisivo y aun así bloquear rastreadores de IA en el edge. La propia documentación de rastreadores de Perplexity indica a los sitios con WAF que permitan tanto condiciones de user agent como rangos de IP de sus endpoints oficiales. La documentación de bots de Cloudflare también deja claro que los controles de bots, el robots.txt gestionado y las políticas de bots verificados pueden situarse fuera del archivo robots.txt plano. En la práctica, una auditoría de rastreo AEO debe revisar las dos capas: política declarada y acceso real.

Tres estrategias de acceso y cuándo encaja cada una

1. Acceso orientado a visibilidad

Es el valor por defecto para marcas, agencias, empresas SaaS, firmas de servicios profesionales y publishers que quieren que su conocimiento público sea citado. Permite bots de búsqueda y de fetch de usuario. Permite bots de entrenamiento solo si la organización está cómoda con ese uso. Monitoriza carga de rastreo, URLs citadas y calidad de conversión. Esta estrategia trata los motores de respuesta como un canal de descubrimiento.

2. Acceso limitado para entrenamiento

Es el punto intermedio. Mantén abierta la búsqueda y la recuperación, pero bloquea agentes orientados a entrenamiento cuando el equipo legal o de política de contenidos no quiera que el contenido se use en el desarrollo de modelos futuros. La clave es la precisión: bloquear GPTBot o ClaudeBot no es lo mismo que bloquear OAI-SearchBot o Claude-SearchBot. Un bloqueo genérico de IA puede proteger derechos de entrenamiento y dañar al mismo tiempo la visibilidad en respuestas.

3. Acceso restrictivo de publisher

Es una compensación deliberada para publishers, negocios de datos o sitios de miembros cuya economía de contenidos depende de licencias o de tráfico directo. Puede ser razonable, pero debe tratarse como una decisión de distribución de contenido, no como higiene SEO genérica. Si el sitio sale de las principales vías de recuperación, los responsables deberían esperar menor elegibilidad para citas en esos sistemas de respuesta.

Opt-out de IA no es lo mismo que bloquear rastreadores

Una confusión frecuente consiste en mezclar opt-outs de producto con reglas de rastreo. Un control de Search Console para experiencias de IA de Google no es lo mismo que bloquear Googlebot, Google-Extended u otros rastreadores de IA en robots.txt. Una regla de robots.txt tampoco equivale a una regla de CDN que bloquea el tráfico antes de que el rastreador pueda leer siquiera el archivo.

La forma limpia de decidir es preguntar qué superficie estás controlando. ¿Controlas indexación clásica, elegibilidad para respuestas generativas, entrenamiento de modelos, fetch de páginas iniciado por usuarios o carga de servidor? Cada respuesta apunta a un mecanismo distinto. Por eso la política de rastreadores debería vivir en un documento operativo de AEO, no solo en un ticket técnico.

Cómo auditar acceso de rastreadores sin falsa seguridad

  • Lee el archivo robots.txt vivo, no el ajuste del CMS, y revisa cada subdominio que aloje contenido indexable.
  • Busca reglas comodín de disallow que atrapen bots de IA no listados de forma explícita.
  • Compara robots.txt con ajustes de CDN, WAF y gestión de bots; el edge puede imponerse al archivo.
  • Verifica tráfico real de rastreadores mediante endpoints oficiales de IP o métodos documentados, no solo por el user agent.
  • Comprueba en logs respuestas correctas de bots de búsqueda y recuperación en páginas que deberían poder citarse.
  • Ejecuta un portafolio de prompts antes y después de cambios de acceso para separar elegibilidad de rastreo y rendimiento real de citación.
  • Mide citation rate, mention rate y recommendation rate por motor; una visita de crawler no equivale a una recomendación.

Los dos últimos pasos son la parte AEO. Los logs del servidor pueden decirte si un bot llegó. No pueden decirte si el motor de respuesta confió en la página, la citó, la parafraseó, la ignoró o recomendó a un competidor. Eso exige muestreo repetido de prompts y seguimiento de fuentes por motor.

Un patrón simple de robots.txt para visibilidad en respuestas

Un sitio orientado a visibilidad puede partir de un patrón simple: permitir los agentes de búsqueda y fetch de usuario que sostienen la recuperación de respuestas, y tomar una decisión separada para agentes de entrenamiento. Por ejemplo, un equipo puede permitir OAI-SearchBot, Claude-SearchBot y PerplexityBot en guías públicas, mientras decide por separado si GPTBot, ClaudeBot y Google-Extended pueden acceder a esas mismas rutas.

Lo importante no es la sintaxis exacta dentro de un artículo de blog. Lo importante es que cada user agent se nombre de forma intencionada. Si la política dice "queremos aparecer en ChatGPT search, pero no entrenar modelos futuros", el robots.txt y el WAF deberían expresar esa diferencia en lugar de reducirla a un único bloqueo de IA.

Qué medir después de cambiar reglas de rastreo

  • Acceso de rastreo: qué user agents de IA llegaron a URLs importantes y qué códigos de estado recibieron.
  • Síntomas de indexación o recuperación: si los motores de respuesta empiezan a citar URLs que antes no alcanzaban en prompts relevantes.
  • Visibilidad por prompt: citation rate, mention rate y recommendation rate por motor, no como una puntuación mezclada.
  • Comportamiento de landing pages: si las páginas citadas reciben referrals visibles de IA, visitas directas o aumentos de búsqueda de marca.
  • Carga y abuso: si algún rastreador genera latencia, presión de ancho de banda o golpes repetidos sobre rutas de bajo valor.
  • Deriva de política: si un cambio de hosting, regla de CDN o producto de robots gestionado ha modificado silenciosamente la decisión de acceso.
El acceso de rastreadores es elegibilidad. El seguimiento de citaciones es evidencia. El impacto de negocio es la razón para seguir midiendo después del arreglo técnico.

Para AEO, la posición madura no es ideológica. Parte del contenido debería estar abierto a la recuperación de respuestas. Parte puede excluirse del entrenamiento. Algunas rutas deben bloquearse por seguridad o por razones comerciales. La configuración ganadora es la que hace explícitas esas decisiones, las verifica en logs y mide si mejoran la visibilidad real en los motores de respuesta que importan al negocio.

Preguntas frecuentes

¿Debería bloquear los rastreadores de IA?

No como valor por defecto genérico si la visibilidad en IA importa. Bloquea agentes concretos de entrenamiento solo cuando sea una decisión deliberada de política, y mantén accesibles los agentes de búsqueda o recuperación cuando quieras elegibilidad para citaciones de IA.

¿Permitir un rastreador garantiza una citación?

No. Permitir un rastreador solo hace que la página sea accesible. La página aún debe ser relevante, fácil de extraer, fiable y suficientemente útil para que el motor de respuesta la cite o recomiende.

¿Puedo permitir búsqueda con IA y bloquear entrenamiento?

A menudo, sí. Muchos sistemas de IA importantes exponen user agents o tokens distintos para propósitos diferentes. La configuración exacta depende de cada plataforma, pero el principio consiste en permitir agentes de recuperación y decidir por separado sobre agentes orientados a entrenamiento.

¿Llms.txt sustituye a robots.txt?

No. Robots.txt expresa permisos de rastreo para bots que respetan directivas. Llms.txt es un archivo de descubrimiento y contexto que puede orientar a sistemas de IA hacia contenido útil del sitio. Resuelven problemas distintos y conviene mantenerlos juntos.

Fuentes y recursos relacionados