¿Debe bloquear los rastreadores de IA en su sitio web?

No todos los rastreadores de IA hacen lo mismo

Los rastreadores de entrenamiento recopilan páginas que pueden usarse para entrenar modelos de IA. GPTBot de OpenAI, ClaudeBot de Anthropic y CCBot de Common Crawl son ejemplos.
Los rastreadores de búsqueda y respuestas consultan páginas para que un asistente pueda encontrarlas y citarlas al responder la pregunta de un usuario, como OAI-SearchBot de OpenAI.
Los tokens de control como Google-Extended no son rastreadores aparte; le indican a Google si el contenido que ya rastrea se puede usar para ciertos usos de Gemini, sin afectar la Búsqueda de Google.

Cada empresa documenta sus propios bots y estos cambian, así que consulte las páginas vigentes: los rastreadores de OpenAI (en inglés), el rastreador de Anthropic (en inglés), los rastreadores y tokens de Google (en inglés) y CCBot de Common Crawl (en inglés).

Robots.txt es un control, no una cerradura

Su archivo /robots.txt les indica a los rastreadores que respetan las reglas qué rutas pueden visitar; la introducción a robots.txt (en inglés) de Google explica el formato. Ejemplos:

Bloquear ciertos rastreadores de entrenamiento: User-agent: GPTBot / Disallow: /, y luego lo mismo para ClaudeBot y CCBot.
Permitir la búsqueda de ChatGPT pero no el entrenamiento de OpenAI: User-agent: OAI-SearchBot / Allow: / y User-agent: GPTBot / Disallow: /.
Limitar el uso de IA de Google sin tocar la Búsqueda de Google: User-agent: Google-Extended / Disallow: /.

Robots.txt es voluntario y público. Solo funciona con los rastreadores que se identifican y lo respetan, y no elimina el contenido ya copiado ni protege las páginas privadas. Todo lo que sea realmente privado debe estar detrás de un inicio de sesión.

El costo en visibilidad

Bloquear puede importar cuando su contenido es el producto: investigaciones originales, cursos, recetas, documentación o una base de datos especializada. Pero los asistentes de IA influyen cada vez más en cómo la gente encuentra negocios. Si no pueden leer sus páginas, pueden dejarlo fuera o responder con fuentes menos exactas, un costo alto para los servicios locales y las tiendas en línea. Nuestra guía ¿ChatGPT recomienda a su competencia? trata el lado de ser encontrado.

Un punto medio común: bloquear los rastreadores de entrenamiento y permitir los de búsqueda y respuestas, además de Googlebot y Bingbot.

Una guía sencilla para decidir

Negocio de servicios locales: permita los rastreadores de búsqueda y respuestas; bloquee el entrenamiento solo si su contenido es especialmente original.
Tienda en línea: permita las páginas de productos; bloquee para todos los rastreadores los carritos, las cuentas, la búsqueda interna y las páginas de filtros.
Consultor o agencia: por lo general, permita las páginas públicas que muestran su experiencia, que atraen clientes cuando se citan; proteja las descargas y las áreas de clientes.
Sitio de publicaciones, cursos o investigación de pago: considere bloquear los rastreadores de entrenamiento y mantenga el contenido premium detrás de un inicio de sesión.
Documentación de software: permita la documentación pública a los rastreadores de respuestas; mantenga privada la documentación de administración, de seguridad y solo para clientes.

Compruebe que no está bloqueando por accidente

Muchos sitios bloquean los rastreadores de IA sin que el dueño lo sepa, por un complemento de seguridad, una regla del firewall, una configuración de bots de la CDN o una línea vieja de robots.txt. Revise su robots.txt, la configuración de bots de su firewall o su CDN y los registros de su servidor: qué bots lo visitan, con qué frecuencia, qué códigos de estado reciben y si llegan a páginas lentas. Algunos rastreadores no ejecutan JavaScript, así que asegúrese de que el contenido importante esté en el HTML de la página.

Qué es llms.txt

llms.txt es un archivo propuesto, ubicado en /llms.txt, que les da a los modelos de lenguaje un mapa breve de sus páginas más útiles. Puede ayudar a los sitios de documentación y para desarrolladores, pero es una propuesta y no un estándar oficial, y no reemplaza a robots.txt, los mapas del sitio, los datos estructurados ni un buen enlazado interno. Este sitio publica uno en /llms.txt como ejemplo.

Una configuración razonable por defecto

Decida si su contenido es en sí mismo lo que usted vende.
Si no lo es, permita los rastreadores de búsqueda y respuestas; decida por separado sobre los de entrenamiento.
Bloquee para todos las rutas privadas y de poco valor.
Compruebe que la configuración del firewall y de la CDN coincide con robots.txt.
Revise los registros cada trimestre y vuelva a leer la documentación de rastreadores de cada empresa.

Dónde encaja ASL

SiteFit, nuestra herramienta de auditoría web, ofrece una revisión con puntaje y de solo lectura de su sitio público, con prioridades claras para corregir, un buen punto de partida antes de cambiar las reglas para los rastreadores. Combínela con nuestra checklist de auditoría web, o contáctenos si necesita ayuda con robots.txt y la configuración del servidor.

Preguntas frecuentes

¿Debo bloquear los rastreadores de IA?

Solo si proteger su contenido le importa más que ser encontrado y citado por las herramientas de IA. La mayoría de las pequeñas empresas permiten los rastreadores de búsqueda y respuestas y deciden por separado sobre los de entrenamiento.

¿Qué es GPTBot?

El rastreador de OpenAI para contenido que puede usarse para entrenar sus modelos. Es distinto de OAI-SearchBot, que ayuda a que los sitios aparezcan en la búsqueda de ChatGPT.

¿Bloquear Google-Extended perjudica mi posicionamiento en Google?

Google dice que Google-Extended controla ciertos usos del contenido en Gemini y que no afecta la inclusión ni el posicionamiento en la Búsqueda de Google.

¿Robots.txt detiene toda la extracción de datos por IA?

No. Solo funciona con los rastreadores que se identifican y lo respetan. El contenido privado debe estar detrás de un inicio de sesión.

¿Necesito un archivo llms.txt?

Es opcional. Es una propuesta, no un estándar, y puede ayudar a los sitios de documentación a dirigir a las herramientas de IA hacia las páginas clave, pero no reemplaza a robots.txt ni a los mapas del sitio.

Guías relacionadas

Conozca el producto completo

Consulte funciones, acceso actual y límites