Attrape-Robots

CCBot

CCBot es un rastreador de Common Crawl. Categoría: Entrenamiento. Bloquear protege su contenido sin coste de visibilidad.

CCBot alimenta el archivo público Common Crawl, punto de partida de muchos modelos: bloquearlo le saca de él.

Bloquear CCBot

Añada estas líneas a su robots.txt:

User-agent: CCBot
Disallow: /

Bloquear o permitir rastreadores IA en robots.txt

Verificar la dirección IP

5 rangos oficiales recogidos el 15/11/2026: archivo JSON del editor. Compare la IP de origen con estos rangos, nunca el nombre del agente.

Verificar la IP de un rastreador IA · Rastreadores IA tras un CDN: recuperar la IP real

Documentación oficial

Rastreadores IA