Attrape-Robots

CCBot

CCBot est un robot de Common Crawl. Catégorie : Entraînement. Bloquer protège votre contenu sans coût de visibilité.

CCBot alimente l’archive publique Common Crawl, source de départ de nombreux modèles : le bloquer vous en retire.

Bloquer CCBot

Ajoutez ces lignes à votre robots.txt :

User-agent: CCBot
Disallow: /

Bloquer ou autoriser les robots IA dans robots.txt

Vérifier l’adresse IP

5 plages officielles relevées le 15/11/2026 : fichier JSON de l’éditeur. Comparez l’adresse d’origine à ces plages, jamais le nom d’agent.

Vérifier l’adresse IP d’un robot IA · Robots IA derrière un CDN : retrouver la vraie IP

Documentation officielle

Crawlers IA