Attrape-Robots

CCBot

CCBot ist ein Crawler von Common Crawl. Kategorie: Training. Blockieren schützt Ihre Inhalte ohne Sichtbarkeitsverlust.

CCBot speist das öffentliche Common-Crawl-Archiv, Ausgangsbasis vieler Modelle: Blockieren entfernt Sie daraus.

CCBot blockieren

Fügen Sie diese Zeilen in Ihre robots.txt ein:

User-agent: CCBot
Disallow: /

KI-Crawler in robots.txt blockieren oder zulassen

IP-Adresse prüfen

5 offizielle Bereiche (Stand 15.11.2026): JSON-Datei des Anbieters. Vergleichen Sie die Herkunfts-IP mit diesen Bereichen, nie den Agentennamen.

IP-Adresse eines KI-Crawlers prüfen · KI-Crawler hinter einem CDN: echte IP ermitteln

Offizielle Dokumentation

KI-Crawler