CCBot
CCBot ist ein Crawler von Common Crawl. Kategorie: Training. Blockieren schützt Ihre Inhalte ohne Sichtbarkeitsverlust.
CCBot speist das öffentliche Common-Crawl-Archiv, Ausgangsbasis vieler Modelle: Blockieren entfernt Sie daraus.
CCBot blockieren
Fügen Sie diese Zeilen in Ihre robots.txt ein:
User-agent: CCBot
Disallow: /KI-Crawler in robots.txt blockieren oder zulassen
IP-Adresse prüfen
5 offizielle Bereiche (Stand 15.11.2026): JSON-Datei des Anbieters. Vergleichen Sie die Herkunfts-IP mit diesen Bereichen, nie den Agentennamen.
IP-Adresse eines KI-Crawlers prüfen · KI-Crawler hinter einem CDN: echte IP ermitteln