Attrape-Robots

Diffbot

Diffbot ist ein Crawler von Diffbot. Kategorie: Training. Blockieren schützt Ihre Inhalte ohne Sichtbarkeitsverlust.

Diffbot blockieren

Fügen Sie diese Zeilen in Ihre robots.txt ein:

User-agent: Diffbot
Disallow: /

KI-Crawler in robots.txt blockieren oder zulassen

IP-Adresse prüfen

In den beobachteten Quellen ist kein IP-Bereich veröffentlicht: ein Agentenname allein beweist nichts. Siehe Dokumentation des Anbieters.

IP-Adresse eines KI-Crawlers prüfen · KI-Crawler hinter einem CDN: echte IP ermitteln

Offizielle Dokumentation

KI-Crawler