IP-Adresse eines KI-Crawlers prüfen
Vergleichen Sie die Herkunftsadresse mit den offiziellen Bereichen: ein Agentenname beweist nichts.
- Holen Sie die echte Adresse des Besuchers aus Ihren Logs (hinter einem CDN siehe CDN-Anleitung).
- Vergleichen Sie sie mit den Bereichen des Anbieters aus der Crawler-Liste.
- Ohne veröffentlichten Bereich gilt die Dokumentation des Anbieters; Google und Bing beschreiben auch die Prüfung per Reverse-DNS.
- Dateien regelmäßig neu laden: Anbieter ändern Bereiche ohne Vorankündigung.
curl -s https://openai.com/gptbot.json