KI-Crawl-Diagnose
Dieser Test simuliert HTTP-Zugriffe mit verschiedenen User-Agents. Er bildet einen echten Besuch nicht exakt ab: Quell-IP, CDN, WAF und Anti-Bot-Regeln können das Verhalten ändern. Ein Agentenname beweist nichts, nur die Herkunfts-IP zählt.
Ergebnis
robots.txt erstellen
robots.txt ist eine Bitte, keine Sperre: nur IP-Filterung stoppt Bots, die sie ignorieren. KI-Crawler · FAQ