Attrape-Robots

KI-Crawl-Diagnose

Dieser Test simuliert HTTP-Zugriffe mit verschiedenen User-Agents. Er bildet einen echten Besuch nicht exakt ab: Quell-IP, CDN, WAF und Anti-Bot-Regeln können das Verhalten ändern. Ein Agentenname beweist nichts, nur die Herkunfts-IP zählt.

User-Agents

Ergebnis

robots.txt erstellen

Training verweigern

robots.txt ist eine Bitte, keine Sperre: nur IP-Filterung stoppt Bots, die sie ignorieren. KI-Crawler · FAQ

Anleitungen

Seitenübersicht