Attrape-Robots

Diagnostic de crawl IA

Ce test émule un accès HTTP avec différents User-Agents. Il ne reproduit pas parfaitement un vrai passage : l’IP source, le CDN, le WAF et les règles anti-bot peuvent changer le comportement réel. Un nom d’agent ne prouve rien, seule l’adresse d’origine fait foi.

User-Agents

Résultat

Fabriquer votre robots.txt

Refuser l’entraînement

Le robots.txt est une consigne, pas une barrière : seul un filtrage par adresse IP arrête les robots qui l’ignorent. Crawlers IA · FAQ

Guides

Plan du site