Diagnostic de crawl IA
Ce test émule un accès HTTP avec différents User-Agents. Il ne reproduit pas parfaitement un vrai passage : l’IP source, le CDN, le WAF et les règles anti-bot peuvent changer le comportement réel. Un nom d’agent ne prouve rien, seule l’adresse d’origine fait foi.
Résultat
Fabriquer votre robots.txt
Le robots.txt est une consigne, pas une barrière : seul un filtrage par adresse IP arrête les robots qui l’ignorent. Crawlers IA · FAQ