Liste des fichiers demandés par un agent utilisateur

On connaît la chanson :

Ne pas placer ses fichiers sur votre serveur n'est pas vraiment pénalisant en soi, mais va quand même générer dans la plupart des cas des demandes de la part des agents utilisateurs, selon leur type (le navigateur appelera le favicon, le robot demandera le fichier texte).

Bien entendu, selon les configurations du serveur qui heberge vos pages web, les fichiers de départ sont requis, qui peuvent se nommer index, home, default... dans toutes les extensions dynamiques (.php, .asp, .cfm...) mais aussi statiques (.html, .htm, .txt...)

Sans quoi vous risquez de vous retrouver avec une réponse de type Erreur 404 page introuvable :

Not Found
The requested URL /admin/secret/passwords.txt was not found on this server.

Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request. 
  1. L'Attrape Robots
  2. Nourriture pour agents utilisateurs
  3. Les agents utilisateurs dévorent mon arborescence
  4. En parcourant les fichiers pour agents intelligents

© 2011 L'attrape robots

CrawlTrack: free crawlers and spiders tracking script for webmaster- SEO script -script gratuit de détection des robots pour webmaster