est un site d'experimentations sur les très nombreux moteurs qui parcourent le réseau à la recherche de données. Qu'ils soient executés sur de puissantes machines en cluster ou lançés d'ordinateurs poussifs, programmés pour une recherche bien précise ou généralistes, respectueux des normes d'exclusions ou non, les robots de recherche, ou bots, ou crawlers, ou spiders, ont la chance de bénéficier de plusieurs facteurs qui font qu'ils ne sont pas vraiment étudiés de près, ou en tous cas considérés sérieusement par la grande majorité des webmasters. Parmi ces causes, on peut retenir :
L'attrape robots site experimental va s'efforcer d'analyser avec le plus de précision et de méthode possible la venue et le cheminement de ces programmes informatiques, afin de dégager plusieurs groupes de bots, qui seront classés selon plusieurs critères.
Plusieurs cheminements bien identifiés seront proposés aux robots, chacun présentant des caractéristiques particulières, comme la typologie de fichiers employée, l'arborescence déployée, le poids des différentes pages, leurs encodages, l'analyse de leurs différents types de liens hypertextes...
© 2014 L'attrape robots : Mentions légales : Contact