Définition de Deep Crawl

Fresh Crawl

Pour recenser et aussi ajouter de nouveaux sites dans son indexe, Google parcourt (''crawl'') le WEB en utilisant un Robot appelé GoogleBot. Ce Robot suit les liens Hypertexte de page en page. Il existait jusqu'en 2003 deux types de crawl : le Deep Crawl (ou full crawl) et le fresH crawl, maintenant regroupés en un seul TYPE. Le Deep Crawl était l'indexation massive du WEB par GoogleBot au cours de laquelle il analysait en proFondeur toutes les pages des sites, et répertoriait en particulier tous les liens. En général elle démarrait juste après une Google Dance et servait de Base à la Google Dance qui suivait. Le fresH crawl est l'examen quotidien du WEB par GoogleBot, spécialisé sur les pages récemment publiées. Suivant divers critères, une page sera visitée à une fréquence variant entre 12 H et 1 mois environ. Google doit crawler ainsi plus de 4 milliaRDS d'URL le plus régulièrement possible. On peut savoir si GoogleBot est venu visiter son Site en regardant les fichiers Log, ou enCore plus facilement en installant RobotStats.