robots.txt
Qu'est-ce que c'est ?
Fichier placé à la racine d’un site qui indique aux robots des moteurs de recherche les pages qu’ils ne doivent pas explorer.
En détail
Le fichier https://exemple.fr/robots.txt contient des règles comme Disallow: /admin/ et peut indiquer l’adresse du plan du site (sitemap). Les robots sérieux, comme Googlebot, les respectent, mais ce n’est pas une protection : n’importe qui peut lire le fichier et ignorer ses consignes.
Attention : bloquer une page dans robots.txt n’empêche pas forcément son apparition dans Google. Pour l’exclure, il faut la balise noindex, que le robot doit pouvoir lire. Le fichier sert aussi à refuser l’accès aux robots qui collectent des textes pour entraîner des IA.