Définition de robots.txt

Auteur : http://www.spidetracker.com

<A class="couleur1" href="?Id=316" title="<A class="couleur1" href="?Id=4180" title="Fichier">Fichier texte"><A class="couleur1" href="?Id=4180" title="Fichier">Fichier texte déposé dans le <A class="couleur1" href="?Id=640" title="Répertoire">Répertoire principal d'un <A class="couleur1" href="?Id=930" title="Site">Site pour interdire l'<A class="couleur1" href="?Id=7" title="Accès">Accès aux robots de certains pages ou sous-répertoires du <A class="couleur1" href="?Id=930" title="Site">Site. Seuls les robots qui sont conformes à lA <A class="couleur1" href="?Id=1229" title="Norme">Norme d'exclusion de robots (Robots Exclusion Standard) liront et obéiront aux commandes dans le <A class="couleur1" href="?Id=4180" title="Fichier">Fichier. Les robots liront ce fichier à chaque vi<A class="couleur1" href="?Id=930" title="Site">Site, de sorte que des pages ou les zones des sites puissent être rendues publiques ou privées à tout moment en changeant lA teneur du <A class="couleur1" href="?Id=4180" title="Fichier">Fichier <A class="couleur1" href="?Id=1986" title="robots.txt">robots.txt.

L'exemple simple ci-dessous permet d'empêcher tous les robots de visiter le <A class="couleur1" href="?Id=640" title="Répertoire">Répertoire /secret. User-agent: * Disallow: /secret
En savoir plus.