Les robots sont des programmes lancés par les moteurs de recherche. Ceux-ci parcourt la toile à la recherche de page à référencer.
Nous allons voir les termes à connaître à l'aide d'un exemple:
# Fichier robot.txt
User-agent: *
Disallow: /temp/
Disallow: /admin/
Disallow: /abonnes/prix.htm
Disallow: /entravaux |
- # ; caractère déclarant une ligne de commentaire.
- User-agent: * ; concerne tous les robots.
- Disallow: /temp/ ; interdit l'accès au dossier "http://www.pourmonsite.fr/temp" et aux pages inclues.
- Disallow: /admin/ ; interdit l'accès au dossier "http://www.pourmonsite.fr/admin" et aux pages inclues.
- Disallow: /abonnes/prix.html ; interdit l'accès à la page "http://www.pourmonsite.fr/abonnes/prix.htm".
- Disallow: /entravaux ; interdit l'accès au dossier "http://www.pourmonsite.fr/entravaux", aux pages qu'il contient et au fichier "http://www.pourmonsite.com/entravaux.htm".
De manière générale:
# :
pour les commentaires.
Disallow: /nomdudossier/
interdit l'accès à ce dossier et aux pages qu'il contient. Les robots n'indexeront rien.
Disallow: /nomdudossier
interdit l'accès à ce dossier, aux pages qu'il contient et aux fichiers du même nom..
Disallow: /nomdudossier/nomdufichier.htm
interdit aux robots l'indexation de ce fichier.
Disallow: /
exclue toutes les pages de l'indexation.
Disallow:
autorise les robots à indexer toutes les pages, comme si le fichier robot.txt était vide ou inexistant.
Attention:
Ne jamais laisser de ligne vide: le robot pourrait interprêter cette espace comme étant la fin du fichier.
