► Robots Txt :

1. ROBOTS TXT :
C’est quoi un fichier robots txt ?

Le fichier robots txt est un fichier au format texte (.txt).
Que vous placez en ftp à la racine du site, sur le serveur.
(vous le retrouverez en clair en tapant : www.monsite.com/robots.txt )



moteurs robots txt :

Le fichier robots txt contient une série d’instructions destinées à tous les robots
et/ou
Le fichier robots txt contient des instructions spécifiques pour l’un ou l’autre robot particulier.


2. ROBOTS TXT :
Contenu du fichier robots txt ?
Il permet d'indiquer les pages qui ne doivent pas être visitées (indexées) par les robots des moteurs de recherche



syntaxe robots txt :

Autoriser tous les robots à accéder à tout le site :
User-agent: *
Disallow:


3. ROBOTS TXT :
La syntaxe du robots txt est par exemple :

# robots.txt
User-agent: *
Disallow: /repertoire1/
Disallow: /repertoire2/



standard robots txt :

Le fichier Robots txt est un standard reconnu par la plupart des moteurs de recherche qui permet de leur indiquer une liste de documents ou de répertoires à ne pas indexer mais un fichier robots.txt n'est pas incontournable et certains spammeurs peuvent l'ignorer.


4. ROBOTS TXT :
La ligne : User-agent : * du robots txt
Indique que tous les moteurs sont concernés.
La ligne "Disallow : Disallow: /repertoire1/
Interdit l’accès des moteurs à tout le répertoire repertoire et donc à toutes ses pages