- ROBOTS TXT : C’est quoi un fichier robots txt ?
- ROBOTS TXT : Contenu du fichier robots txt ?
- ROBOTS TXT : La syntaxe du robots txt est par exemple :
- ROBOTS TXT : La ligne : User-agent : * du robots txt
Le fichier robots txt est un fichier au format texte (.txt).
Que vous placez en ftp à la racine du site, sur le serveur.
(vous le retrouverez en clair en tapant : www.monsite.com/robots.txt )
moteurs robots txt :
Le fichier robots txt contient une série d’instructions destinées à tous les robotset/ou
Le fichier robots txt contient des instructions spécifiques pour l’un ou l’autre robot particulier.
Il permet d'indiquer les pages qui ne doivent pas être visitées (indexées) par les robots des moteurs de recherche
syntaxe robots txt :
Autoriser tous les robots à accéder à tout le site :User-agent: *
Disallow:
# robots.txt
User-agent: *
Disallow: /repertoire1/
Disallow: /repertoire2/
standard robots txt :
Le fichier Robots txt est un standard reconnu par la plupart des moteurs de recherche qui permet de leur indiquer une liste de documents ou de répertoires à ne pas indexer mais un fichier robots.txt n'est pas incontournable et certains spammeurs peuvent l'ignorer.Indique que tous les moteurs sont concernés.
La ligne "Disallow : Disallow: /repertoire1/
Interdit l’accès des moteurs à tout le répertoire repertoire et donc à toutes ses pages