► Robots.txt Disallow :

1. ROBOTS.TXT DISALLOW :
robots.txt disallow :
La ligne robots.txt disallow indique les pages à bloquer.
L'entrée doit commencer par une barre oblique (/).
Pour bloquer le site dans son intégralité, insérez une barre oblique simplement :
Disallow: /



regles robots.txt disallow :

le robots.txt se présente sous un format texte (d'où l'extension txt), pèse moins de 1 Ko.
Le robots.txt se positionne à la racine du site, sur le serveur.


2. ROBOTS.TXT DISALLOW :
Quelques exemples de syntaxe :

Autoriser tous les robots à accéder à tout le site :
User-agent: *
Disallow:



standard robots.txt disallow :

Tout ce qui est écrit après le caractère # est un commentaire et sera ignoré.
Les robots respectueux des standards commencent toujours leurs visites par une (tentative de) lecture de ce fichier robots.txt


3. ROBOTS.TXT DISALLOW :
Empêcher tous les robots d'accéder au site :
User-agent: *
Disallow: /



repertoire interdits robots.txt disallow :

Interdire l’accès d’un répertoire à tous les robots :
User-agent: *
Disallow: /images/
Disallow: /cgi-bin/


4. ROBOTS.TXT DISALLOW :
Empêcher tous les robots sauf Googlebot d'accéder à un dossier en particulier, par exemple http://www.monsite.com/admin/
User-agent: *
Disallow: /admin
User-agent: googlebot
Disallow: