► Google Robots Txt :

1. GOOGLE ROBOTS TXT :
google robots txt :
N'autorise que google (google robots txt) à indexer votre site :
User-agent: Google
Disallow:



outils pour webmaster google robots txt :

Demande spéciale de suppression de contenu
Google par ses « outils pour webmaster », permet de demander la suppression urgente d’une ou plusieurs pages de son index.
Cette demande est pratiquement irréversible !


2. GOOGLE ROBOTS TXT :
google robots txt :Chaque spider comme celui de google (google robots txt) doit être appellé par son nom :
- Slurp pour Inktomi
- Googlebot pour Google
- Scooter ou Mercator pour Altavista…



User-agent google robots txt :

Google utilise plusieurs robots différents (user-agents). Le robot pour les recherches Web s'appelle Googlebot. Les autres robots, sont par exemple Googlebot-Mobile et Googlebot-Image...


3. GOOGLE ROBOTS TXT :
Certains webmasters mettent en place une stratégie d'optimisation à destination de Google en créant des répertoires spécifiques et interdire les autres...
Les différentes sections du fichier robots.txt doivent être séparées l'une de l'autre et ne sont pas interdépendantes.

Exemple seules les URL correspondant au /admin/ sont bloquées pour Googlebot :
User-agent: *
Disallow: /dossier1/

User-agent: Googlebot
Disallow: /admin/






meta google robots txt :

Pour Google, Yahoo, Microsoft et d’autres moteurs, la balise
interdit l’indexation de la page. Elle n’apparaîtra donc pas dans leurs résultats de recherche.


4. GOOGLE ROBOTS TXT :
robot-id: googlebot
robot-name: Googlebot
robot-cover-url: http://www.googlebot.com/
robot-details-url: http://www.googlebot.com/bot.html
robot-owner-name: Google Inc.
robot-owner-url: http://www.google.com/
robot-owner-email: googlebot@google.com
robot-status: active
robot-purpose: indexing
robot-type: standalone
robot-platform: Linux
robot-availability: none
robot-exclusion: yes
robot-exclusion-useragent: googlebot
robot-noindex: yes
robot-host: googlebot.com
robot-from: yes
robot-useragent: Googlebot/2.X (+http://www.googlebot.com/bot.html)
robot-language: c++
robot-description: Google's crawler
robot-history: Developed by Google Inc
robot-environment: commercial
modified-date: Thu Mar 29 21:00:07 PST 2001
modified-by: googlebot@google.com