- ROBOT TXT : Pourquoi un fichier robot txt ?
- ROBOT TXT : Si certaines de vos données doivent être confidentielle vous pouvez être tenté d'utiliser robot txt mais attention robot txt n'est en aucun cas une solution car beaucoup de moteurs plus ou moins bienveillant ignorent robot txt.
- ROBOT TXT : Vous avez des pages en doubles, des versions imprimables ... et vous ne voulez pas être taxé de duplicate content et être pénalisé vous pouvez mieux gerer votre indexation par robot txt.
- ROBOT TXT :
Pour interdire tout ou partie de l'indexation donc de la visite de votre site par un ou plusieurs ou tous les moteurs de recherche :
ftp robot txt :
Lors du transfert de ce fichier via FTP, assurez-vous d'être en mode ASCII et que votre fichier robots soit avec l'extension .txtmeta robot txt :
La balise Meta nommée "robots" qui peut figurer dans chacune des pages peut également être utilisée pour interdire l'indexation d'une page ou plusieurs pages.syntaxes robot txt :
les espaces sont facultatifsl'utilisation des majuscules ou minuscules est sans importance la syntaxe est insensible à la casse