Configuration robots.txt Fermé

Question

Bonjour, 

voilà j'aimerai configurer le fichier robots.txt afin que Google ne référence pas les autres pages que "index.html". Je viens de le faire et de l'uploader à la racine mais les pages infos.html et index1.html (qui n'existe plus) sont toujours référencées alors que ces lignes sont présentent dans mon fichier :

User-agent: *
Disallow: /index1.html
Disallow: /infos.html

Est-ce que quelqu'un sait d'où cela pourrait venir? Merci de votre aide!

Configuration: Windows 7 / Firefox 12.0

Max · Answer

Le robots.txt empêche l'exploration des pages et/ou répertoires mais ne garantit pas la non indexation de ceux-ci. Dans ce cas, il faut utiliser une balise meta robot (cf. http://robots-txt.com/meta-robots/ )

Dans ton cas, Google va finir par les désindexer vu qu'elles n'existent plus et répondent en 404 normalement mais cela prendra du temps.

Tu peux aussi demander à la suppression de ces URL depuis Google Webmaster Tools pour accélérer leur désindexation.

Configuration robots.txt

1 réponse

Discussions similaires