Robots.txt

Très intéressant comme outil effectivement, mais il me trouve une erreur sur une ligne, alors qu'elle est écrite pareil que les autres !!?

C'est bizarre, il me trouvait une erreur à la dernière ligne. Il a suffit que je passe une ligne (Entrer), pour en avoir une 6ème, vide, et maintenant, plus d'erreur. Tu as une explication pour ça, ou c'est juste le log qui débloque?

Merci pour le comment. J'étais déjà allé là, mais je comprends pas, il me trouve le robots, il me met un code 200 (réussi), et dans URL bloquées, il y a un "-"

Dans cette section, j'ai vu qu'il y a moyen de tester si le contenu est autorisé ou non. Bizarrement, tous mes contenus qui devraient être bloqués sont marqués comme autorisés. Pourtant, l'outil de Waelb83 m'a bien dit que mon fichier n'avait pas d'erreurs. Tu saurais pourquoi? Voilà mon texte:

User-Agent: *
Disallow: /belgique/
Disallow: /suisse/
Disallow: /france/espaceagents/
Disallow: /france/agents/

C bon, j'ai résolu ce problème là. Je pensais que google allait chercher le txt direct sur le site, mais en fait, il fallait le reproduire dans la case du haut. Désolé

Salut,

En fait, c'est pas pour protéger du contenu, c'est parce que j'ai des sous-sites miroirs du principal et je veux éviter le duplicate content (je suis en page 4 des résults, et je pense que c'est ça)

ok , puisque tu as réussi à le faire marcher il te reste plus qu'à passer le sujet en résolu :-)

Certes