Robots.txt

Résolu/Fermé

law_man Messages postés 30 Date d'inscription dimanche 3 février 2013 Statut Membre Dernière intervention 15 février 2013 - 6 févr. 2013 à 20:13
law_man Messages postés 30 Date d'inscription dimanche 3 février 2013 Statut Membre Dernière intervention 15 février 2013 - 6 févr. 2013 à 21:52

Bonjour à tous,

Comment savoir si mon robots.txt marche bien?

Je l'ai utilisé pour interdire l'indexation de certains répertoires.

Je sais qu'il faut du temps pour que google le prenne en compte, mais comment peut-on vérifier s'il est bien valable et pris en compte?

Merci à tous,

Antoine

3 réponses

Réponse 1 / 3

Profil bloqué
6 févr. 2013 à 20:21

essaie avec ca peut etre : http://www.searchenginepromotionhelp.com/m/robots-text-tester/robots-checker.php

law_man Messages postés 30 Date d'inscription dimanche 3 février 2013 Statut Membre Dernière intervention 15 février 2013
6 févr. 2013 à 20:56

Très intéressant comme outil effectivement, mais il me trouve une erreur sur une ligne, alors qu'elle est écrite pareil que les autres !!?

law_man Messages postés 30 Date d'inscription dimanche 3 février 2013 Statut Membre Dernière intervention 15 février 2013
6 févr. 2013 à 21:00

C'est bizarre, il me trouvait une erreur à la dernière ligne. Il a suffit que je passe une ligne (Entrer), pour en avoir une 6ème, vide, et maintenant, plus d'erreur. Tu as une explication pour ça, ou c'est juste le log qui débloque?

Réponse 2 / 3

inspiring Messages postés 1813 Date d'inscription vendredi 28 janvier 2011 Statut Membre Dernière intervention 31 décembre 2018 265
6 févr. 2013 à 20:22

tu va sur ton compte (ou le créer si besoin) Google Webmaster tools
tu te connecte au site que tu veux manager
là tu te rend sur le menu Etat de santé > URL Bloquées

tu aura un visuel des interdictions fournies par ton robots.txt

law_man Messages postés 30 Date d'inscription dimanche 3 février 2013 Statut Membre Dernière intervention 15 février 2013
6 févr. 2013 à 20:52

Merci pour le comment. J'étais déjà allé là, mais je comprends pas, il me trouve le robots, il me met un code 200 (réussi), et dans URL bloquées, il y a un "-"

law_man Messages postés 30 Date d'inscription dimanche 3 février 2013 Statut Membre Dernière intervention 15 février 2013
6 févr. 2013 à 21:09

Dans cette section, j'ai vu qu'il y a moyen de tester si le contenu est autorisé ou non. Bizarrement, tous mes contenus qui devraient être bloqués sont marqués comme autorisés. Pourtant, l'outil de Waelb83 m'a bien dit que mon fichier n'avait pas d'erreurs. Tu saurais pourquoi? Voilà mon texte:

User-Agent: *
Disallow: /belgique/
Disallow: /suisse/
Disallow: /france/espaceagents/
Disallow: /france/agents/

law_man Messages postés 30 Date d'inscription dimanche 3 février 2013 Statut Membre Dernière intervention 15 février 2013
6 févr. 2013 à 21:13

C bon, j'ai résolu ce problème là. Je pensais que google allait chercher le txt direct sur le site, mais en fait, il fallait le reproduire dans la case du haut. Désolé

Réponse 3 / 3

Célien Messages postés 5729 Date d'inscription jeudi 8 mai 2008 Statut Membre Dernière intervention 9 septembre 2021 1 993
6 févr. 2013 à 21:35

Salut,

- Google le prends en compte de suite quand il scanne ton site, le probleme c'est que google il passe quand il veux.

- Google et les autres "gentils" robots le prennent en compte, mais pas les méchants robot de piratage et d'aspiration d'emails de sites, de par le fait le fichier robot.txt ne sert pas à grand chose, si tu veux protéger du contenu met carrément un htaccess dessus.

law_man Messages postés 30 Date d'inscription dimanche 3 février 2013 Statut Membre Dernière intervention 15 février 2013
6 févr. 2013 à 21:41

Salut,

En fait, c'est pas pour protéger du contenu, c'est parce que j'ai des sous-sites miroirs du principal et je veux éviter le duplicate content (je suis en page 4 des résults, et je pense que c'est ça)

Célien Messages postés 5729 Date d'inscription jeudi 8 mai 2008 Statut Membre Dernière intervention 9 septembre 2021 1 993
6 févr. 2013 à 21:51

ok , puisque tu as réussi à le faire marcher il te reste plus qu'à passer le sujet en résolu :-)

law_man Messages postés 30 Date d'inscription dimanche 3 février 2013 Statut Membre Dernière intervention 15 février 2013
6 févr. 2013 à 21:52

Certes

Discussions similaires

ou trouver le robots.txt chez hostinger

Robots.txt, un fichier important