Avec ou sans robots.txt

Résolu
lautre - 9 févr. 2010 à 11:13
djGG Messages postés 221 Date d'inscription jeudi 7 mai 2009 Statut Membre Dernière intervention 18 février 2015 - 9 févr. 2010 à 14:19
Bonjour,

Une petite question: J'ai mis un site internet en ligne. Tant que celui-ci était en travaux, j'avais mis un fichier robots.txt qui interdisait l'accès de tout le site à tous les robots. Maintenant que le site est terminé, je l'ai tout simplement enlevé. Ai je tord, aurais-je du mettre un commande autorisant la visite de toute les pages?

Si vous pouviez m'éclairer.

Merci.

2 réponses

Réponse 1 / 2
jambarr Messages postés 10 Date d'inscription jeudi 4 février 2010 Statut Membre Dernière intervention 9 février 2010 2
9 févr. 2010 à 11:55
Dans mes projets d'habitude quand il n'ya pas d'instructions spécifiques pour interdire certaisn accès je ne mets pas de fichier robot.txt

par défaut un robot parcourt tous les liens sauf ceux qu'on lui interdit !
2
Réponse 2 / 2
djGG Messages postés 221 Date d'inscription jeudi 7 mai 2009 Statut Membre Dernière intervention 18 février 2015 36
9 févr. 2010 à 14:19
bonjour,
un merci aurait été sympa pour la personne qui t'a répondu en plus de mettre ton sujet en résolu
cdlt
0

Discussions similaires

ou trouver le robots.txt chez hostinger
flexi2202 -
flexi2202 -

5 réponses
Robots.txt, un fichier important
bg62 -
bg62 -

0 réponse