Avec ou sans robots.txt
Résolu
Bonjour,
Une petite question: J'ai mis un site internet en ligne. Tant que celui-ci était en travaux, j'avais mis un fichier robots.txt qui interdisait l'accès de tout le site à tous les robots. Maintenant que le site est terminé, je l'ai tout simplement enlevé. Ai je tord, aurais-je du mettre un commande autorisant la visite de toute les pages?
Si vous pouviez m'éclairer.
Merci.
Une petite question: J'ai mis un site internet en ligne. Tant que celui-ci était en travaux, j'avais mis un fichier robots.txt qui interdisait l'accès de tout le site à tous les robots. Maintenant que le site est terminé, je l'ai tout simplement enlevé. Ai je tord, aurais-je du mettre un commande autorisant la visite de toute les pages?
Si vous pouviez m'éclairer.
Merci.
Configuration: Windows XP Firefox 3.6
2 réponses
-
Dans mes projets d'habitude quand il n'ya pas d'instructions spécifiques pour interdire certaisn accès je ne mets pas de fichier robot.txt
par défaut un robot parcourt tous les liens sauf ceux qu'on lui interdit !
-
bonjour,
un merci aurait été sympa pour la personne qui t'a répondu en plus de mettre ton sujet en résolu
cdlt
