[robots] fichier robots.txt Résolu/Fermé

Question

Bonjour, qui peut m'expliquer à quoi servent les fichiers robots.txt Faut-il le créer soi même, où faut-il le placer, que doit-il contenir ?Merci d'avance.

pierrich · Accepted Answer

Salut

tu peux aller voir sur  http://www.commentcamarche.net/web/robots txt.php3  pour plus d'infos, ou encore  https://fr.wikipedia.org/wiki/Robots.txt . Pour un tuto je te conseille  http://craym.eu/tutoriels/referencement/fichier_robot_txt.php 

a+

SirHill · Answer

Salut,à quoi servent les fichiers robots.txt A indiquer aux robots des moteurs de recherche quelles sections de ton site peuvent être indexées (ou non).Faut-il le créer soi même, où faut-il le placer, que doit-il contenir ? Oui, à la racine de ton site, et... ça dépend de ce que tu veux :)Plus d'infos ici :http://www.commentcamarche.net/web/robots-txt.php3http://www.robotstxt.org/wc/robots.htmlhttp://docs.abondance.com/robots.htmlA+

la chicane · Answer

Bonjour à tous,

j'ai cherché une réponse à ma question, avant de la poser bêtement... et peut être l'ais je trouvée ici...

je m'interrogeais quant au fichier "robots.txt"
dans le premier lien que SirHill donne, à savoir http://www.commentcamarche.net/web/robots txt.php3 , j'ai lu ceci

Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) : 
User-Agent: *
Disallow: 

cela signifie-t-il que si l'on souhaite n'exclure aucune page, un fichier robots.txt est inutile ???

merci pour votre réponse.

webagent · Answer

Hello la chicane, 

Ce fichier n'est pas forcément inutile si tu ne veux exclure aucune page de l'indexation de ton site.
Tu peux par exemple t'en servir pour déclarer ton fichier sitemaps (utile pour le référencement).

Plus d'infos ici :
https://www.webrankinfo.com/forum/t/nouvelle-ligne-sitemap-dans-le-fichier-robots-txt.71380/

[robots] fichier robots.txt

4 réponses

Discussions similaires