[robots] fichier robots.txt

Salut,

à quoi servent les fichiers robots.txt

A indiquer aux robots des moteurs de recherche quelles sections de ton site peuvent être indexées (ou non).

Faut-il le créer soi même, où faut-il le placer, que doit-il contenir ?

Oui, à la racine de ton site, et... ça dépend de ce que tu veux :)

Plus d'infos ici :
http://www.commentcamarche.net/web/robots-txt.php3
http://www.robotstxt.org/wc/robots.html
http://docs.abondance.com/robots.html

A+

Hello la chicane,

Ce fichier n'est pas forcément inutile si tu ne veux exclure aucune page de l'indexation de ton site.
Tu peux par exemple t'en servir pour déclarer ton fichier sitemaps (utile pour le référencement).

Plus d'infos ici :
https://www.webrankinfo.com/forum/t/nouvelle-ligne-sitemap-dans-le-fichier-robots-txt.71380/

Bonjour à tous,

j'ai cherché une réponse à ma question, avant de la poser bêtement... et peut être l'ais je trouvée ici...

je m'interrogeais quant au fichier "robots.txt"
dans le premier lien que SirHill donne, à savoir http://www.commentcamarche.net/web/robots txt.php3 , j'ai lu ceci

Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :
User-Agent: *
Disallow:

cela signifie-t-il que si l'on souhaite n'exclure aucune page, un fichier robots.txt est inutile ???

merci pour votre réponse.