[robots] fichier robots.txt

Résolu/Fermé
gdv - 2 mars 2005 à 11:08
pierrich
Messages postés
6
Date d'inscription
lundi 4 octobre 2010
Statut
Membre
Dernière intervention
4 janvier 2011
- 16 oct. 2010 à 01:35
Bonjour, qui peut m'expliquer à quoi servent les fichiers robots.txt
Faut-il le créer soi même, où faut-il le placer, que doit-il contenir ?
Merci d'avance.

4 réponses

pierrich
Messages postés
6
Date d'inscription
lundi 4 octobre 2010
Statut
Membre
Dernière intervention
4 janvier 2011
36
16 oct. 2010 à 01:35
Salut

tu peux aller voir sur
 http://www.commentcamarche.net/web/robots txt.php3 
pour plus d'infos, ou encore
 https://fr.wikipedia.org/wiki/Robots.txt 
. Pour un tuto je te conseille
 http://craym.eu/tutoriels/referencement/fichier_robot_txt.php 


a+
3
SirHill
Messages postés
4059
Date d'inscription
vendredi 19 mars 2004
Statut
Contributeur
Dernière intervention
19 avril 2020
529
2 mars 2005 à 15:20
Salut,

à quoi servent les fichiers robots.txt

A indiquer aux robots des moteurs de recherche quelles sections de ton site peuvent être indexées (ou non).


Faut-il le créer soi même, où faut-il le placer, que doit-il contenir ?

Oui, à la racine de ton site, et... ça dépend de ce que tu veux :)

Plus d'infos ici :
http://www.commentcamarche.net/web/robots-txt.php3
http://www.robotstxt.org/wc/robots.html
http://docs.abondance.com/robots.html

A+
-2
Merci SirHill, cela devient beaucoup plus clair maintenant !!
0
Hello la chicane,

Ce fichier n'est pas forcément inutile si tu ne veux exclure aucune page de l'indexation de ton site.
Tu peux par exemple t'en servir pour déclarer ton fichier sitemaps (utile pour le référencement).

Plus d'infos ici :
https://www.webrankinfo.com/forum/t/nouvelle-ligne-sitemap-dans-le-fichier-robots-txt.71380/
-2
Bonjour à tous,

j'ai cherché une réponse à ma question, avant de la poser bêtement... et peut être l'ais je trouvée ici...

je m'interrogeais quant au fichier "robots.txt"
dans le premier lien que SirHill donne, à savoir http://www.commentcamarche.net/web/robots txt.php3 , j'ai lu ceci

Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :
User-Agent: *
Disallow:


cela signifie-t-il que si l'on souhaite n'exclure aucune page, un fichier robots.txt est inutile ???

merci pour votre réponse.
-4
SHUNKA-SAPA
Messages postés
1
Date d'inscription
lundi 31 décembre 2007
Statut
Membre
Dernière intervention
31 décembre 2007

31 déc. 2007 à 18:45
Bonsoir la chicane

Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :
User-Agent: *
Disallow:

ou

User-Agent: *
Allow: /


Il peut-être utile pour faciliter l'indexation des pages d'1 site.
0