Robot.txt: c'est quoi ça ?
agathe
-
bg62 Messages postés 23733 Date d'inscription Statut Modérateur Dernière intervention -
bg62 Messages postés 23733 Date d'inscription Statut Modérateur Dernière intervention -
Bonjour,
J'ai décidé de créer mon site internet sur Jimdo. Ceci étant fait, je m'informe sur le référencement (je suis TOTALEMENT novice) et j'ai cru comprendre qu'il fallait attendre un certain temps avant que notre site apparaisse sur Google...
Or quand je tape site:nomdusite.com, je tombe sur mon site mais dans la description il y a marqué qu'elle n'est pas disponible à cause du robot.txt.Quand je clique sur robot.txt, je tombe là dessus :
User-agent: *
Disallow: /
Je veux que mon site apparaisse sur google (l'intégralité), mais j'ai cru comprendre que "disallow :/" signifiait qu'on ne pouvait pas le trouver ?... Cela fait quelques heures que j'ai créer le site.
Je ne comprend pas grand chose à ce système de robot.. Je dois laisser comme ça et attendre ou bien il faut que je modifie quelque chose ?
merci !
J'ai décidé de créer mon site internet sur Jimdo. Ceci étant fait, je m'informe sur le référencement (je suis TOTALEMENT novice) et j'ai cru comprendre qu'il fallait attendre un certain temps avant que notre site apparaisse sur Google...
Or quand je tape site:nomdusite.com, je tombe sur mon site mais dans la description il y a marqué qu'elle n'est pas disponible à cause du robot.txt.Quand je clique sur robot.txt, je tombe là dessus :
User-agent: *
Disallow: /
Je veux que mon site apparaisse sur google (l'intégralité), mais j'ai cru comprendre que "disallow :/" signifiait qu'on ne pouvait pas le trouver ?... Cela fait quelques heures que j'ai créer le site.
Je ne comprend pas grand chose à ce système de robot.. Je dois laisser comme ça et attendre ou bien il faut que je modifie quelque chose ?
merci !
4 réponses
pour répondre a ta question, j'ai trouvé une réponse hallucinante d'un responsable jimdo, cette réponse date de 3 ans donc elle n'est pas forcément toujours d'actualité
en gros, ils disent qu'il faut ajouter du contenu et montrer une certaine activité sur ton site (sans plus de précision), au bout d'un moment la plateforme changera automatiquement le robots.txt et autorisera l'indexation de toutes les pages
At the moment, we have a spam blocker on new JimdoPages that prevents those sites from being indexed by Google. So what we recommend is that you add content to the site and show some activity on it. When our system picks up the activity, the robots.txt file should change to
User-agent: *
Allow: /
and your site should be indexed by Google.
en gros, ils disent qu'il faut ajouter du contenu et montrer une certaine activité sur ton site (sans plus de précision), au bout d'un moment la plateforme changera automatiquement le robots.txt et autorisera l'indexation de toutes les pages
le fichier robot.txt permet de donner des indications aux robots des moteurs de recherche qui vont indexer ton site.
Avec ce fichier tu peux donc dire aux moteurs de recherche de ne pas indexer telle page ou tel dossier
par exemple
User-Agent: *
Disallow: /mondossier/page.html
Disallow: /admin/
signifie que tous les robots ( le signe * signifiant tous les moteurs) ne doivent pas indexer le fichier page.html qui se trouve dans le répertoire mondossier ni le dossier admin mais qu'ils peuvent indexer tous les autres fichiers qu'ils trouvent sur le site
tu peux aussi personnaliser en mettant le nom du robot
User-Agent: googlebot
Disallow: /dossier/page.html
Disallow: /admin/
dans cet exemple, seul le robot de google ne devra pas indexer le fichier et le dossier, les robots des autres moteurs peuvent le faire
Avec ce fichier tu peux donc dire aux moteurs de recherche de ne pas indexer telle page ou tel dossier
par exemple
User-Agent: *
Disallow: /mondossier/page.html
Disallow: /admin/
signifie que tous les robots ( le signe * signifiant tous les moteurs) ne doivent pas indexer le fichier page.html qui se trouve dans le répertoire mondossier ni le dossier admin mais qu'ils peuvent indexer tous les autres fichiers qu'ils trouvent sur le site
tu peux aussi personnaliser en mettant le nom du robot
User-Agent: googlebot
Disallow: /dossier/page.html
Disallow: /admin/
dans cet exemple, seul le robot de google ne devra pas indexer le fichier et le dossier, les robots des autres moteurs peuvent le faire
Merci mais malheureusement ça ne répond pas à ma question.
Dans mon cas, avec marqué dissalow : / mon site va-t-il est indexé ? Si non comment y remedier avec l'interface Jimdo ?
Dans mon cas, avec marqué dissalow : / mon site va-t-il est indexé ? Si non comment y remedier avec l'interface Jimdo ?
lut;)
voir ici:
https://forums.commentcamarche.net/forum/affich-37584840-robots-txt-un-fichier-important
tu as ceci :
'
User-agent: *
Disallow: /
,
ce qui veut donc dire que pour tous les moteurs, tous les bots, au moins ceux qui respectent ce protocole, comme Google et autres moteurs de recherche et d'indexation ...
tu leur ' interdis ' ... tout = ils n'explorent donc rien :)
ton site ne sera donc pas indexé dans ce cas
Pour qu'il le soit il faudrait le modifier de cette manière, au moins:
' '
( --> Un fichier robots.txt vide ou inexistant aura une conséquence identique. et donc permettra les visites Et l'indexation )
attention également aux fautes d'orthographe ...
voir ici:
https://forums.commentcamarche.net/forum/affich-37584840-robots-txt-un-fichier-important
tu as ceci :
'
User-agent: *
Disallow: /
,
ce qui veut donc dire que pour tous les moteurs, tous les bots, au moins ceux qui respectent ce protocole, comme Google et autres moteurs de recherche et d'indexation ...
tu leur ' interdis ' ... tout = ils n'explorent donc rien :)
ton site ne sera donc pas indexé dans ce cas
Pour qu'il le soit il faudrait le modifier de cette manière, au moins:
' '
( --> Un fichier robots.txt vide ou inexistant aura une conséquence identique. et donc permettra les visites Et l'indexation )
attention également aux fautes d'orthographe ...
pas mal ça !!!
quand on dit et redit ... d'aller voir ailleurs ;)
..........................