robot.txt: c'est quoi ça ? Fermé

Question

Bonjour, 

J'ai décidé de créer mon site internet sur Jimdo. Ceci étant fait, je m'informe sur le référencement (je suis TOTALEMENT novice) et j'ai cru comprendre qu'il fallait attendre un certain temps avant que notre site apparaisse sur Google...
Or quand je tape site:nomdusite.com, je tombe sur mon site mais dans la description il y a marqué qu'elle n'est pas disponible à cause du robot.txt.Quand je clique sur robot.txt, je tombe là dessus : 
User-agent: *
Disallow: /

Je veux que mon site apparaisse sur google (l'intégralité), mais j'ai cru comprendre que "disallow :/" signifiait qu'on ne pouvait pas le trouver ?... Cela fait quelques heures que j'ai créer le site. 
Je ne comprend pas grand chose à ce système de robot.. Je dois laisser comme ça et attendre ou bien il faut que je modifie quelque chose ?

merci !

Configuration: Windows / Chrome 38.0.2125.111

elgazar · Answer

le fichier robot.txt permet de donner des indications aux robots des moteurs de recherche qui vont indexer ton site.
Avec ce fichier tu peux donc dire aux moteurs de recherche de ne pas indexer telle page ou tel dossier
par exemple

User-Agent: *    
Disallow: /mondossier/page.html
Disallow: /admin/

signifie que tous les robots ( le signe * signifiant tous les moteurs) ne doivent pas indexer le fichier page.html qui se trouve dans le répertoire mondossier ni le dossier admin mais qu'ils peuvent indexer tous les autres fichiers qu'ils trouvent sur le site


tu peux aussi personnaliser en mettant le nom du robot

User-Agent: googlebot    
Disallow: /dossier/page.html
Disallow: /admin/

dans cet exemple, seul le robot de google ne devra pas indexer le fichier et le dossier, les robots des autres moteurs peuvent le faire

agathe · Answer

Merci mais malheureusement ça ne répond pas à ma question.
Dans mon cas, avec marqué dissalow : / mon site va-t-il est indexé ? Si non comment y remedier avec l'interface Jimdo ?

bg62 · Answer

lut;)
voir ici:
https://forums.commentcamarche.net/forum/affich-37584840-robots-txt-un-fichier-important
tu as ceci :
'  
 User-agent: *
Disallow: / 
,
ce qui  veut donc  dire que pour tous les moteurs, tous les bots, au moins ceux qui respectent ce protocole, comme Google et autres moteurs de recherche et d'indexation ... 
tu leur ' interdis ' ... tout = ils n'explorent donc rien :)

ton site ne sera donc pas indexé dans ce cas
Pour qu'il le soit il faudrait le modifier de cette manière, au moins:
'  ' 
( --> Un fichier robots.txt vide ou inexistant aura une conséquence identique. et donc permettra les visites Et l'indexation )

attention également aux fautes d'orthographe ...

elgazar · Answer

pour répondre a ta question, j'ai trouvé une réponse hallucinante d'un responsable jimdo, cette réponse date de 3 ans donc elle n'est pas forcément toujours d'actualité

At the moment, we have a spam blocker on new JimdoPages that prevents those sites from being indexed by Google. So what we recommend is that you add content to the site and show some activity on it. When our system picks up the activity, the robots.txt file should change toUser-agent: *Allow: /and your site should be indexed by Google.

en gros, ils disent qu'il faut  ajouter du contenu et montrer une certaine activité sur ton site (sans plus de précision), au bout d'un moment la plateforme changera automatiquement le robots.txt et autorisera l'indexation de toutes les pages

Robot.txt: c'est quoi ça ?

4 réponses