Qu'est ce que je dois mettre dans le fichier robots.txt

Résolu
dalydooo Messages postés 57 Date d'inscription   Statut Membre Dernière intervention   -  
elgazar Messages postés 5841 Date d'inscription   Statut Membre Dernière intervention   -
Bonjour,
Je veut savoir qu'est ce que je dois mettre dans le fichier robots.txt
J'ai ce code :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

est ce que je peut ajoutée ces lignes suivants :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-Agent: Googlebot
Allow: /

User-Agent: Googlebot-Mobile
Allow: /

User-Agent: Googlebot-Image
Allow: /

User-Agent: Mediapartners-Google
Allow: /

User-Agent: Adsbot-Google
Allow: /

User-Agent: Slurp
Allow: /

User-Agent: msnbot
Allow: /

User-Agent: msnbot-media
Allow: /

User-Agent: Teoma
Allow: /


ou bien qu'est ce que je dois mettre dans ce fichier

merci d'avance
A voir également:

1 réponse

elgazar Messages postés 5841 Date d'inscription   Statut Membre Dernière intervention   1 326
 
Bonjour
cela ne sert a rien de mettre des allow car si ce n'est pas interdit par disallow, c'est forcément autorisé

a ta place je ne modifierais pas le code d'origine puisqu'il interdit à tous les moteurs l'indexation de wp-admin a l'exception du fichier admin-ajax (pourquoi ce fichier ? )

Avec un ordinateur, on peut faire plus rapidement des choses qu’on n’aurait pas eu besoin de faire sans ordinateur.
0