Qu'est ce que je dois mettre dans le fichier robots.txt

Résolu/Fermé
dalydooo Messages postés 57 Date d'inscription dimanche 19 avril 2015 Statut Membre Dernière intervention 4 mars 2019 - 16 juil. 2016 à 03:15
elgazar Messages postés 5841 Date d'inscription mercredi 30 octobre 2013 Statut Membre Dernière intervention 17 mars 2021 - 16 juil. 2016 à 06:56
Bonjour,
Je veut savoir qu'est ce que je dois mettre dans le fichier robots.txt
J'ai ce code :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

est ce que je peut ajoutée ces lignes suivants :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-Agent: Googlebot
Allow: /

User-Agent: Googlebot-Mobile
Allow: /

User-Agent: Googlebot-Image
Allow: /

User-Agent: Mediapartners-Google
Allow: /

User-Agent: Adsbot-Google
Allow: /

User-Agent: Slurp
Allow: /

User-Agent: msnbot
Allow: /

User-Agent: msnbot-media
Allow: /

User-Agent: Teoma
Allow: /


ou bien qu'est ce que je dois mettre dans ce fichier

merci d'avance
A voir également:

1 réponse

elgazar Messages postés 5841 Date d'inscription mercredi 30 octobre 2013 Statut Membre Dernière intervention 17 mars 2021 1 322
Modifié par elgazar le 16/07/2016 à 07:01
Bonjour
cela ne sert a rien de mettre des allow car si ce n'est pas interdit par disallow, c'est forcément autorisé

a ta place je ne modifierais pas le code d'origine puisqu'il interdit à tous les moteurs l'indexation de wp-admin a l'exception du fichier admin-ajax (pourquoi ce fichier ? )

Avec un ordinateur, on peut faire plus rapidement des choses qu’on n’aurait pas eu besoin de faire sans ordinateur.
0