Problème de code avec robots.txt

Garance -  
bg62 Messages postés 23433 Date d'inscription   Statut Modérateur Dernière intervention   -
S'il vous plait, un petit coup de pouce ...

Je veux changer des noms de pages pour les rendre plus pertinentes.
Je voudrai dire à google de ne plus indexer les anciennes mais les nouvelles
mais je ne sais pas de quelle manière de le faire

1/
Dans mon fichier: robox.tx je lui indique donc de ne plus indexer ces anciennes pages par:

User-agent: *
Disallow: /theme/abeille/theme2.htm
/theme/abeille/theme3.htm
/theme/alabordage/theme2.htm
etc....

OU de cette manière:

User-agent: *
Disallow: /theme/abeille/theme2.htm

User-agent: *
Disallow: /theme/abeille/theme3.htm

User-agent: *
Disallow: /theme/alabordage/theme2.htm

Laquelle des deux?

Et pour le chemin de l'url en vrai c'est www.mon-site.com/theme/alabordage/theme2.htm

Est-ce que je le mets en entier ou comme dans l'exemple ci dessus?

2./

Je sais que google n'aime pas que les pages disparaissent comme cela.
Donc pendant un certain temps je garde les nouvelles et les anciennes mais dans le code source des anciennes pages je mets un «nofollow»?

3./ J'informe google des nouvelles pages par le sitemap?
Y a t-il hormis le sitemap un autre moyen de prévenir google des nouvelles pages?
Par outils pour weebmaster?

De plus, est ce que Yahoo prend en compte les robots.txt?

Merci d'avance pour vos réponses.
Garance

1 réponse

  1. bg62 Messages postés 23433 Date d'inscription   Statut Modérateur Dernière intervention   2 435
     
    https://forums.commentcamarche.net/forum/affich-37584840-robots-txt-un-fichier-important
    mais ce n'est pas la solution 'ultime'...
    ensuite il faut recréer ton sitemap, le re-soumettre, demander une révision du site ... etc etc ... sinon ce sera peut-être bon dans x mois ....
    donc sitemap via gwt
    et pour yahoo! oui ... mais ... il fonctionne différemment pour le sitemap (urllist.txt à mettre dans le ficher robots.txt)
    les choses peuvent aller très vite ... en suivant les bonnes méthodes :-)
    sinon patienter ... x temps !
    0
    1. Garance
       
      Déjà beaucoup d'avoir pris le temps de me répondre.
      C'est vraiment sympa.
      Donc en gros tu me dis que je dois soumettre mon site à un nouvel examen?
      Pour LE sitemap je leur enverrai le nouveau.
      Par contre c'est quoi "via GWT3?

      Pour yahoo
      Je dois faire un copié/ Collé de mon fichier robots.txt et après l'enregistrer sous le nom
      urllist.txt?

      Mais tu ne m'as rien dit concernant le code à rentrer sur robots.txt.
      Je mets quel code

      User-agent: *
      Disallow: /theme/abeille/theme2.htm
      /theme/abeille/theme3.htm
      Ou
      User-agent: *
      Disallow: /theme/abeille/theme2.htm

      User-agent: *
      Disallow: /theme/abeille/theme3.htm

      De plus le chemin exacte de ma page est www.mon-site.com/theme/abeille/theme3.htm
      Donc autre question
      est ce que je rentre l'adresse en entiere
      comme ceci:

      User-agent: *
      Disallow: /www.mon-site.com/theme/abeille/theme3.htm

      Ou comme cela
      User-agent: *
      Disallow: /theme/abeille/theme

      De plus on m'a parlé de faire un fichier pour redigirer les futures pages manquantes.
      Tu en sais plus???
      Merci vraiment pour ton aide.
      0
    2. bg62 Messages postés 23433 Date d'inscription   Statut Modérateur Dernière intervention   2 435
       
      gwt = google webmasters tools
      pout yahoo le sitemap n'est pas du tout semblable, c'est un fichier txt avec uniquement le liste des urls pour la config du fichier robots.txt tu l'as dans le lien fourni
      et oui ... il faudra re-soumettre le site ET les sitemaps à l'ensemble des moteurs
      :-)
      0