Suggestion : ajout d'une ressource robots.txt
Résolu
MaxRBT
Messages postés
4
Date d'inscription
Statut
Membre
Dernière intervention
-
bg62 Messages postés 23735 Date d'inscription Statut Modérateur Dernière intervention -
bg62 Messages postés 23735 Date d'inscription Statut Modérateur Dernière intervention -
Bonjour,
Le site anglais The Web Robots Pages ( robotstxt.org ) considéré comme étant la documentation officielle sur le protocole d'exclusion des robots via le fichier robots.txt n'étant plus à jour depuis quelques années (même constat sur la page WikiPedia), il existe un site d'aide mémoire en français et à jour : robots-txt.com
Le site robots-txt.com rassemble toutes les informations sur la mise en place d'un fichier robots.txt : ressources spécifiques à certains moteurs, CMS ou implémentations techniques avancées.
Cela pourrait être une bonne référence à ajouter aux dossiers suivants (qui par ailleurs font doublons sur CCM ?) :
- https://forums.commentcamarche.net/forum/affich-37584840-robots-txt-un-fichier-important
- https://www.commentcamarche.net/contents/1268-robots-txt
Cordialement
Le site anglais The Web Robots Pages ( robotstxt.org ) considéré comme étant la documentation officielle sur le protocole d'exclusion des robots via le fichier robots.txt n'étant plus à jour depuis quelques années (même constat sur la page WikiPedia), il existe un site d'aide mémoire en français et à jour : robots-txt.com
Le site robots-txt.com rassemble toutes les informations sur la mise en place d'un fichier robots.txt : ressources spécifiques à certains moteurs, CMS ou implémentations techniques avancées.
Cela pourrait être une bonne référence à ajouter aux dossiers suivants (qui par ailleurs font doublons sur CCM ?) :
- https://forums.commentcamarche.net/forum/affich-37584840-robots-txt-un-fichier-important
- https://www.commentcamarche.net/contents/1268-robots-txt
Cordialement
2 réponses
... ?
robotstxt.org est le site officiel ET en même temps LA référence ....
- le site que tu donnes "robots-txt" n'en n'est pas une du tout mais une pâle copie et un essai de traduction qui lui non plus est loin d'être à jour, puisqu'il parle encore de Yahoo! mort depuis belle lurette et regretté par pas mal de gens (pour ne prendre que cet exemple) ... donc loin, pour moi, d'être une référence sérieuse à ajouter ...
- tu es nouveau sur CCM : les liens que tu donnes sont l'un une 'astuce', l'autre un 'dossier', qui même sans être éventuellement à jour en temps réel ne peuvent pas être des 'doublons'
- un p'tit conseil personnel : si tu as assimilé (et mis à jour) tout ce qu'il y a sur ce site ... pourquoi ne pas participer plus activement au forum (webmastering) en venant aider tous ceux qui en ont besoin ?
donc ... @+
;)
robotstxt.org est le site officiel ET en même temps LA référence ....
- le site que tu donnes "robots-txt" n'en n'est pas une du tout mais une pâle copie et un essai de traduction qui lui non plus est loin d'être à jour, puisqu'il parle encore de Yahoo! mort depuis belle lurette et regretté par pas mal de gens (pour ne prendre que cet exemple) ... donc loin, pour moi, d'être une référence sérieuse à ajouter ...
- tu es nouveau sur CCM : les liens que tu donnes sont l'un une 'astuce', l'autre un 'dossier', qui même sans être éventuellement à jour en temps réel ne peuvent pas être des 'doublons'
- un p'tit conseil personnel : si tu as assimilé (et mis à jour) tout ce qu'il y a sur ce site ... pourquoi ne pas participer plus activement au forum (webmastering) en venant aider tous ceux qui en ont besoin ?
donc ... @+
;)
Yahoo! est peut-être mort mais des webmasters et des internautes sont toujours en recherche d'informations sur ce crawler, Slurp est semble-t-il toujours actif. C'est pourquoi il me semble intéressant d'en parler encore
... peut-être, mais un fichier robots.txt n'a plus aucune influence chez Yahoo! maintenant ... là est la mise à jour à faire ;)
webmasters (débutants dans ce cas) et des internautes qui vont vite finir par devoir changer leurs habitudes ... quant aux 'référenceurs' il y a belle lurette qu'ils le savent et jouent également avec des " .htaccess " ...
- Yahoo! est peut-être mort mais des webmasters et des internautes sont toujours en recherche d'informations sur ce crawler, Slurp est semble-t-il toujours actif. C'est pourquoi il me semble intéressant d'en parler encore
- J'avais bien noté la différence entre Astuces et Dossiers mais les contenus me semblaient assez similaires, c'est pourquoi j'en parlais
- J'y compte bien ! :)