Redirection robots.txt pour Résolu/Fermé

Question

Bonjour,

Je suis actuellement en train de travailler sur un de mes noms de domaine, et j'aimerais lui attribuer un robots.txt qui lui est propre (qui désactive toutes les pages du site pour le moment). Pour qu'il n'aille pas chercher le robots.txt des autres domaines, je cherche donc à faire une redirection du fichiers robot.txt 
Seulement, cela n'a pas l'air de marcher. Google me ressort toujours le robots.txt général. 

Voici le code que j'ai inséré dans mon .htaccess

RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.nom-site.com$
RewriteRule ^robots\.txt$ robots-site.txt

Le code de mon robots-site.txt

User-agent: *
Disallow: /

Ai-je fait une erreur de syntaxe ? Sur internet, je trouve de tout, ce n'est jamais pareil nulle part...
Et dois-je mettre le code du .htaccess dans la balise <IfModule mod_rewrite.c> ou en dehors ? Si oui et que "RewriteEngine on" y est déjà renseigné pour d'autres arguments, dois-je le réécrire ?

Et il y a t-il un moyen de vérifier directement si ça marche, au lieu d'attendre Googlebot ? En allant à mon adresse www.nom-site.com/robots.txt, la redirection devrait-elle se faire toute seule ?

En vous remerciant.

bg62 · Answer

pourquoi chercher des redirections dans un fichier txt alors que tout se passe via le .htaccess ???
et pour tester suffit de voir en ligne ;)

laetitia.cham · Answer

Hé bien je me suis fiée à ce site (et à d'autres)
http://robots-txt.com/ressources/robots-txt-sous-domaine/

qui explique comment définir un robots.txt particulier à un nom de domaine, et que ça se passe dans le .htaccess

N'est-ce pas la bonne méthode ?

Et que dois-je voir en ligne ?

skywebfr · Answer

Bonjour
Je suppose que tu as plusieurs domaines qui ont un répertoire root (document_root) en commun.
Ce que tu pourrais faire, c'est générer le robot.txt en PHP qui lui génère le contenu en fonction du domaine.

Exemple du fichier htaccess
RewriteEngine onRewriteRule ^robots\.txt$   /robots\.php [L]

Exemple du fichier robots.php
<?phpif(!empty($_SERVER['HTTP_HOST']) && $_SERVER['HTTP_HOST'] == 'tondomaine.com'){echo 'User-agent: *'."
";echo 'Disallow: / ';}?>

De cette manière, plus la peine de faire des redirections compliqués.

laetitia.cham · Answer

Bonjour,

Merci pour votre réponse.

En fait oui, tous mes domaines sont hébergés sur OVH, reliés à Drupal et utilisent le même template, etc

J'ai modifié mon .htaccess et créé un robots.php avec vos codes, en remplaçant par mon nom de domaine (d'ailleurs dois-je mettre les "www" devant mon nom de domaine ou est-ce sans importance ?).

Comment puis-je voir directement si l'exception s'applique bien ? 
Car quand je me rends sur www.mon-site.com/robots.txt, je ne suis pas redirigées vers le robots.php

Merci

skywebfr · Answer

Bonjour
Ce n'est pas une redirection ici.
robots.txt affichera le contenu de robots.php

Plus d'information sur les .htaccess ici ainsi que l'url rewriting : 
https://g-rossolini.developpez.com/tutoriels/seo/reecriture-url/

Dans le cas de figure actuelle, imaginons le domaine www.unsiteweb.fr et blog.unsiteweb.fr
Le code PHP deviendra : 

<?phpif(!empty($_SERVER['HTTP_HOST']) && $_SERVER['HTTP_HOST'] == 'blog.unsiteweb.fr'){echo 'User-agent: *'."
";echo 'Disallow: / ';}?>

Le www est IMPORTANT (rectification).

On test le robots.txt en allant voir la page : 
blog.unsiteweb.fr/robots.txt
et
www.unsiteweb.fr/robots.txt

skywebfr · Answer

Mise à jours de mon précédent message: le www EST important !

laetitia.cham · Answer

Si je comprends bien, le bot n'entrera donc plus sur mon robots.txt mais sur le robots.php, qui, lui, devra contenir les règles pour TOUS mes sites + l'exception voulue pour le site dont je veux cacher les pages, c'est bien cela ?

Du coup, dois-je toujours garder mon robots.txt ? Et que doit-il contenir si tout se trouve dans le robots.php ?

Aussi, quand je teste mon robots.txt dans le navigateur, il m'affiche toujours l'ancien, et non le php.. :(

skywebfr · Answer

Il faut gérer plusieurs domaines, mon code est juste un exemple.
Par exemple, voici le code pour plusieurs domaines : <?php$host = $_SERVER['HTTP_HOST'];switch($host){case 'blog.unsiteweb.fr':echo 'User-agent: *'."
";echo 'Disallow: / ';break;case 'www.unsiteweb.fr':echo 'User-agent: *'."
";echo 'Disallow: /cg-bin/ ';break; case 'www.unautresupersite.com':// contenu vide ...break;// etc...}?>

EDIT : Il n'est plus nécessaire d'avoir le fichier robots.txt car c'est le robots.php qui le remplace.

laetitia.cham · Answer

Merci pour votre réponse. Aïe du PHP, je ne connais pas bien ce langage.. ^^' Si tout le reste est pareil pour tous les domaines, je suppose que je n'ai pas besoin du switch case ni de la valeur $host. Voilà, donc pour résumer, j'ai RewriteEngine on RewriteRule ^robots\.txt$ /robots\.php [L] dans mon htaccess (hors balises ), et mon robots.php ainsi : Pas d'erreur ? Comment voir si ça fonctionne ? Merci

bg62 · Answer

non ce n'est pas du PHP ....  :)
et c'est quoi encore ce 'robot.php' ???
pour voir et ester suffit de le mettre en ligne ...

laetitia.cham · Answer

Pour le robots.php, je teste la solution de skywwebfr (messages plus haut)...

Pourquoi dire que tout se passe dans le htaccess ? On peut y indiquer directement aux robots de ne passer dans aucune page d'un nom de domaine spécifique ? Si oui, alors je veux bien savoir comment car je débute un peu dans le sujet... :-/

Et pour le test, je ne vois pas où ça me dit que les robots ne passent plus dans les pages, comme je le lui ai indiqué. A part attendre qu'il repasse pour voir via Google Webmaster Tool.. mais il faut attendre.. :/

bg62 · Answer

" indiquer directement aux robots de ne passer dans aucune page d'un nom de domaine spécifique ?  " oui mais pas pour faire une redirection ....
je t'ai déjà mis les liens nécessaires :
https://forums.commentcamarche.net/forum/affich-37584840-robots-txt-un-fichier-important
etc etc  ....
prends le temps de les lire  :)

Redirection robots.txt pour

12 réponses

Discussions similaires