Configuration du Robots.txt
No-One
-
bonviva1 Messages postés 3 Date d'inscription Statut Membre Dernière intervention -
bonviva1 Messages postés 3 Date d'inscription Statut Membre Dernière intervention -
Bonjour!
J'ai un site web et mon robots.txt bloque toutes les pages.
Je voudrais le configurer pour qu'il bloque toutes les pages mais qu'il laisse l'accès à la page d'index du site.
Je m'explique : imaginons que mon site soit https://www.mackage.com/eu/en/craftsmanship
Je voudrais bloquer toutes les pages sauf l'accès au site. Juste https://www.mackage.com/eu/en/craftsmanship et pas http://www.exemple.com/index.html
En espèrant que vous me comprendrez...
J'ai un site web et mon robots.txt bloque toutes les pages.
Je voudrais le configurer pour qu'il bloque toutes les pages mais qu'il laisse l'accès à la page d'index du site.
Je m'explique : imaginons que mon site soit https://www.mackage.com/eu/en/craftsmanship
Je voudrais bloquer toutes les pages sauf l'accès au site. Juste https://www.mackage.com/eu/en/craftsmanship et pas http://www.exemple.com/index.html
En espèrant que vous me comprendrez...
A voir également:
- Configuration du Robots.txt
- Ethernet n'a pas de configuration ip valide - Guide
- Panneau de configuration - Guide
- Retablir configuration usine chromecast - Guide
- Connaitre configuration pc - Guide
- Panneau de configuration nvidia incomplet ✓ - Forum Carte graphique
8 réponses
Bonjour,
Tu ne peux pas lui dire "Interdire tout sauf ...."
C'est soit "Interdire tout" soit tu interdis par petits-bouts, par exemple :
Tu ne peux pas lui dire "Interdire tout sauf ...."
C'est soit "Interdire tout" soit tu interdis par petits-bouts, par exemple :
User-agent: * Disallow: /perso/ Disallow: /comptes/ Disallow: /membres/ Disallow: /index2.html Disallow: /menu.phpetc...
Bonjour !
C'est vraiment dommage ca m'aurait épargné un temps fou... ^^
Mais google parle de cette commande : https://developers.google.com/search/docs/advanced/robots/intro?ctx=sibling&visit_id=637165194364095924-4081275320&rd=2
Une autre question : Certains sites parlent de mettre une ligne entre les differents blocs user-agents, d'autres le déconseille fortement, qui a raison?
C'est vraiment dommage ca m'aurait épargné un temps fou... ^^
Mais google parle de cette commande : https://developers.google.com/search/docs/advanced/robots/intro?ctx=sibling&visit_id=637165194364095924-4081275320&rd=2
Une autre question : Certains sites parlent de mettre une ligne entre les differents blocs user-agents, d'autres le déconseille fortement, qui a raison?
Bonsoir
J'ai compris, je m'attrait donc à cette tache difficile...
PS : est ce que le code suivant pourrai marcher?
User-agent: *
Allow: https://www.mackage.com/eu/en/craftsmanship
Disallow: /
J'ai compris, je m'attrait donc à cette tache difficile...
PS : est ce que le code suivant pourrai marcher?
User-agent: *
Allow: https://www.mackage.com/eu/en/craftsmanship
Disallow: /
Vous n’avez pas trouvé la réponse que vous recherchez ?
Posez votre question
It understands Allow: lines, as well as * and $ pattern matching
Oui, Googlebot, mais pas les autres robots. Normalement Allow et l'étoile ne font pas partie de la syntaxe de robots.txt. $ je ne sais pas du tout à quoi il peut servir :-|
De quelle ligne parles-tu ? Une ligne vide ?
Syntaxiquement, j'ai appris qu'il ne devait y en avoir aucune dans un robots.txt.
Oui, Googlebot, mais pas les autres robots. Normalement Allow et l'étoile ne font pas partie de la syntaxe de robots.txt. $ je ne sais pas du tout à quoi il peut servir :-|
De quelle ligne parles-tu ? Une ligne vide ?
Syntaxiquement, j'ai appris qu'il ne devait y en avoir aucune dans un robots.txt.
D'ailleurs ça semble vrai :
robots txt#format
:)
Mais c'est possible que certains moteurs ont fait évoluer de leur côté le fichier robots.txt, peut-être parcequ'ils se sont rendu compte que beaucoup de Webmasters inséraient des lignes vides, ou inscrivaient Allow dans leurs fichiers. Mais à la base, Allow, l'étoile, le $, et la ligne vide n'ont rien à y faire.
Si tu tiens vraiment à ce que tes autres pages ne soient pas indexées, je te conseille de respecter la véritable syntaxe et les éléments du fichier. Car si un bot ne comprend pas, il risque d'indexer tout.
robots txt#format
:)
Mais c'est possible que certains moteurs ont fait évoluer de leur côté le fichier robots.txt, peut-être parcequ'ils se sont rendu compte que beaucoup de Webmasters inséraient des lignes vides, ou inscrivaient Allow dans leurs fichiers. Mais à la base, Allow, l'étoile, le $, et la ligne vide n'ont rien à y faire.
Si tu tiens vraiment à ce que tes autres pages ne soient pas indexées, je te conseille de respecter la véritable syntaxe et les éléments du fichier. Car si un bot ne comprend pas, il risque d'indexer tout.
Merci pour les réponses!
Je vais revoir toute la syntaxe pour qu'il puisse être le plus compréhensible possible.
Si j'ai bien récapitulé : pas de lignes vides, pas de Allow, pas de *, pas de $...
Que des Disallow... J'ai plus qu'à m'y mettre!
A la prochaine, et encore merci Yoan !
Je vais revoir toute la syntaxe pour qu'il puisse être le plus compréhensible possible.
Si j'ai bien récapitulé : pas de lignes vides, pas de Allow, pas de *, pas de $...
Que des Disallow... J'ai plus qu'à m'y mettre!
A la prochaine, et encore merci Yoan !
Si j'ai bien récapitulé : pas de lignes vides, pas de Allow, pas de *, pas de $
Normalement oui. Mais au besoin tu peux peut-être essayer de te renseigner auprès des services 'contact' de différents moteurs de recherche, pour savoir s'ils ont fait évoluer de leur côté les possibilités de robots.txt ou .....
np, à la prochaine, ciao ! :-)
Normalement oui. Mais au besoin tu peux peut-être essayer de te renseigner auprès des services 'contact' de différents moteurs de recherche, pour savoir s'ils ont fait évoluer de leur côté les possibilités de robots.txt ou .....
np, à la prochaine, ciao ! :-)
bonjour, expliquer moi comment supperimer la page en cache de la recherche ou de supperimer carrément l'affichage de mon bolg de la recherche google et autre mon blog et "guelmaz-zahana.dzblog.com" si vous pouvez le faire tout seul fait le et merci pour votre aide et autre chose j'ai fait ouvrir un fichier word et j'ai ecris ça:
User-Agent: *
Disallow: / guelmaz-zahana.dzblog.com /
et j'ai lui nommé robots.txt mais la suite je ne sais pas comment faire je ne sais pas comment lier se fichier et avec quoi et qui j'ai aucune notion aidez moi svp
User-Agent: *
Disallow: / guelmaz-zahana.dzblog.com /
et j'ai lui nommé robots.txt mais la suite je ne sais pas comment faire je ne sais pas comment lier se fichier et avec quoi et qui j'ai aucune notion aidez moi svp