Configuration du Robots.txt
Fermé
No-One
-
23 juil. 2007 à 22:00
bonviva1 Messages postés 3 Date d'inscription mercredi 22 octobre 2003 Statut Membre Dernière intervention 8 décembre 2007 - 5 déc. 2007 à 11:23
bonviva1 Messages postés 3 Date d'inscription mercredi 22 octobre 2003 Statut Membre Dernière intervention 8 décembre 2007 - 5 déc. 2007 à 11:23
A voir également:
- Configuration du Robots.txt
- Ethernet n'a pas de configuration ip valide - Guide
- Panneau de configuration - Guide
- Configuration chromecast - Guide
- Retablir configuration usine chromecast - Guide
- Connaitre configuration pc - Guide
8 réponses
Yoan
Messages postés
11795
Date d'inscription
mardi 1 février 2005
Statut
Modérateur
Dernière intervention
10 décembre 2023
2 330
24 juil. 2007 à 13:58
24 juil. 2007 à 13:58
Bonjour,
Tu ne peux pas lui dire "Interdire tout sauf ...."
C'est soit "Interdire tout" soit tu interdis par petits-bouts, par exemple :
Tu ne peux pas lui dire "Interdire tout sauf ...."
C'est soit "Interdire tout" soit tu interdis par petits-bouts, par exemple :
User-agent: * Disallow: /perso/ Disallow: /comptes/ Disallow: /membres/ Disallow: /index2.html Disallow: /menu.phpetc...
Bonjour !
C'est vraiment dommage ca m'aurait épargné un temps fou... ^^
Mais google parle de cette commande : https://developers.google.com/search/docs/advanced/robots/intro?ctx=sibling&visit_id=637165194364095924-4081275320&rd=2
Une autre question : Certains sites parlent de mettre une ligne entre les differents blocs user-agents, d'autres le déconseille fortement, qui a raison?
C'est vraiment dommage ca m'aurait épargné un temps fou... ^^
Mais google parle de cette commande : https://developers.google.com/search/docs/advanced/robots/intro?ctx=sibling&visit_id=637165194364095924-4081275320&rd=2
Une autre question : Certains sites parlent de mettre une ligne entre les differents blocs user-agents, d'autres le déconseille fortement, qui a raison?
Bonsoir
J'ai compris, je m'attrait donc à cette tache difficile...
PS : est ce que le code suivant pourrai marcher?
User-agent: *
Allow: https://www.mackage.com/eu/en/craftsmanship
Disallow: /
J'ai compris, je m'attrait donc à cette tache difficile...
PS : est ce que le code suivant pourrai marcher?
User-agent: *
Allow: https://www.mackage.com/eu/en/craftsmanship
Disallow: /
Yoan
Messages postés
11795
Date d'inscription
mardi 1 février 2005
Statut
Modérateur
Dernière intervention
10 décembre 2023
2 330
24 juil. 2007 à 22:22
24 juil. 2007 à 22:22
Malheureusement Allow n'existe pas :)
Vous n’avez pas trouvé la réponse que vous recherchez ?
Posez votre question
Yoan
Messages postés
11795
Date d'inscription
mardi 1 février 2005
Statut
Modérateur
Dernière intervention
10 décembre 2023
2 330
25 juil. 2007 à 15:09
25 juil. 2007 à 15:09
It understands Allow: lines, as well as * and $ pattern matching
Oui, Googlebot, mais pas les autres robots. Normalement Allow et l'étoile ne font pas partie de la syntaxe de robots.txt. $ je ne sais pas du tout à quoi il peut servir :-|
De quelle ligne parles-tu ? Une ligne vide ?
Syntaxiquement, j'ai appris qu'il ne devait y en avoir aucune dans un robots.txt.
Oui, Googlebot, mais pas les autres robots. Normalement Allow et l'étoile ne font pas partie de la syntaxe de robots.txt. $ je ne sais pas du tout à quoi il peut servir :-|
De quelle ligne parles-tu ? Une ligne vide ?
Syntaxiquement, j'ai appris qu'il ne devait y en avoir aucune dans un robots.txt.
Yoan
Messages postés
11795
Date d'inscription
mardi 1 février 2005
Statut
Modérateur
Dernière intervention
10 décembre 2023
2 330
25 juil. 2007 à 15:17
25 juil. 2007 à 15:17
D'ailleurs ça semble vrai :
robots txt#format
:)
Mais c'est possible que certains moteurs ont fait évoluer de leur côté le fichier robots.txt, peut-être parcequ'ils se sont rendu compte que beaucoup de Webmasters inséraient des lignes vides, ou inscrivaient Allow dans leurs fichiers. Mais à la base, Allow, l'étoile, le $, et la ligne vide n'ont rien à y faire.
Si tu tiens vraiment à ce que tes autres pages ne soient pas indexées, je te conseille de respecter la véritable syntaxe et les éléments du fichier. Car si un bot ne comprend pas, il risque d'indexer tout.
robots txt#format
:)
Mais c'est possible que certains moteurs ont fait évoluer de leur côté le fichier robots.txt, peut-être parcequ'ils se sont rendu compte que beaucoup de Webmasters inséraient des lignes vides, ou inscrivaient Allow dans leurs fichiers. Mais à la base, Allow, l'étoile, le $, et la ligne vide n'ont rien à y faire.
Si tu tiens vraiment à ce que tes autres pages ne soient pas indexées, je te conseille de respecter la véritable syntaxe et les éléments du fichier. Car si un bot ne comprend pas, il risque d'indexer tout.
Merci pour les réponses!
Je vais revoir toute la syntaxe pour qu'il puisse être le plus compréhensible possible.
Si j'ai bien récapitulé : pas de lignes vides, pas de Allow, pas de *, pas de $...
Que des Disallow... J'ai plus qu'à m'y mettre!
A la prochaine, et encore merci Yoan !
Je vais revoir toute la syntaxe pour qu'il puisse être le plus compréhensible possible.
Si j'ai bien récapitulé : pas de lignes vides, pas de Allow, pas de *, pas de $...
Que des Disallow... J'ai plus qu'à m'y mettre!
A la prochaine, et encore merci Yoan !
Yoan
Messages postés
11795
Date d'inscription
mardi 1 février 2005
Statut
Modérateur
Dernière intervention
10 décembre 2023
2 330
26 juil. 2007 à 01:28
26 juil. 2007 à 01:28
Si j'ai bien récapitulé : pas de lignes vides, pas de Allow, pas de *, pas de $
Normalement oui. Mais au besoin tu peux peut-être essayer de te renseigner auprès des services 'contact' de différents moteurs de recherche, pour savoir s'ils ont fait évoluer de leur côté les possibilités de robots.txt ou .....
np, à la prochaine, ciao ! :-)
Normalement oui. Mais au besoin tu peux peut-être essayer de te renseigner auprès des services 'contact' de différents moteurs de recherche, pour savoir s'ils ont fait évoluer de leur côté les possibilités de robots.txt ou .....
np, à la prochaine, ciao ! :-)
bonviva1
Messages postés
3
Date d'inscription
mercredi 22 octobre 2003
Statut
Membre
Dernière intervention
8 décembre 2007
5 déc. 2007 à 11:23
5 déc. 2007 à 11:23
bonjour, expliquer moi comment supperimer la page en cache de la recherche ou de supperimer carrément l'affichage de mon bolg de la recherche google et autre mon blog et "guelmaz-zahana.dzblog.com" si vous pouvez le faire tout seul fait le et merci pour votre aide et autre chose j'ai fait ouvrir un fichier word et j'ai ecris ça:
User-Agent: *
Disallow: / guelmaz-zahana.dzblog.com /
et j'ai lui nommé robots.txt mais la suite je ne sais pas comment faire je ne sais pas comment lier se fichier et avec quoi et qui j'ai aucune notion aidez moi svp
User-Agent: *
Disallow: / guelmaz-zahana.dzblog.com /
et j'ai lui nommé robots.txt mais la suite je ne sais pas comment faire je ne sais pas comment lier se fichier et avec quoi et qui j'ai aucune notion aidez moi svp
