Url bloqué à cause fichier robots.txt [Résolu/Fermé]

Signaler
Messages postés
11
Date d'inscription
dimanche 10 mars 2013
Statut
Membre
Dernière intervention
7 août 2015
-
 Amineos -
Bonjour
j'ai soumis mon blog à Google outils pour webmaster et il me dit que l'url de mon blog est bloqué à cause d'un fichier robots.txt
J'ai lu sur le forum ce qui concernait ce fameux fichier et suis donc allée voir sur mon serveur, mais ne l'ai pas trouvé. Du coup je ne sais pas quoi faire pour que google accepte mon url.
merci de votre aide :)

15 réponses

Messages postés
5899
Date d'inscription
mercredi 19 janvier 2005
Statut
Contributeur
Dernière intervention
19 octobre 2020
1 285
Bonjour,

Le fichier robots.txt est un fichier qui indique aux robots qui visitent ton blog ce qu'ils doivent indexer.

Peut-être que le fichier robots.txt interdit aux robots d'indexer ton blog ou qu'il comporte des erreurs.

Si tu as créé ton blog sur une plate-forme de blog, tu n'as probablement pas la possibilité de le modifier. Dans ce cas, demande à l'administrateur de la plate-forme de le modifier ou de le vérifier.

Tu peux peut-être voir ce qu'il contient en ajoutant /robots.txt à la suite de l'adresse de ton blog dans la barre d'adresse de ton navigateur. Par exemple pour CCM : http://www.commentcamarche.net/robots.txt
Messages postés
23005
Date d'inscription
samedi 22 octobre 2005
Statut
Modérateur
Dernière intervention
23 octobre 2020
2 125
"ton blog" ... oui mais ... où et codé comment .... car certains scripts, souvent plutôt hébergeurs gratuits ou + platteformes passent par dessus pour ce genre de fichier ...
as-tu au moins un accés soit depuis ton admin, soit en ftp à ce fichier ... ????
Messages postés
11
Date d'inscription
dimanche 10 mars 2013
Statut
Membre
Dernière intervention
7 août 2015

merci pour ces conseils.
j'ai créé mon blog sous Wordpress. je suis allée voir comme tu me le suggérais sur mon serveur, j'ai ouvert tous les fichiers mais je n'ai pas trouvé de fichier robots.txt. Dans quel dossier se trouve t-il habituellement ? Du coup faut-il que je m'adresse à Wordpresse ou à mon hébergeur ?

Sinon, voici ce que je trouve lorsque je tape "monblog/robots.txt" :

User-agent: *
Disallow: /

Sitemap: http://meditation-video.net/sitemap.xml.gz

Y a t-il quelque chose qui cloche et qui pourrait expliquer le pb ?

merci !
Messages postés
5899
Date d'inscription
mercredi 19 janvier 2005
Statut
Contributeur
Dernière intervention
19 octobre 2020
1 285
Bonsoir,

Je ne vois pas de problème, ton site accepte tous les robots pour tous les dossiers.
Messages postés
11
Date d'inscription
dimanche 10 mars 2013
Statut
Membre
Dernière intervention
7 août 2015

hello,
pourtant je viens d'aller voir sur mon admin Wordpress et je trouve également un message me disant qu'actuellement mon site est bloqué :

Your blog is currently blocking search engines! Visit the privacy settings to change this.

quand je clique sur "privacy settings" j'arrive sur ma page d'accueil avec un message d'erreur me disant:

"C'est plutôt gênant, vous ne trouvez pas ?

Il semblerait que nous ne soyons pas en mesure de trouver votre contenu. Essayez en lançant une recherche, ou à l'aide de l'un des lien ci-dessous."

et quand je clique sur un des liens j'arrive bien sur la bonne page ou le bon article...
t'aurai une idée de ce qui bloque du coup ?

Merci
sylvie
Messages postés
11
Date d'inscription
dimanche 10 mars 2013
Statut
Membre
Dernière intervention
7 août 2015

Super merci pour tous ces conseils
Alors je suis allée sur mon admin Wordpress (ma page header si j'ai bien tout compris) et voici ce que j'ai en balise meta :

<?php
/**
* The Header for our theme.
*
* Displays all of the <head> section and everything up till <div id="main">
*
* @package WordPress
* @subpackage Twenty_Eleven
* @since Twenty Eleven 1.0
*/
?><!DOCTYPE html>
<!--[if IE 6]>
<html id="ie6" <?php language_attributes(); ?>>
<![endif]-->
<!--[if IE 7]>
<html id="ie7" <?php language_attributes(); ?>>
<![endif]-->
<!--[if IE 8]>
<html id="ie8" <?php language_attributes(); ?>>
<![endif]-->
<!--[if !(IE 6) | !(IE 7) | !(IE 8) ]><!-->
<html <?php language_attributes(); ?>>
<!--<![endif]-->
<head>
<meta charset="<?php bloginfo( 'charset' ); ?>" />
<meta name="viewport" content="width=device-width" />
<title><?php
/*
* Print the <title> tag based on what is being viewed.
*/
global $page, $paged;


Du coup je ne vois pas comment corriger comme tu me le proposes. Faut-il que je rajoute à la suite des autres, la balise META que tu m'as indiquée, faut-il que je les remplace ?

Désolée de toutes ces questions, mais je n'y connais vraiment rien (je crois que ça se voit d'ailleurs hihi )
Messages postés
5899
Date d'inscription
mercredi 19 janvier 2005
Statut
Contributeur
Dernière intervention
19 octobre 2020
1 285
Voici la partie <head> de ton blog :

<head>
<meta charset="UTF-8" />
<meta name="viewport" content="width=device-width" />
<title>Je médite et je me sens bien | Découvrez et profitez au quotidien des bienfaits de la méditation</title>
<link rel="profile" href="http://gmpg.org/xfn/11" />
<link rel="stylesheet" type="text/css" media="all" href="http://meditation-video.net/wp-content/themes/twentyeleven/style.css" />
<link rel="pingback" href="http://meditation-video.net/xmlrpc.php" />
<!--[if lt IE 9]>
<script src="http://meditation-video.net/wp-content/themes/twentyeleven/js/html5.js" type="text/javascript"></script>
<![endif]-->
<meta name='robots' content='noindex,nofollow' />
<link rel="alternate" type="application/rss+xml" title="Je médite et je me sens bien » Flux" href="http://meditation-video.net/feed/" />
<link rel="alternate" type="application/rss+xml" title="Je médite et je me sens bien » Flux des commentaires" href="http://meditation-video.net/comments/feed/" />
<link rel="alternate" type="application/rss+xml" title="Je médite et je me sens bien » En route vers la zénitude Flux des commentaires" href="http://meditation-video.net/en-route-vers-la-zenitude/feed/" />
<script type='text/javascript' src='http://meditation-video.net/wp-includes/js/comment-reply.min.js?ver=3.5.1'></script>
<link rel="EditURI" type="application/rsd+xml" title="RSD" href="http://meditation-video.net/xmlrpc.php?rsd" />
<link rel="wlwmanifest" type="application/wlwmanifest+xml" href="http://meditation-video.net/wp-includes/wlwmanifest.xml" /> 
<link rel='prev' title='Bibliothèque' href='http://meditation-video.net/bibliotheque/' />
<meta name="generator" content="WordPress 3.5.1" />
<link rel='canonical' href='http://meditation-video.net/' />
	<style>
		/* Link color */
		a,
		#site-title a:focus,
		#site-title a:hover,
		#site-title a:active,
		.entry-title a:hover,
		.entry-title a:focus,
		.entry-title a:active,
		.widget_twentyeleven_ephemera .comments-link a:hover,
		section.recent-posts .other-recent-posts a[rel="bookmark"]:hover,
		section.recent-posts .other-recent-posts .comments-link a:hover,
		.format-image footer.entry-meta a:hover,
		#site-generator a:hover {
			color: #4458e4;
		}
		section.recent-posts .other-recent-posts .comments-link a:hover {
			border-color: #4458e4;
		}
		article.feature-image.small .entry-summary p a:hover,
		.entry-header .comments-link a:hover,
		.entry-header .comments-link a:focus,
		.entry-header .comments-link a:active,
		.feature-slider a.active {
			background-color: #4458e4;
		}
	</style>
	<style type="text/css">
			#site-title a,
		#site-description {
			color: #1439e0 !important;
		}
		</style>
	<style type="text/css" id="custom-background-css"> 
body.custom-background { background-color: #1e73be; }
</style>
</head>


Il est probable que tu n'aies pas la main sur toutes les balises dans l'administration. Il faudrait voir avec l'administrateur de la plate-forme de blog ou sur le forum de Wordpress, comment tu peux les modifier.
Messages postés
11
Date d'inscription
dimanche 10 mars 2013
Statut
Membre
Dernière intervention
7 août 2015

OK merci beaucoup, je vais voir si je peux avoir des infos sur le forum Wordpress.
Messages postés
11
Date d'inscription
dimanche 10 mars 2013
Statut
Membre
Dernière intervention
7 août 2015

@dugenou
pour que j'apprenne quelque chose pour pouvoir m'en servir la prochaine fois :) Peux-tu me dire comment tu es arrivé à ces infos alors que je ne les vois pas dans mon admin dans Apparence puis Editeur quand je regarde la page header.php ?

Sinon, si j'ai bien tout compris ce qu'explique google sur ce lien

https://support.google.com/webmasters/answer/6062608?hl=fr&visit_id=637166837800234874-3409473168&rd=1

j'ai l'impression que la balise <meta name='robots' content='noindex,nofollow' /> est le source de mon problème. Est-ce juste ? et du coup que dois-je mettre à la place ?

D'avance merci pour tes précisions
Messages postés
23005
Date d'inscription
samedi 22 octobre 2005
Statut
Modérateur
Dernière intervention
23 octobre 2020
2 125
tu édites le code source de la page ... :)
Messages postés
5899
Date d'inscription
mercredi 19 janvier 2005
Statut
Contributeur
Dernière intervention
19 octobre 2020
1 285
Bonsoir,

Effectivement, j'ai vu cette balise meta dans le code source de ta page.
Il faudrait retirer cette balise, le problème est que si tu ne peux pas le faire dans l'administration de ton blog, tu ne pourras probablement pas le faire toi-même.

Je n'utilise pas Wordpress, mais par exemple dans l'administration de Dotclear, paramètres du blog, tu as cette option :

Paramètres d'indexation par les moteurs de recherche

Je souhaite que mon blog soit indexé et archivé par les moteurs de recherche et archiveurs.

Je souhaite que mon blog soit indexé mais pas archivé par les moteurs de recherche et archiveurs.

Je souhaite que mon blog ne soit ni indexé ni archivé par les moteurs de recherche et archiveurs.


Il faudrait rechercher si tu n'as pas ce genre d'option dans le tien.
Messages postés
11
Date d'inscription
dimanche 10 mars 2013
Statut
Membre
Dernière intervention
7 août 2015

alors, voici ce que j'ai trouvé qui était coché sur mon admin et qui ressemble à ce que tu me dis :

"Demander aux moteurs de recherche de ne pas indexer ce site
Certains moteurs de recherche peuvent décider de l'indexer malgré tout."

donc j'ai décoché cette phrase.
Je ne sais pas si cela va changer la balise meta qui bloque. As-tu la possibilité d'aller voir ?

Je vais également voir si je peux avoir de l'aide auprès de l'administrateur de la plateforme Wordpress.

merci beaucoup en tout cas :)
Messages postés
5899
Date d'inscription
mercredi 19 janvier 2005
Statut
Contributeur
Dernière intervention
19 octobre 2020
1 285
Bonsoir,

Je ne vois plus la balise META, ça doit être bon maintenant.
Messages postés
11
Date d'inscription
dimanche 10 mars 2013
Statut
Membre
Dernière intervention
7 août 2015

cool, je croise donc les doigts.
Merci beaucoup pour ton aide !
Faudra juste modifier ton bobot.txt

User-agent: *

Allow: /
Messages postés
5899
Date d'inscription
mercredi 19 janvier 2005
Statut
Contributeur
Dernière intervention
19 octobre 2020
1 285
Bonjour,

Je suppose que c'est l'adresse de ton blog : http://meditation-video.net/

C'est dans les balises meta qu'il y a un problème :

<meta name='robots' content='noindex,nofollow' />

Cette balise demande aux moteurs de recherche de ne pas indexer la page, c'est-à-dire de ne jamais la faire figurer dans les résultats de recherche.

Regarde dans l'administration de ton blog, si il y a une option pour la supprimer ou la modifier en : <meta name='robots' content='follow'>

Mais la suppression de cette balise est suffisante.

Voir : http://www.annuaire-info.com/robots-txt/meta-robots/
Messages postés
23005
Date d'inscription
samedi 22 octobre 2005
Statut
Modérateur
Dernière intervention
23 octobre 2020
2 125
+100:)