4 réponses
En interdisant l'exploration des robots des moteurs de recherches grâce aux fichier robots.txt
Pour plus d'informations : https://www.commentcamarche.net/contents/1268-robots-txt
Pour plus d'informations : https://www.commentcamarche.net/contents/1268-robots-txt
Faux
si une page est déjà indexée elle le restera même si robots.txt indique par la suite de ne pas crawler.
le bot ne crawlera pas la page (ou le site) mais si la page ou le site est déjà indéxé avant, cela ne supprimera pas la page de l'index de google.
Seul le metatag robots dans le head d'une page permet de retirer cette page de l'index google
<meta name="robots" content="noindex">
si une page est déjà indexée elle le restera même si robots.txt indique par la suite de ne pas crawler.
le bot ne crawlera pas la page (ou le site) mais si la page ou le site est déjà indéxé avant, cela ne supprimera pas la page de l'index de google.
Seul le metatag robots dans le head d'une page permet de retirer cette page de l'index google
<meta name="robots" content="noindex">