[Transparence] ... quand ils veulent !
sebsauvage
Messages postés
33284
Date d'inscription
Statut
Modérateur
Dernière intervention
-
blux Messages postés 2051 Date d'inscription Statut Modérateur Dernière intervention -
blux Messages postés 2051 Date d'inscription Statut Modérateur Dernière intervention -
Les fichiers robots.txt, sur chaque site, indiquent aux moteurs de recherche quelles pages ils peuvent indexer.
Google, AltaVista et la quasi-totalité des moteurs de recherche respectent ces règles.
Petit jeu: regardez les robot-rules du site de la Maison Blanche:
http://www.whitehouse.gov/robots.txt
Le robot whsearch qui - lui - a le droit de tout indexer, c'est le moteur de recherche de la Maison Blanche lui-même.
Pourquoi font-ils ça ?
Pour que leurs page n'apparaissent pas dans les moteurs de recherche.
Ou bien pour éviter que leurs pages soient archivées par le cache de Google et autres Webarchive.org...
Google, AltaVista et la quasi-totalité des moteurs de recherche respectent ces règles.
Petit jeu: regardez les robot-rules du site de la Maison Blanche:
http://www.whitehouse.gov/robots.txt
Le robot whsearch qui - lui - a le droit de tout indexer, c'est le moteur de recherche de la Maison Blanche lui-même.
Pourquoi font-ils ça ?
Pour que leurs page n'apparaissent pas dans les moteurs de recherche.
Ou bien pour éviter que leurs pages soient archivées par le cache de Google et autres Webarchive.org...
