[Transparence] ... quand ils veulent !
Les fichiers robots.txt, sur chaque site, indiquent aux moteurs de recherche quelles pages ils peuvent indexer.
Google, AltaVista et la quasi-totalité des moteurs de recherche respectent ces règles.
Petit jeu: regardez les robot-rules du site de la Maison Blanche:
http://www.whitehouse.gov/robots.txt
Le robot whsearch qui - lui - a le droit de tout indexer, c'est le moteur de recherche de la Maison Blanche lui-même.
Pourquoi font-ils ça ?
Pour que leurs page n'apparaissent pas dans les moteurs de recherche.
Ou bien pour éviter que leurs pages soient archivées par le cache de Google et autres Webarchive.org...
Google, AltaVista et la quasi-totalité des moteurs de recherche respectent ces règles.
Petit jeu: regardez les robot-rules du site de la Maison Blanche:
http://www.whitehouse.gov/robots.txt
Le robot whsearch qui - lui - a le droit de tout indexer, c'est le moteur de recherche de la Maison Blanche lui-même.
Pourquoi font-ils ça ?
Pour que leurs page n'apparaissent pas dans les moteurs de recherche.
Ou bien pour éviter que leurs pages soient archivées par le cache de Google et autres Webarchive.org...
2 réponses
-
La maison Blanche aime bien garder le "contrôle" sur tout.
malgré qu'il réussise peu... héhé
Nettogrof tseb era seiromem emoS -
ModérateurComptez le nombre de fois où l'on voit 'iraq'...
C'est clair qu'ils veulent le faire oublier !
A+ Blux"Les cons, ça ose tout. C'est même à ça qu'on les reconnait"
