[Transparence] ... quand ils veulent !

sebsauvage Messages postés 32893 Date d'inscription   Statut Modérateur Dernière intervention   -  
blux Messages postés 27135 Date d'inscription   Statut Modérateur Dernière intervention   -
Les fichiers robots.txt, sur chaque site, indiquent aux moteurs de recherche quelles pages ils peuvent indexer.
Google, AltaVista et la quasi-totalité des moteurs de recherche respectent ces règles.

Petit jeu: regardez les robot-rules du site de la Maison Blanche:
http://www.whitehouse.gov/robots.txt

Le robot whsearch qui - lui - a le droit de tout indexer, c'est le moteur de recherche de la Maison Blanche lui-même.

Pourquoi font-ils ça ?
Pour que leurs page n'apparaissent pas dans les moteurs de recherche.
Ou bien pour éviter que leurs pages soient archivées par le cache de Google et autres Webarchive.org...

2 réponses

Nettogrof Messages postés 521 Date d'inscription   Statut Membre Dernière intervention   672
 
La maison Blanche aime bien garder le "contrôle" sur tout.

malgré qu'il réussise peu... héhé

Nettogrof tseb era seiromem emoS
0
blux Messages postés 27135 Date d'inscription   Statut Modérateur Dernière intervention   3 362
 
Comptez le nombre de fois où l'on voit 'iraq'...
C'est clair qu'ils veulent le faire oublier !

A+ Blux
 "Les cons, ça ose tout.
C'est même à ça qu'on les reconnait"
0