[Transparence] ... quand ils veulent !

sebsauvage Messages postés 33415 Statut Modérateur -  
blux Messages postés 27850 Date d'inscription   Statut Modérateur Dernière intervention   -
Les fichiers robots.txt, sur chaque site, indiquent aux moteurs de recherche quelles pages ils peuvent indexer.
Google, AltaVista et la quasi-totalité des moteurs de recherche respectent ces règles.

Petit jeu: regardez les robot-rules du site de la Maison Blanche:
http://www.whitehouse.gov/robots.txt

Le robot whsearch qui - lui - a le droit de tout indexer, c'est le moteur de recherche de la Maison Blanche lui-même.

Pourquoi font-ils ça ?
Pour que leurs page n'apparaissent pas dans les moteurs de recherche.
Ou bien pour éviter que leurs pages soient archivées par le cache de Google et autres Webarchive.org...

2 réponses

Nettogrof Messages postés 522 Statut Membre 672
 
La maison Blanche aime bien garder le "contrôle" sur tout.

malgré qu'il réussise peu... héhé

Nettogrof tseb era seiromem emoS
0
blux Messages postés 27850 Date d'inscription   Statut Modérateur Dernière intervention   3 360
 
Comptez le nombre de fois où l'on voit 'iraq'...
C'est clair qu'ils veulent le faire oublier !

A+ Blux
 "Les cons, ça ose tout.
C'est même à ça qu'on les reconnait"
0