Créer un webbot ?

SAlut.

Je me demande depuis un moment quelle serait la procédure pour creer un webbot.
j'aurais aimé en crée un en php, peut-etre a l'aide de tache cron pour l'automatiser.
comment google procede t'il par exemple, comment analyser le contenu web.
Auriez vous une idée sur le sujet, des liens ou un début de piste ?