Restriction robots.txt

Bonjour,

Alors, je sais à quoi sert le fichier robots.txt et comment le configurer, mais ma question est la suivante :

Qu'es-ce qui fait que le robot / crawler / spider est effectivement restreint par cette page ?
Pourquoi est il obligé de lire ce fichier ?

Merci d'avance !

Liquid