Extraire des informations visuelles/auditives

Bonjour, j'aimerais savoir s'il y existent des logiciels permettant d'extraire des informations de l'écran. Par exemple, il pourrait s'agir de "scanner" l'écran afin d'obtenir le score, ou bien de connaître la position du joueur en temps réel dans le jeu, pour après pouvoir manipuler ses informations... Il pourrait aussi être utile de reconnaître certains sons pour y associer des évènements. Désolé d'être un peu flou, donc en gros un logiciel qui permet d'analyser ce qui se passe sur l'écran !

Merci pour votre aide,
Francis