Reconnaissance image, interaction avec écran

Bonjour,
Je programme depuis un moment mais je suis complétement dans le domaine que je vais aborder.

J'aimerais savoir ce que vous me conseillez pour faire des programmes qui interagissent avec l'écran. Mon programme doit reconnaitre ce qui se passe sur l'écran et doit faire des cliques et bouger la souris en fonction de ce qui s'affiche.
Je code en C++ donc j'aimerais rester sur ce langage mais ce n'est pas obligé. J'aimerais savoir s'il y a des techniques, des librairies particulières...
Merci d'avance pour vos contributions.