Annulation vente terrain par propriétaire

Bonsoir,

Nous avons signé un compromis pour un terrain fin nov 2010. Nous devions déposer notre permis de construire avant le 31/12/2010, ce que nous avons fait le 28/12.
A la demande de la dde, nous avons du fournir une pièce complémentaire, ce que nous avons fait le 04/02/2011. Le délai étant de 3 miois, nous attendons la rponse pour le 04/05/2011. Or, la date limite de signature du terrain était du 01/04/2011, avec clause d'acceptation du permis.
Le 06/04, le délai étant dépassé, le propriétaie nous informe qu'il annule la vente.
Enfin, ce jour, il nous informe qu'il veut qu'on lui paie 1200 euros de frais de géomètre et que si l'on refuse, il demande les 10% payés à la signature du compromis (car notre plan de maison ne correspondrait pas au plan d'urbanisme de la zone de la commune).

Est-il dans son droit ?

Cordialement,