ANNULATION CONTRAT DE CONSTRUCTION MAISON IND

Bonjour,
En février nous avons eu un coup de coeur pour un terrain. Nous avons reservé celui ci chez le notaire puis avons signé peu de temps après un contrat de construction. Nous devions signer le compromis de vente fin Mai mais le terrain n'est pas encore viabilisé ( pret pour septembre en principe).
il y a un mois le constructeur nous a contacté en nous expliquant qu'il fallait revoir le plan signé car les limites séparatives dans la commune sont de 5 m et non de 3 comme c'est souvent le cas. Il a precisé que c'était la faute du collègue qui n'avait pas bien lu le réglement de la commune. Il nous proposait donc des modifications qui ne nous conviennent pas comme couper un angle du sejour en diagonale et supprimer l'avancée du garage... Face à notre refus il a fait des demarches aupres de la commune pour que les limites ne soient plus de 5 mais de 3 m . Apparemment cela sera accordé mais le constructeur nous a precise que cela serait un peu long.. bref du retard pour terrain et construction et un pret relais qui a démarré en juillet car en principe il fallait verser 5 % a la signature du compromis de vente ... Tout cela a fini par nous effrayer et nous souhaitons tout annuler. Le notaire nous a assuré que pour le terrain nous n'étions pas engagé donc pas de souci. De plus, une avocate nous a expliqué par téléphone que notre contrat était nul car pas de compromis de vente. Nous avons besoin d'autres avis car nous avons peur de tout annuler et d'avoir à payer des pénalités ( 5 à 10 % du prix de la maison...c'est énorme!). Nous comptons sur votre réponse pour enfin pouvoir envoyer notre lettre d'annulation. Nous sommes très inquiets.
Merci d'avance