Permis de construire et abus de pouvoir mair

bonjour à tous,

voilà ma situation, nous habitions en région parisienne il y un an et étions propriétaire. Nous envisagions de faire des travaux d'aménagement des combles et avions donc demandé un permis de construire. Il nous a été accordé . Or quelques temps plus tard et avant d'avoir commencé les travaux , j'ai eu une mutation professionnelle. On a vendu notre maison. Et surprise à notre nvelle adresse à 400 KM de là on recoit un avis d'imposition pour lesdits travaux , suite à un appel aux impots j'ai appris que c'est celui qui demande le permis de construire qui doit payer .. sauf à demander l'annulation du permis à la mairie c'est donc ce que j'ai fait avec une lettre AR et là 2e surprise , le service urbanisme par message telephonique veut nous convoquer dans n,otre ancien pavillon pour constater avec les nouveaux propriétaires que les travaux n'ont pas été réalisés !! est ce légal ?suis je obligé de faire 400 km pour ça ? les nouveaux propriétaires ne sont pas non plus je pense obligés d'accepter ?? et si je refuse ai je un recours la mairie peut elle bloquer cette demande d'annlation? ne serait on pas en plein abus de pouvoir ? merci de votre aide