vente terrain / problemes

bonjour, j'ai signé un compromis de vente pour mon terrain fin janvier avec 
une agence immobiliere avec une date de signature pour le vente le 30 avril 
au plus tard.
l'acheteur, un marchand de bien avait indiqué une clause suspensive, a 
savoir, l'acceptation de son projet de lotisseur en 6 lots?
a priori (???) , toutes les autorisations administratives ont été données, 
le marchand de bien me l'a indiqué verbalement et nous devions signer la 
semaine derniere
la semaine derniere, un voisin agriculteur pas content, met le barouf chez 
le maire de ma commune car il pense que cela va bloquer une extension de son 
exploitation.
Le maire veut bloquer ce projet.
le probleme aussi est que mon notaire m'a envoyé un courrier en fevrier 
disant qu'l ne restait plus qu'a lever les derniers conditions suspensives, 
et depuis plus rien.
comment puis je reprendre le controle ?
la date butoir etant dépassée, peut on annuler la vente sans pénalités ?
merci de votre aide
Luc