Cierre de finca

Hola, buenos días.
Quisiera preguntarle por una finca que compre, la finca ya estaba cerrada con un muro de bloques y postes pero la parte que da a un camino, de pasar los tractores y demás vehículos estaba metido para adentro ya que no lo habían fijado bien. Nosotros los pusimos a repararlo y me vinieron unos vecinos a decirme que tenemos que retirar para dentro no sé cuantos metros, que nos van a denunciar. En principio no tiramos el muro ya existente solo lo reforzamos y el albañil va poniendo los bloques nuevos poco a poco, yo paré la obra por si acaso y me fui al ayuntamiento a pedir permiso de obras menores, para reparación. Me gustaría saber que problemas puedo tener. Yo no voy a reanudar la obra hasta que me llegue el permiso aceptado, claro, pero tenemos miedo por lo que puede pasar. Podría orientarme que hacer por favor. Gracias