¿Dónde puedo denunciar que mis vecinos han tirado parte de la pared medianera sin mi permiso?

Vivo en una casa de pueblo que linda con otra, y compartimos una pared medianera de al menos 80cm. Hace unos días mis vecinos me pidieron permiso para tirar parte de esa pared, ya que querían ampliar una habitación de su casa. Yo les dije que no les daba permiso, pero el albañil que les hace la obra me dijo que aunque sabía que era ilegal, él iba a hacer lo que le dijeran los dueños de la casa, pues para eso le pagaban.

Ya han comenzado la obra, hemos oído golpes y ruidos de taladro desde nuestra casa (incluso temblaba nuestra pared) y también hemos visto un contenedor lleno de escombros y grandes piedras, por lo que suponemos que están tirando la pared.

¿Qué podemos hacer para parar la obra? Sabemos que tienen permiso del ayuntamiento, aunque no creo que les hayan dado permiso para tirar la pared. Tampoco hay proyecto de un arquitecto.

¿Dónde debemos hacer la denuncia para que alguien vaya a probar que han hecho esa obra?

¿Podemos denunciar al albañil por hacer una obra ilegal?