¿Podemos dejar de pagar el ibi?

Antes de la guerra civil el ayuntamiento de Barakaldo cedió un terreno a mis abuelos que nunca iba a ser nuestro y en el que, en principio, no se podía construir una vivienda. Posteriormente, mi familia construyó u. Edificio pequeño, sin agua corriente. Al de un tiempo, el ayuntamiento empezó a cobrar contribución por el edificio. Como mi abuelo había fallecido, el guardamontes la puso a nombre de mi padre. Desde entonces se ha pagado la contribución. Mi padre falleció y la ha pagado mi madre. Dado que el edificio en principio no puede ser una casa y no está habitable y el terreno no es nuestro (y no nos lo dejan devolver) ¿Podríamos conseguir de alguna manera dejar de pagar la contribución?