¿Podría terminar teniendo que cederle terreno?

Tengo un casa de un pueblo en propiedad, la cual tiene un terreno con jardín en el que hicimos en su día una barbacoa. Hace un par de años el vecino colindante nos pidió permiso para abrir una ventana para que le entrara más claridad, la cual daría directamente a nuestro jardín; se lo dimos. Finalmente, abrió tres ventanas, y algunos vecinos del pueblo nos dijeron que cómo les habíamos dejado, que a lo mejor en el futuro tendríamos que incluso cederles terreno. ¿Es eso posible, que tengamos que cederles terreno en el futuro? ¿Podrían hacernos quitar la barbacoa? ¿Podríamos, en cualquiera de los casos, protegernos de alguna manera (mediante un acuerdo, por ejemplo)?