Casa en esquina

Buenas, yo compre una casa en esquina, a mi derecha tengo vecinos pero a mi izquierda tengo terreno, yo puedo tener problemas si agarro el terreno para ampliar la casa? Ese terreno nadie lo pisa