Problemas con vecinos

Hola me gustaría que me asesoréis sobre un problema que tengo. Hace poco hicieron un bloque de pisos en el barrio donde vivo. Diariamente mi amigo y yo paramos en dicha zona y este edificio tiene un portal normal abierto, accesible a toda persona sin vallar en el cual hay unos escalones donde a veces nos hemos sentado. Dicha zona del barrio donde se ha construido el bloque, esta muy dejada y dicho bloque ha sufrido tanto esa dejadez como diferentes actos vandálicos como:pintadas, suciedad, etc. El problema es el siguiente; los vecinos se han pensado que al vernos casi siempre allí, piensan que somos nosotros y nos tratan con bastante desprecio. Cuando estamos bebiendo alguna lata de refresco o comiendo alguna bolsa de snaks o derivados, la cual posteriormente recojemos, nos obligan a quitarla de la escalera del portal e incluso nos dicen que no nos sentemos en ellas porque es su portal. Mi duda es si esto es posible que lo hagan, que si hay alguna ley que les permita poder echarme del portal que repito esta abierto y accesible a todo el mundo. En ningún momento hemos armado escándalo ni hemos ensuciado nada y no quiero que esto llegue a más pero me niego a no sentarme en ese portal sin saber si estoy haciendo mal o bien. Especificar que no entorpecemos el acceso, en cuanto algún vecino viene nos levantamos dejando la zona libre. Si fueran tan ambles me podrían decir en que ley y articulo se hace mención a este tema para informarme. Gracias