Derecho por uso de 12 años

Tenemos una casa de pueblo la cual cuando se compro tenia una ventana en el segundo piso tapiada que el vecino uso para ampliar su casa. En el tercer piso tengo una ventana y salgo por ahi haciendo uso del techado de esa construcción como terraza ya que no tengo ningún lado donde tender y se usa desde el 2006 que reformamos nuestra casa. Ahora el dueño de la casa contigua me dice que deje de usarla porque es suyo y no quiere que coja derechos. ¿Después de tanto tiempo me puede hacer quitarlo? ¿Con cuánto tiempo se cogen derechos sobre algo?