¿Puedo desvincular o segregar una parcela adscrita a una finca mayor?

A todo el mundo y agradezco todas las posibles ideas.

Intentaré resumir lo máximo posible el caso aunque es algo "enredoso" para alguien que no esté familiarizado

Quizá compro una parcela 650 m2, como tal está bien definida en el catastro, no es urbanizable pero tiene una casa de madera donde se ha hecho vida durante 15 años.

La vivienda está justificada como "secadero de plantas" que es una actividad que sólo consta en el papel, para ello el dueño de la finca mayor 6.500 m2 tuvo que firmar como socio de esta actividad, ya que por superficie no daba un mínimo con los m2 originales.

Tanto en el registro de la sociedad, como en el Ayuntamiento municipal se refleja la venta de un 8% del total de la finca y nos dicen no poder segregarla porque la actividad está adscrita a la finca principal.. Y pese a que ese 8% esta muy bien definido y vallado es un porcentaje "abstracto" del total..

Nota*.- Por ley municipal hace falta 2500m2 para poder segregarla como superficie mínima de cultivo

Personalmente me gustaría legalizar lo máximo posible la situación, incluso como vivienda y pagar mi ibi correspondiente y ser dueño de esa parcela y no tener un porcentaje de la finca principal (pese a que la relación con el vecino de la finca es de amistad)