Pueden mis padres recuperar la vivienda?

Mi abuelo compró una parcela en los años 50 que dejó en herencia a mi padre cuando falleció. Pasados casi 20 años, mi padre, junto con mi madre y yo, con la única intención de aliviar temas fiscales, asesorándose previamente, nos propuso crear una sociedad limitada para construir en ese terreno una casa de 4 viviendas. Ese mismo año, para evitar posibles problemas futuros con el resto de hermanos, mis padres decidieron venderme sus participaciones en nuda propiedad, o sea, la sociedad me vendió por cantidad simbólica todas las participaciones, eso sí, en nuda propiedad. Una vez terminada la construcción se pusieron en alquiler 3 viviendas entrando a vivir yo junto con mi esposa e hijas en la cuarta. Se entró sin pagar alquiler alguno. Pasados dos años mi ex mujer me pidió el divorcio cuya sentencia le adjudicó la custodia de nuestras hijas y la vivienda. Han pasado ya cinco años de esta situación. ¿Pueden mis padres, al formar parte de esta sociedad patrimonial, reclamar la vivienda a precario? ¿puede reclamarla la sociedad?