¿Puede un padre echar de la Vivienda familiar a su hijo y su madre?

Vivo en una casita rustica en el campo con mi madre, dicha vivienda esta a nombre de mi padre, el no estaba casado con mi madre solo estaban juntos .

Como mi padre se ha ido con otra mujer ahora quiere echarnos a mi que soy su hijo y a mi madre de la casa donde estamos viviendo, cabe destacar que no estamos empadronado hay ni mi madre ni yo simplemente llevamos viviendo en dicha casa más de 10 años puesto que es la vivienda familiar

¿Podría echarnos?