Divorcio con separación de bienes y 2 hijos

Estoy casada en régimen de separación de bienes, tenemos 2 hijos 1 de 3 años y otro de 10 meses, cada uno tenemos una casa a nuestro nombre, pero la vivienda familiar es la que está a su nombre, todas las reformas y mejoras que sean echo en la casa las hemos pagado entre los dos, ya que ha salido del dinero de casa y este no lo tenemos separado, en caso de divorcio y yo me quedara con la custodia de los niños ¿nos tendríamos que ir de la vivienda habitual?

{"lat":38.8225909761771,"lng":-5.625}