¿Herencia por parte de Madre?

Mi madre falleció en el 2004, somos tres hermanos, nosotros estamos casados, paso el tiempo y nuestro Padre nos pidió la llave del Piso, diciéndonos que el piso es de el y que no tenemos derecho a tener llave de la vivienda, mi padre tiene su parte, más la de estar casado con mi madre, a día de hoy le hemos pedido llave, y nos lo ha negado, nos dice que el Piso es de El, y que mientras viva no tenemos nada que hacer, si tenemos los tres hermanos la parte de nuestra madre,¿qué derechos tenemos? ¿Podemos pedirle la parte de nuestra madre? El al estar Viudo se ha casado otra vez ¿ella pueder heredar la parte mi padre? Le hemos dicho a mi padre que reestructure la herencia y que el tenga su parte y nosotros la que es de nuestra Madre, El se niega, ¿qué podemos hacer?