Herederos se niegan a firmar

Buenas tardes, somos tres hermanos. Hace 7 años falleció mi madre (casada bienes gananciales) sin dejar testamento y hace algo menos de 4 años falleció mi padre dejando un testamento en el que no contempla la parte de mi madre y deja a un hijo el usufructo de una vivienda y el 50% en nuda propiedad. A los otros nos deja el 50% restante en nuda propiedad a partes iguales (25% a cada uno) y especifica que el primero pagará a sus hermanos la cantidad que nos corresponda en efectivo metálico. Después de todo éste tiempo yo he conseguido a través de un notario rehacer la declaración de herederos porque mis hermanos no han movido un dedo. Ahora la situación es la siguiente. El hermano "favorecido" por su padre vive en la propiedad y no deja entrar a nadie. El otro hermano no ha ido a la citación para firmar la declaración de herederos porque no le da la gana. Creo que seguir la recomendación del notario de llevar todo éste asunto por la vía judicial para obligarles a firmar la declaración de herederos, sólo me traerá enormes gastos y poco beneficio. Por otro lado, ignoro si hacienda nos puede reclamar económicamente. La verdad, me siento atado de pies y manos y no sé qué hacer. La vivienda es un piso tasado en 180.000 € libre de cargas. El hermano que lo ocupa está al corriente pago (comunidad, suministros, etc..) Le agradecería sus comentarios y recomendaciones.