Herencia

Somos 4 hermanos, mi padre falleció años atrás, mi madre esta de usufructuaria de la parte de mi padre y ella quiere que recojamos la parte de mi padre (es una finca de 3 plantas y bajo), mi madre ha ido al notario para ver como nos da esa parte y le han dicho que si no firmanmos los 4 no se puede hacer nada, el problema es que hay un hermano que se lleva mal con los demás y no quiere saber nada de nosotros ni de ir al notario, ni herencia ni pagos ni nada. ¿Qué podríamos en este caso?, pues queremos los demás hermanos y mi madre repartir la parte de nuestro padre. Gracias