Comprador no quiere firmar arras

Tengo mi piso en venta y hemos apalabrado el mismo con un comprador. Se negoció de palabra con el y consentimos en bajar el precio siempre que se diera una señal o arras en esa semana, porque nosotros también queremos comprar un piso y no queremos que lo vendan mientras. El vendedor estuvo de acuerdo y a cambio de bajarle el precio, dijo que firmábamos el contrato de arras de viernes.
De eso hace más de una semana y nos da largas. Dice que se ha precipitado y que le han aconsejado que no firme hasta estar seguro de que la tasación le interesa. Aún así, solo firmaría si le ponemos una clausula de que le devolvemos la señal si no le dan la hipoteca (supongo que también querrá que conste que se la tienen que dar en los términos que él necesita).
Yo no quiero firmar un documento así, porque solo me implicaría quitar el piso de la venta y reservarselo hasta que él consiga financiación o desista de la compra. Yo perdería tiempo de enseñar el mio, y ademas no podría dar las arras del que quiero comprar, porque no tengo fija la venta. Se me olvidó decir que ni siquiera le pedimos un 10% de la compra. Tan solo le pedíamos 2000 euros, para garantizar su interés en comprar.
¿Qué debo hacer? ¿Es justo lo que me pide? Que pasa si me niego a firmar hasta que me dé el 5 o el 10% del precio de venta (sin devolución, acogiéndonos a la ley, osea, si desiste pierde la señal, si desisto yo, le doy el doble).
Ademas, tengo otra duda. El piso lo compró mi marido cuando estaba soltero y pidió una hipoteca. La cual estamos pagando conjuntamente (estamos casados en gananciales y cuando hacemos la declaración individual -la hago en una delegación de Hacienda-nos meten la mitad de la hipoteca a cada uno) desde que nos casamos. El comprador dice que si el piso es de mi marido solo, no es domicilio conyugal, lo cual no es cierto. ¿O si lo es a efectos legales? ¿Quién tiene que firmar para la venta? ¿Los dos o solo mi marido? ¿Tiene eso alguna repercusión para luego invertir todo el dinero en una nueva vivienda habitual?
Gracias por adelantado. Un saludo

{"lat":42.0329743324414,"lng":-5.625}