Traspaso bar-recuperar dinero

Muy grande. Mi pareja y yo estamos al punto de traspasar un bar. Lo hemos encontrado, hemos negociado y llegado al final a un acuerdo con los propietarios. Antes de darle el dinero nos pidieron de hacer la transacción en negro para no pagar el IVA. Como no somos muy expertos en tema hemos aceptado. Le hemos dado una parte de dinero y nos dieron un papel firmado entre nosotros con la cantidad del dinero adelantado, el que falta, fecha etc.Como estaba en crisis de tiempo, tenia que ir a trabajar, hemos cometido el error de no coger el inventario y los papeles que ellos tienen diciendo que no tienen ningún problema en darnos la próxima vez que nos encontramos. Entre tiempo hemos hablado con el dueño de los muros que esta ya preparando el contrato de alquiler. Y como queremos ir en paralelo preparar ya los papeles que tenemos que presentar en el ayuntamiento por el permiso de apertura, el cambio de nombre del bar, el cambio de nombre de la licencia hemos intentado de ponernos en el contacto con los del bar. Pero ellos no contestan y hacen de todo para non dar la cara. Nos hemos enterado que han estado varias veces dentro del bar diciendo que tienen que quitar las cosas personales que tienen. Hoy por fin nos hemos encontrado con el casero, hemos entrado dentro del bar, pero como no tengo ningún inventario no puedo comprobar si esta todo. La secunda parte del dinero tenemos que entregarla dentro de un mes(cuando llegara la capitalización del paro). No tenemos una fecha fija por escrito. Hoy insistiendo muchísimo al teléfono hemos conseguido hablar, pidiéndole los papeles del bar para poder seguir el proceso. El tío estaba muy enfadado y no quiere darnos nada hasta que no firmamos el contrato de alquiler, dice que sin el contrato de alquiler no tenemos nada y después de firmar nos pasera las cosas. Total, no quiero complicar mas la historia, queria un consejo en el caso que la cosa se pone mal, ¿podría recuperar el dinero? Si en base a las fotos que tengo del bar, a las facturas que me va a pasar, ¿veo qué faltan cosas podría descontarle dinero?