Como se devuelve la fianza a una persona que ya no es arrendatario

Tengo que alquilar un piso y los arrendatarios son dos personas físicas, van a depositar la fianza los dos, pero en el caso de que uno de los arrendatarios desista del contrato antes del vencimiento, y me pida la devolución de su parte de fianza, ¿puedo no devolver la fianza hasta que termine el plazo del contrato y devolverla a su vencimiento al otro arrendador?

Si devuelvo la parte de la fianza y luego el otro arrendador no se quiere hacer cargo de depositar el resto de la fianza, puede ser causa de rescisión del contrato?

Muchas gracias