Devolución de fianza

Buenos días,
Soy propietario de un piso en barcelona. Durante el mes de Junio, alquilé el piso. Hice un contrato de alquiler legal por un año, con la persona a la que alquile el piso, el inquilino me pagó una fianza correspondiente al mes de alquiler, y el mes de Julio de alquiler por adelantado. A mediados del mes de Julio, el inquilino me llamó por teléfono y me dijo de que no disponía de suficiente dinero para afrontar el precio del alquiler del piso y que quería abandonar el piso. Acordamos por e-mail que de rescindiríamos el contrato y le devolvería la fianza, él aceptó abandonar el piso antes de finalizar el mes de Julio, por mail le dije que le devolvería la fianza una vez realquilado el piso, el aceptó y abondonó el piso, haciéndome entrega de las llaves. Un mes más tarde el inquilino me hace la reclamación de la fianza, pero no dispongo del dinero por una serie de gastos imprevistos. Mi pregunta es, ¿Estoy obligado a devolverle la fianza?
El inquilino no quiere estar en mi piso, lo único que quiere es la devolución de la fianza, y me amenaza con ir a juicio, alegando que tiene un mail en el que le dije que le devolvería la fianza y que no estuvo más de dos semanas en el apartamento. El piso actualmente está alquilado con otra persona, con la que tengo firmado un contrato por un año.
Gracias por adelantado por la ayuda.