Devolución comisión agencia

Ayer por la tarde firmé un contrato de alquiler por 5 años, di los dos meses de fianza, el mes en curso y otro mes más de gastos de agencia. Dos horas más tarde de haber firmado me entraron muchas dudas (tengo una situaición personal complicada...) y quise tirarme atrás. Llamé al promotor del piso de seguida (con quien firmaba el contrato de alquiler) pero no pude contactar con él, así que esta mañana a primera hora me he presentado en su oficina, le he comentado el tema y me ha dicho que no hay ningún problema y me ha devuelto el dinero, excepto el mes de la agencia, que me ha dicho que debo pedírselo a la agencia, que no depende de él. ¿He hablado con la agencia y se han negado en rotundo a devolverme ni siquiera parte de la comisión (la cual ascendía a 700?). Yo les he dicho que la comisión se la debían quedar en el caso que me haya quedado el piso, pero que el contrato se ha anulado horas más tarde, así que como mínimo consideraba que me tenían que devolver al menos parte de la comisión (podría entender que se quedasen algo por las molestias pero no todo ya que no me he quedado el piso y era mucho dinero). Me gustaría saber si al no llegar a tirar adelante el contrato, la agencia tiene derecho a quedarse con la comisión. En el contrato se especificaba que se debía pagar los gastos de gestión del contrato... (los gastos de la agencia), pero al ni siquiera haber llevado el contrato a registro a la cámara de la propiedad, no sé si tienen el derecho de quedarse con el dinero y negarse a devolvérmelo (o al menos parte de él). ¿Qué debo hacer? Muchas gracias de antemano.