Penalización

Hola, mi caso es el siguiente:hemos tenido el piso en venta durante dos años y al final decidimos alquilarlo al ver que no se vendía, firmamos con una inmobiliaria una hoja de encargo para alquiler y dejándoles una copia de las llaves lo enseñaron a unos inquilinos, a los que les gustó el piso y aceptaron con la inmobiliaria dándoles una señal. El mismo día que iban a entrar (sin yo haber firmado nada más con nadie ni recibir señal, todo fue verbal) me sale un comprador con otra inmobiliaria y aviso a la inmobiliaria del alquiler que no pueden entrar los inquilinos porque me ha salido comprador, la cual ahora me pide el 80% de los honorarios (en la hoja de encargo sí que menciona que en caso de llegar a su fin por causa nuestra se paga el 80%), pero al no tener nada firmado ¿puedo negarme a pagarles? El dueño de la inmobiliaria mediante la que he vendido me dice que no les tengo que pagar nada ya que lo que están intentando es sacar algo de donde puedan. ¿Qué puedo hacer?