¿Puede un vendedor rechazar una oferta en precio realizada a través de una inmobiliaria y retirar la venta?

Mi mujer y yo estamos en búsqueda de vivienda, y hace unas semanas vimos un anuncio de una inmobiliaria de un piso que nos interesaba. Tras darle vueltas, decidimos vender nuestra vivienda para poder llegar al precio que nos exigía el vendedor a través del agente inmobiliario, ya que no quería negociar el mismo. El día que habíamos quedado para reunirnos y firmar arras, el agente nos comunica que el vendedor se retira porque no quiere vender su vivienda. Esto nos ocasiona un perjuicio importante porque ya habíamos acordado nosotros mediante arras la venta de nuestro piso. ¿Se pueden exigir responsabilidades al vendedor o a la agencia por incumplimiento de contrato verbal? Ya habíamos acordado con la agencia precio y condiciones y el vendedor estaba de acuerdo antes de retirarse.