Devolución del IVA por servicios no prestados

Hola, hace unos meses contratamos la dirección de obra de nuestra casa a un arquitecto y pagamos los honorarios correspondientes con el iva incluido. Posteriormente, y por razones ajenas a nosotros, el arquitecto ha rechazado la dirección de obra y con ello nos devuelve parte de los honorarios pagados (no el iva). Ahora debemos volver a contratar a un nuevo arquitecto, y nos gustaría saber si debemos volver a pagar el iva al nuevo arquitecto o si podemos solicitar la devolución del iva previamente pagado, ya que se pagó dicho impuesto por unos servicios que finalmente no se realizaron y ahora volvemos a contratar los mismos servicios. Gracias