Vendedor no quiere devolver doble de importe de arras

Es evidente (y el propietario lo sabe) que nadie puede exigir parte del pago de su propiedad en dinero negro, ya que es ilegal.
Por otro lado no tienes por qué usar ningún tipo de "artimaña" como gravar la conversación (creo que no sirve en un juicio como prueba incriminatoria) o llevar testigos, ya que tienes totalmente la ley de tu lado.
Simplemente lo que debes hacer es enviarle un burofax con la fecha y hora de la firma ante notario y pidiéndole que se persone. Ese día te presentas para firmar y si él no lo hace, el notario levantará acta conforme aún habiendo sido avisado, la parte vendedora no se ha presentado.
A partir de ahí interpones demanda judicial exigiendo la devolución íntegra del importe entregado en concepto de arras además del pago de la misma cantidad por parte del vendedor (arras penitenciales, artículo 1454 del código civil). Yo reclamaría los intereses legales generados por los 6.000 euros, durante todo el tiempo que tardará el trámite, además de daños y perjuicios por la imposibilidad de adquirir la vivienda. Creo que las costas de abogado y procurador también las deberá pagar él (si sale condenado).
Por lo pronto aquí tienes argumentos suficientes para defenderte esta tarde, pero claro está, mi consejo es que si no llegáis a ningún acuerdo, un buen abogado es quién te informará perfectamente de tus derechos, y reclamará en base a ello. Incluso, si tienes opción, lleva a tu abogado a la reunión de esta tarde, él será tu mejor aliado.