Desperfectos en una casa de alquiler

Hola buenas, mis amigos y yo alquilamos una casa con piscina y minigolf la semana pasada para pasar 3 días, el ultimo día se nos rompió un jarrón y un palo de golf, y también se picó un poco un escalón de la escalera.

El ultimo día nos llamo el dueño y nos dijo que le dejáramos las llaves en la puerta y que nos fuéramos, nosotros le hicimos caso.

Al día siguiente nos llamó y nos dijo que por las cosas rotas le teníamos que pagar 100 euros para evitarnos problemas con el seguro y la policía, según argumentó él.

Pagamos cerca de 600 euros por los tres días (dos noches) y no nos pidió ninguna fianza, y lo único que hicimos fue apuntar nuestro dni y firma en un folio.

Mi pregunta es, ¿le deberíamos pagar ese dinero? Porque me da la sensación de que como nos ha visto niños nos quiere timar.