Vivienda no terminada por el constructor

Resulta que contraté a un constructor para realizar una vivienda unifamiliar.

Como el presupuesto se elevó un poco debido a imprevistos, el constructor me dejó unos meses para pagarle la cantidad final restante. Pues resulta que esos meses me han venido genial ya que me he percatado en todo este tiempo de los imperfectos en la casa: Azulejos mal puestos y torcidos, junteo en suelos que va desapareciendo, cuadro de luz sin terminar... Y así bastantes detalles que, a mi modo de ver, hacen que la casa no esté bien terminada y me parece injusto pagar por una cosa que no está bien hecha.

El constructor no viene a arreglarme nada, me imagino que para él ahora es mucho trabajo ver azulejos torcidos, romperlos, colocarlos bien con todo el trabajo que conlleva, albañiles y demás, y no le interesa.

Mi pregunta es si el constructor me reclama que le pague el dinero que le debo sin arreglarme estos desperfectos, ¿debería de pagarle? ¿Hay alguna manera de exigir que me subsane todos los desperfectos antes de pagarle nada? Porque la verdad es que en el contrato no hay nada referido a esos detalles tan "pequeños", podría decirse.