Solicitar Baja del Seguro Hogar de la Hipoteca

Hola, me gustaría saber si puedo dar de baja al seguro Hogar que me hicieron contratar al solicitar la hipoteca ya que es un poco alto y no solo es para incendios sino para robos, despecfectos por agua ... Etc.
En el contrato no hay ninguna clausula que me imponga su contrato en la entidad financiera, ni se nombra ningún tipo de penalización, pago o aumento del interés por no tener contratada dicha póliza.
Si no esta estipulado en la escritura ¿tengo obligación de pagar dicha póliza?
Se puede el banco negar a dar de baja dicho seguro.
Gracias.