¿Puede quitar el nº de piso de certificado empadronamiento?

Vivo en un piso que está en un edificio de solo 2 plantas. Todo del mismo propietario que vive en uno de los pisos. Sin división horizontal, todo un IBI. En su dia cuando nos empadronamos, pusimos uno, numero y primer piso y otro numero y segundo piso. Ahora, por uns serie de motivos fiscales (si quieren se los puede explicar) el asesor nos ha indicado que quitemos el nº de piso, como si viviéramos todos en una finca, ya que catastralmente es como consta. ¿Mi pregunta es? Si voy al ayuntamiento a pedir un cambio de domicilio, y vean que lo único que hago es quitar el nº de planta, ¿no lo verán raro?